제약 신약 발굴 모델이 6시간 만에 4만 개의 독소를 설계했다. 해법은 내가 예상한 것이 아니었다.
그 문제를 처음으로 제대로 이해했을 때, 나는 4년 전에 나온 논문을 읽으며 오싹함을 느끼고 있었다.
2022년, Collaborations Pharmaceuticals의 한 소규모 팀이 자사의 상용 신약 발굴 모델 — MegaSyn이라 불리는 생성형 화학 시스템으로, 분자가 치료제로서 얼마나 유망한지 점수를 매기는 종류의 것 — 을 가져다가 숫자 하나를 뒤집었다. 모델에게 "안전하고 약물다운 분자에 보상을 주라"고 지시하던 보상 함수가 "독성이 있는 분자에 보상을 주라"로 바뀐 것이다. 그것은 해킹이 아니었다. 침해 사고도 아니었다. 그것은 Python 설정 파일 속 부호 하나였고, 온도조절기를 난방에서 냉방으로 바꾸는 것과 똑같은 방식이었다.
6시간도 채 되지 않아, 표준 서버에서 이 모델은 다음을 만들어냈다: 4만 개의 후보 분자 — 여기에는 VX 같은 알려진 신경작용제뿐 아니라, 모델이 훨씬 더 치명적일 것이라 예측한 수천 개의 새로운 화합물이 포함되어 있었다. 이 연구가 발표된 곳은 Nature Machine Intelligence이며, AI 바이오보안에 관한 모든 정직한 논의가 여전히 시작되는 지점이다. 그리고 나를 밤새 잠들지 못하게 한 것은 이 일이 통제된 실험에서 한 번 일어났다는 사실이 아니었다. 그것을 가능하게 만든 아키텍처 — 모델에 용접되듯 붙박인 것이 아니라 설정 파일 안에 놓여 있는 보상 함수 — 가 여전히 프로덕션에서 가동되고 있다는 사실이었다 — REINVENT 4 같은 파이프라인을 운영하는 대부분의 중견 제약사에서 말이다. 뒤집힌 그 스위치는 결코 원상 복구되지 않았다. 그저 다시 뒤집히지 않았을 뿐이다.
그것이 바로 Veriprajna의 우리 팀이 2년을 들여 파고든 간극이다. 이 글은 그 과정에서 우리가 무엇을 틀렸는지, 그리고 지금 내가 실제로 작동하는 유일한 방법이라 믿는 것이 무엇인지에 관한 이야기다.
대부분의 생성형 화학 파이프라인에서, 신약 발굴 모드와 무기 설계 모드의 차이는 아무도 지키지 않는 단 한 줄의 코드다.
제약업계가 신뢰하는 방어책은 이제 더 이상 존재하지 않는 위협을 위해 만들어졌다
내가 컴플라이언스 담당자들 — 최고 준법감시책임자(CCO), 생물안전 서류에 서명하는 책임 관리자, 실제로 모델을 소유한 ML 총괄 — 과 이야기를 나누기 시작했을 때, 거의 모두가 똑같은 세 가지 방어책을 설명했다. 위험한 것을 요청하면 모델이 거절하도록 하는 거부 훈련(refusal training). 모델이 얌전히 행동하도록 하는 RLHF 정렬. 그리고 구조 경보 필터 — 분자의 출력물을 스캔해 알려진 독성 하위 구조를 표시하는 소프트웨어.
이 세 가지는 모두 공격이 누군가가 이렇게 입력하는 모습으로 보이던 세상을 위해 설계되었다: "신경작용제를 설계해 줘." 2025년의 공격 표면은 그것과 전혀 닮지 않았다. 더 조용하고, 더 자동화되어 있으며, 이 방어책들이 감시하는 층위 아래에서 작동한다.
제약업계가 가장 크게 의존하는 구조 경보 필터를 보자. Insilico Medicine의 Chemistry42 같은 플랫폼은 알려진 독성 작용기(toxicophore)를 걸러내는 460개 이상의 자체 의약화학 필터를 탑재해 출시된다. 훌륭한 엔지니어링이다. 그러나 이들이 검사하는 것은 바로 출력물이다 — 즉 완성된 분자에서 알려진 유해 패턴을 찾는 것이다. 이들이 전혀 손대지 못하는 것이 바로 목표다. 화학무기 다양체(manifold)를 향해 최적화하는 모델은 알려진 어떤 독성 작용기와도 일치하지 않는 구조적으로 새로운 화합물을 기꺼이 생성해 필터를 곧장 통과시킬 것이다. "새로움"이야말로 생성형 모델이 존재하는 이유이기 때문이다. 나는 SMILES 문자열 — 화학자들이 분자를 표기할 때 쓰는 텍스트 표기법 — 이 출력 로그를 스쳐 지나가는 것을 지켜보면서, 그것이 오직 새롭다는 이유만으로 팀이 설치한 모든 경보를 통과하리라는 것을 알아챈 적이 있다.
그래서 내가 가장 먼저 버려야 했던(unlearn) 것은 출력물을 필터링하는 것이 모델을 통제하는 것과 같다는 안이한 생각이었다.
우리의 가장 깔끔한 아이디어가 무너진 밤
여기, 내가 개인적으로 지지했던 실패가 있다. 그리고 그것은 우리에게 여러 달을 대가로 치르게 했다.
우리 팀이 이 문제의 범위를 처음 정할 때, 우리는 우아해 보이는 답에 매료되었다. 위험한 지식을 필터링하지 말고, 제거하라 그것을. 기계 언러닝(machine unlearning)에 관한 진짜이면서도 아름다운 학술 연구들이 있다 — RMU 같은 기법들로, 모델이 무기화 가능한 생물학 지식을 정확히 얼마나 보유하고 있는지 측정하는 2024년 ICML 논문의 WMDP 벤치마크로 검증된 것들이다. 그 약속은 눈부시다. WMDP-Bio에서 약 75%를 기록하는 — 위험할 만큼 박식한 — 모델을 가져다가, 26%를 기록할 때까지 언러닝시킨다. 26%는 무작위 확률이며, "모델이 진짜로 모른다"는 뜻이다. 지식 공백이 생긴 모델. 존재하지 않는 지식은 탈옥(jailbreak)시킬 수 없다.
우리는 데모를 만들었다. 작동했다. 점수는 무작위 수준까지 떨어졌다. 나는 그것이 자랑스러웠던 기억이 난다 — 나에게는 이렇게 적힌 슬라이드가 있었다: 그 지식은 사라졌다, 그리고 그것은 완결된 논증처럼 느껴졌다.
그런데 우리 엔지니어 중 한 명이 그 모델에 재학습(relearning) 공격을 가했다. CMU의 Lucki 외 연구진이 ICLR 2025에서 발표한 것과 같은 종류였다. 그는 비밀 데이터를 넣지 않았다. 그는 이것을 대상으로 파인튜닝했다: 공개된 의학 논문들 — 어느 생물학 도서관에나 있을 법한 자료였다 — 그러자 지워진 줄 알았던 능력이 다시 기어 올라오기 시작했다. 같은 논문은 이 수법이 잡학 지식에도 통한다는 것을 보여주었다. 해리 포터를 "잊어버린" 언러닝된 모델이 위키를 본 뒤에 암기한 구절들을 다시 읊도록 자극될 수 있었다. 지식은 사라진 것이 아니었다. 그것은 은폐되어 있었을 뿐이다. 깊이, 인상적일 만큼 은폐되어 있었지만 — 가중치와 한나절의 시간만 있으면 누구든 복원할 수 있었다.
우리는 위험한 지식을 삭제하지 않았다. 우리는 그것을 우리 자신을 속일 만큼 잘 숨겼을 뿐이고, 그것이야말로 존재할 수 있는 가장 위험한 종류의 안전이다.
그날 밤이 그 깔끔한 홍보 문구가 죽은 밤이었다. 그리고 그것은 죽어야만 했다. 왜냐하면 그다음 버전은 실제 제약사에 "귀사의 모델은 악용될 수 없습니다"라는 문구로 팔렸을 것이기 때문이다 — 사실이 아니며, 어떤 컴플라이언스 담당자도 결코 자기 이름으로 서명해서는 안 되는 문장 말이다.
거부는 능력이 아니라 행동이다
재학습 공격의 실패는 내가 이제 모든 첫 미팅에서 말하는 무언가를 뼛속 깊이 새기게 만들었다. 거부는 모델이 수행하는 행동이다. 능력은 모델이 할 수 있는 것이다. 이 둘은 같은 것이 아니며, 제약업계의 거의 모든 안전 계층이 이 둘을 혼동한다.
RLHF 거부는 모델에게 거절하는 법을 가르친다. 하지만 그것이 모델에게 가르치지 않는 것은 바로 모른다는 것이다. 2025년의 한 연구 — "gpt-oss" 최악 위험 시나리오 연구 — 는 그 구분이 얼마나 얄팍한지를 수치로 못 박았다. 대략 10~50개의 파인튜닝 예시 와 수백 달러어치의 GPU 시간만 있으면, 오픈 웨이트(open-weight) 모델에서 안전 정렬을 벗겨내고 프런티어에 가까운 생물학 능력을 복원할 수 있다. 며칠이면 되는 작업. 근사한 저녁 식사 한 끼 값. 오픈 웨이트 모델을 온프레미스로 운영하는 모든 제약사에게 — 그리고 지극히 타당한 지식재산권상의 이유로 많은 곳이 그렇게 한다 — "안전 정렬됨"이란 내부자나 유출된 가중치 파일이 더 이상 그러지 않기로 결정하는 바로 그 순간까지만 유지되는 속성이다.
바로 이것이 오픈 웨이트라는 현실이 그토록 중요한 이유다. Arc Institute가 2025년 2월 Evo 2 — 9조 개의 뉴클레오타이드로 학습된 400억 파라미터 DNA 파운데이션 모델 — 를 공개했을 때, 그들은 학습 데이터에서 인간 감염성 병원체를 제외하고 그 결과물을 레드팀 테스트하는 등 진정으로 신중한 안전 작업을 했다. 그런데 NeurIPS 2025에서 발표된 GeneBreaker라는 프레임워크가 최대 60%의 공격 성공률을 기록하며 여섯 개 바이러스 범주 전반에 걸쳐 Evo 2-40B를 탈옥시켰다.
GeneBreaker가 작동하는 방식은 모든 CISO가 곱씹어 봐야 할 대목이다. 그것은 결코 병원체를 요청하지 않는다. AI 에이전트를 사용해 생물정보학 도구들을 조율하고, 상동성 기반 빔 서치(homology-guided beam search)를 통해 어떤 단백질을 요청하는데, 그 단백질은 "~에 상동인(homologous to)" 어느 양성(benign) 참조 서열, 즉 위험한 것과 구조적으로 우연히 가까운 그 서열에 해당한다. 키워드 필터는 정당한 비교유전체학 요청을 본다. 거부 훈련은 거절할 것을 아무것도 보지 못한다. 위험은 나온 결과물의 기능을 분석할 때에야 비로소 드러나는데 — 그 시점이면 이미 밖으로 나가 있다. 일단 가중치가 공개되면, 모델이 이미 세상에 풀렸고 모든 경쟁자와 악의적 행위자가 당신이 가진 것과 똑같은 사본을 쥐고 있다고 가정해야 한다.
왜 "최후의 방어선"은 이것을 잡아내지 못했는가?
내가 이 이야기를 펼쳐놓을 때마다, 누군가가 — 대개 그 방에서 가장 경험 많은 사람이 — 이런 취지의 말을 한다: "좋아요, 하지만 이 모든 건 중요하지 않아요. 뭔가 실체를 만들려면 DNA를 합성해야 하고, 우리 합성 공급업체는 모든 주문을 검사하니까요."
나도 예전엔 그 말을 절반쯤 믿었다. 그러다 2025년 10월이 왔다.
Microsoft Research는 Twist Bioscience, IDT, 그리고 국제유전자합성컨소시엄(International Gene Synthesis Consortium)과 함께 열 달 동안 조용히 작업하며, 이제 패러프레이즈 프로젝트(Paraphrase Project)라 불리는 것을 수행했고, 그 결과를 다음 저널에 발표했다: Science 그들은 오픈소스 단백질 설계 모델을 사용해 어떤 독소의 합성 변이체 수천 개를 생성했다 — 기능을 담당하는 핵심 부위는 보존한 채 그 주변의 모든 것을 변형시킨 것으로, 표절 소프트웨어가 표시하지 못하도록 문장을 바꿔 쓰는 것의 분자적 등가물이었다. 이 AI가 바꿔 쓴 변이체들은 상동성 기반 스크리닝 소프트웨어를 슬쩍 통과했다 — 모든 주요 DNA 합성 공급업체가 사용하는 바로 그 소프트웨어를 말이다. 그 "최후의 방어선"은 그것들을 보지 못했다.
이 팀의 대단한 공로를 인정하자면, 그들은 그 열 달을 상동성 매칭 위에 기능 예측을 더하는 패치를 공동 개발하고 전 세계에 배포하는 데 썼다. 탐지 성능은 개선되었다. 그러나 구매자에게 주는 교훈은 영구적이다: "우리 DNA 공급업체가 잡아줄 것"이라는 전제로 돌아가던 모든 내부 파이프라인은, 2024년 내내 그리고 2025년의 대부분 동안, 존재하지도 않는 보장에 기대어 돌아가고 있었다. 나는 논문이 나온 지 몇 주 뒤에, 바로 그 안전장치를 완전한 확신에 차서 설명하는 컴플라이언스 담당자와 마주 앉아 있었다. 공급업체의 스크리닝을 당신의 안전장치로 여겨서는 안 된다. 주문이 건물을 떠나기 전에, 자체적으로 검사해야 한다.
위안을 주는 이야기는 언제나 "하류 어딘가에서 잡아줄 것"이다. 바이오보안에서 2025년은 모든 하류의 안전망이 뚫리는 것이 입증된 해였다.
규제의 바닥이 움직였다 — 그것도 동시에 두 방향으로
기술적 지형만 흔들리고 있는 것이라면, 이것만으로도 충분히 어려운 일일 것이다. 법적 지형 또한 움직이고 있으며, 그것도 서로 갈라지는 방향으로 움직이고 있다.
미국에서는, 컴플라이언스 팀들이 2023년과 2024년 내내 대비책을 세워온 행정 체계가 몇 달 만에 해체되었다. 바이든의 AI 안전 행정명령은 2025년 1월에 철회되었고, 바이오경제 행정명령은 3월에, 5월에 나온 대체 생물학연구보안 행정명령은 90일 이행 기한을 달고 나왔지만 그 기한은 아무런 체계도 나타나지 않은 채 지나갔다. 바이오보안 컴플라이언스를 업으로 하는 사람들은, 지금 이 순간, 진공 상태에서 일하고 있다.
한편 EU는 반대 방향으로 갔다. AI법(AI Act)의 범용 모델에 대한 의무는 2025년 8월에 발효되었고, 고위험 분야에 대한 전면 적용은 2026년 8월에 시행된다. 그 처벌은 상징적인 수준이 아니다: 최대 3,500만 유로 또는 전 세계 매출의 7%가 금지된 관행에 대해, 그리고 범용 모델 규정 위반에는 1,500만 유로 또는 3%가 부과된다. 생물학에 사용되는 파운데이션 모델은 정확히 그 적용 범위 안에 있다. 그리고 여기, 내 고객 대부분에게 이 문제 전체를 결정짓는 비대칭성이 있다: EU에서 조금이라도 사업을 하는 제약사는 미국이 어디로 가든 상관없이 EU 기준을 준수해야 한다. 프랑크푸르트에 판매한다면, 세계에서 가장 낮은 기준은 아무 의미가 없다.
머리기사를 장식하는 규제 아래에서, ISO/IEC 42001 — AI 관리 시스템에 관한 최초의 국제 표준 — 은 보험사와 파트너들이 당신이 보유하고 있기를 기대하는 것으로 조용히 자리 잡았다. 그리고 여기서 조용한 집행자는 바로 보험사들이다. 2025년 후반 내내, 사이버 배상책임 보험사들은 인수심사 양식에 이중용도 학습 데이터 배제, 언러닝 절차, 레드팀 실시 빈도에 관한 질문을 추가하기 시작했고, 문서화된 통제 없이 오픈 웨이트 모델을 운영하는 기업에 대해서는 AI가 생성한 피해를 보장에서 제외하거나 보험료를 재산정하기 시작했다. 나는 Munich Re 방식의 설문지가 고객의 책상에 도착해 대화 전체의 틀을 바꾸는 것을 지켜보았다: 이것은 더 이상 윤리 논의가 아니라, 보험료 문제였다.
바로 여기서 책임의 덫이 철컥 닫힌다. 그 소송을 그려보라. 불만을 품은 직원이 어느 제약사의 비공개 생물학 모델 가중치를 빼돌린다. 몇 달 뒤 그것이 아슬아슬한 미수 사건에 관한 위협 인텔리전스 보고서에 등장한다. 원고 측 변호사는 단 하나의 질문을 던진다: 귀사의 통제 체계는 무엇이었습니까? 2024년이라면 "우리는 거부 훈련을 사용했습니다"라고 답하고도 살아남았을지 모른다. 그러나 악성 파인튜닝(MFT)과 재학습 연구가 나온 뒤, 그 답변은 자백에 더 가깝다. 2026년의 주의의무(duty-of-care) 방어 논리는 "우리는 최첨단의, 문서화된, 다층적 예방 조치를 취했습니다"이며 — 그것을 입증할 레드팀 기록을 가지고 있거나, 아니면 가지고 있지 않거나 둘 중 하나다.
그렇다면 실제로 버티는 것은 무엇인가?
이 모든 것에서 나온 정직한 결론은 내가 가장 원하지 않던 것이다. "우리는 그 지식을 삭제했다"보다 덜 우아하기 때문이다. 단 하나의 기법으로는 되지 않는다. 거부는 되돌릴 수 있다. 언러닝은 복원할 수 있다. 출력 필터는 새로움 앞에서는 눈이 먼다. 공급업체 스크리닝은 우회되었다. 개별 방어책 하나하나마다 입증된 무력화 사례가 있다.
버티는 것은 독립적으로 실패하는 계층들이다 — 하나를 뚫는다고 해서 시스템 전체가 뚫리지는 않도록 말이다. 그것이 우리가 결국 구축하게 된 것이며, 바로 Veriprajna 바이오보안 AI 안전 프랙티스가 지금 그것을 중심으로 조직되어 있다. 설치하는 제품이 아니다. 제약사가 이미 운영하고 있는 그 어떤 스택에도 통합되어 들어가는 방어책이다. 왜냐하면 그들은 나를 위해 Chemistry42나 REINVENT를 뜯어내지 않을 것이고, 그럴 필요도 없어야 하기 때문이다.
그것은 생성 시점에서 시작된다. 우리는 모델 앞단에 안전 미들웨어를 두어 SMILES, SELFIES, 또는 분자 그래프 출력물을 가로챈다 — 그것이 연구자에게 도달하기 전에 말이다. 모두가 하는 독성 작용기 스크리닝이지만, 화학무기 다양체까지의 잠재 공간(latent-space) 근접도 점수화와 활성 절벽(activity-cliff) 탐지를 그 위에 층층이 얹은 것이다. 패턴 필터를 지나쳐 걸어 나가는 새로운 구조의 공격은 다음에 의해 붙잡힌다 — 그것이 모델의 표현(representation) 안에서 자리하는 위치이지, 그것이 어떻게 생겼는지가 아니다 — 화학무기 유사체와 양성 약물은 구조적으로 무관해 보일 수 있으면서도 모델이 학습한 잠재 공간의 같은 영역에 군집할 수 있기 때문이다. 그것이야말로 새로움을 좇는 생성기가 벗어날 수 없는 유일한 불변량이다. 모든 가로채기는 감사 로그를 남기는데, 그 로그가 바로 ISO 42001 심사관이 실제로 보여 달라고 요구하는 것이기 때문이다.
언러닝은 여전히 가중치 수준에서 제 역할이 있지만, 재학습 연구가 우리에게 강제한 겸손함을 갖출 때에만 그렇다. RMU, 희소 오토인코더(sparse-autoencoder) 특징 절제, 2025년 ACL 논문의 UIPE 개선 기법 — 그리고 그다음에 월간 재인증 주기를 지속적인 재학습 레드팀과 함께 돌린다. 왜냐하면 우리는 이제 지식 공백이 침식될 수 있다고 가정하며, 그런 일이 일어날 수 없는 척하기보다는 그 침식을 잡아내는 편을 택하기 때문이다. WMDP-Bio 점수는 한 번 액자에 넣어 걸어둔 증서이기를 멈추고, 우리가 계속 모니터링하는 활력 징후가 되었다.
누군가 적극적으로 그것을 깨뜨리려 시도하지 않는 한 그 어느 것도 신뢰할 수 없기에, 레드팀은 분기마다 가동된다: GeneBreaker 방식의 상동성 공격, SMILES 프롬프팅 탈옥, 악성 파인튜닝 시뮬레이션, 재학습 복원. 산출물은 NIST AI 600-1 통제 항목에 매핑된 서면 보고서다 — 이 생성형 AI 프로파일은 2024년 7월부터 CBRN을 열두 가지 고유 위험 중 하나로 명시적으로 지목해 왔다. 그리고 이 루프는 우리가 자체적으로 스크리닝할 때에만 닫힌다: 생성된 서열을 IGSC에 대해, SecureDNA의 암호학적 해싱 프로토콜에 대해, 그리고 기능 예측 계층에 대해 대조 검사하며 — 어떤 합성 주문이든 건물을 떠나기 전에 그렇게 한다 — 바로 패러프레이즈 프로젝트가 드러낸 그 간극 말이다.
대부분의 공급업체가 서면으로 남기지 않으려는 부분
내가 모든 계약에서 반드시 넣어야 한다고 고집하는 항목이 있는데, 바로 그것이 나머지 전부를 신뢰할 만하게 만든다. 바로 우리가 고칠 수 없는 것들이다.
우리는 조직 내 정치를 해결할 수 없다. R&D 책임자가 바이오보안 검토를 반복 속도에 매기는 세금처럼 느낀다면, 그 어떤 기술적 계층도 일정표와 부딪히는 순간 살아남지 못한다. 우리는 가중치를 쥐고 파인튜닝 권한을 가진 적수를 상대로 언러닝이 입증 가능하게 영구적이도록 만들 수 없다 — UIPE와 SAE 절제는 위험을 줄이지만, 0으로 만들지는 못한다. WMDP는 알려진 전구체 지식의 대리 지표일 뿐이다. 무작위 확률 수준의 모델이라 해서 아직 아무도 열거하지 못한 능력에 대해 안전하다고 인증되는 것은 아니다. 그리고 상류의 데이터 오염(data-poisoning) 공격은 모델이 제약사에 도달하기도 전에 일어나며, 이는 그것을 탐지하려면 하류의 컨설턴트가 강제할 수 없는 협력이 필요하다는 뜻이다.
모든 간극을 메운다고 주장하는 바이오보안 공급업체는, 정작 그들이 모든 간극을 찾아내지 못했음을 증명하는 바로 그 한 가지를 당신에게 말하고 있는 셈이다.
그러한 유의사항들은 평이한 언어로, 이사회 자료 속에, 통제 매트릭스 안에 명시되어야 한다. 정직함이 미덕이어서가 아니라, 그 대안 — 내가 하마터면 내보낼 뻔했던 자신만만한 "귀사의 모델은 악용될 수 없습니다" 슬라이드 — 이야말로 훗날 증언 녹취로 이어지는 바로 그 과장된 주장이기 때문이다.
사람들은 이것이 소규모 바이오테크는 그저 운이 없는 것이고, 자신들이 따라잡을 수 없는 프런티어 연구소의 역량에 짓눌리는 것을 뜻하느냐고 내게 묻는다. 사실은 정반대다. 프런티어 연구소들은 진짜 일을 한다 — Anthropic은 2025년 5월 Claude Opus 4에 ASL-3 보호 조치를 탑재했는데, 이는 생물무기 역량 강화를 명시적으로 겨냥한 배포 조치를 갖춘 최초의 상용 모델이었다. 그러나 그 분류기들이 보호하는 것은 Claude다. 그것들은 당신이 파인튜닝한 REINVENT 인스턴스, 당신의 검색(retrieval) 파이프라인, 또는 당신 자신의 GPU 위에서 돌아가는 오픈 웨이트 모델을 위해서는 아무것도 해주지 않는다. 제약사에 특화된 파이프라인 계층이야말로 프런티어 연구소가 손을 뻗을 수 없고 플랫폼 공급업체가 핵심이 아니라 부가 기능쯤으로 취급하는 바로 그 공간이다. 그것이 바로 그 간극이며, 구축이 가능한 간극이다.
내가 받는 또 다른 질문은 운영에 관한 것이다: 이거 느리지 않나요? 아무것도 내놓지 않는 것보다는 느리고, 소송보다는 빠르며, 규제 당국이나 보험사가 당신이 결코 만들어두지 않은 증거를 요구하는 그날보다는 훨씬 빠르다. 2024년 RAND의 레드팀 연구는 AI가 훈련된 바이러스학자가 할 수 있는 일의 천장을 높이지는 않았다는 것을 밝혀냈다 — 대신 그것이 높인 것은 바닥이었다 — 비전문가가 시도해 볼 수 있는 것의 바닥 말이다. 위험은 결코 소수를 위한 초능력이 아니었다. 그것은 다수를 위해 민주화된 정교함이었다. 그것은 거부 프롬프트와 선의가 아니라, 문서화된 계층들로 지켜내는 바닥이다.
나는 이 일을 시작할 때 모델에서 위험한 지식을 삭제하는 영리한 방법을 만들 수 있으리라 기대했다. 그리고 이 일을 마칠 때는 그 틀 자체가 틀렸다는 확신을 갖게 되었다 — 악용될 수 없는 모델을 만들어서는 바이오보안에서 이길 수 없다는 것, 그런 모델은 존재하지 않기 때문이다. 이기는 방법은 모든 계층이 다른 계층들은 뚫릴 것이라 가정하는 시스템을 구축하고, 그 증빙을 남겨두는 것이다. 만약 당신이 오늘 생성형 화학 또는 생물학 파이프라인을 운영하고 있는데 "당신의 통제 체계는 무엇인가"에 대한 정직한 답이 설정 파일 하나와 거부 프롬프트라면, 그것은 안전 태세가 아니다. 그것은 뒤집히기를 기다리는 단 하나의 부호일 뿐이다 — 그리고 당신은 정확히 볼 수 있다, 그 대신 다층적 태세가 어떤 모습인지를.
