살아가는 법을 잊은 AI: 생물 무기를 만들 수 없는 모델을 구축하는 이유

이메일은 화요일 오전 2시 47분에 도착했다. 우리 연구 엔지니어 중 한 명—라비라고 부르겠다—이 인기 있는 오픈소스 생물학 모델을 대상으로 적대적 테스트를 실행하고 있었다. 그는 악의적인 무언가를 하려 했던 게 아니었다. 우리가 늘 하는 가드레일 스트레스 테스트였다. 하지만 그가 발견한 것은 아침까지 기다리는 대신 곧바로 전화를 들게 만들었다.

"모든 걸 처음부터 끝까지 안내해 줬어요," 그가 말했다. "한 번의 프롬프트가 아니었어요. 12번의 대화를 거쳤죠. 단백질 폴딩, 수용체 결합, 전달 메커니즘에 관한 후속 질문을 계속 던지기만 했을 뿐인데요. 결국 바이러스 전파력을 강화하는 청사진 같은 것을 건네받은 거예요. 저는 생물학자도 아닌데요."

나는 거실 어둠 속에 앉아 그가 보내온 대화 내용을 멍하니 바라보았다. 모델은 어떤 것도 '거부'하지 않았다. 개별 답변 하나하나는 기술적으로 합법적인 과학에 관한 것이었다. 하지만 무엇을 물어야 하는지 알고 있는 누군가에게 인도되어 연결되자, 그 대화는 결코 가르쳐서는 안 될 무언가의 걸작 수업이 되어 있었다.

그 밤이 우리 회사의 궤적을 바꾸었다. 우리는 엔터프라이즈 클라이언트를 위한 AI 안전 도구를 구축하고 있었다—중요한 작업이지만, 점진적인 것이었다. 라비가 내게 보여준 것은 더 근본적인 무언가를 요구했다. 더 나은 가드레일이 아니었다. 더 스마트한 필터도 아니었다. 우리는 모든 안전 계층이 제거되더라도 진정으로할 수 없는AI 모델을 구축해야 했다—이 지식을 생성하는 것이.

우리에게는 살아가는 법을 잊은 모델이 필요했다.

아무도 말하고 싶지 않은 문제

AI와 생물학에 관한 불편한 진실이 있다. 희귀 질환을 가진 어린이를 위한 유전자 치료 벡터 설계를 돕는 동일한 모델이, 올바른 프롬프트만 주어진다면, 인체에 최대한 피해를 주도록 병원체를 최적화하는 데 도움을 줄 수 있다. 이것은 가정이 아니다. 이 모델들이 작동하는 방식에 깊이 새겨진 수학적 필연성이다.

대규모 언어 모델은 모든 것을 흡수하며 학습한다—교과서, 연구 논문, 포럼 게시물, 인류 지식의 디지털화된 기록 전체. 여기에는 기능 획득 연구에 관한 바이러스학 논문도 포함된다. 독소 합성에 관한 화학 문헌도 포함된다. 생물학적 작용제를 위험하게 만드는 요소를 정확히 기록한 수십 년간의 생물 방어 연구도 포함된다.

생명을 구하는 데 필요한 데이터는 종종 생명을 끝내는 데 필요한 데이터와 불가분하게 연결되어 있다.

이것이 연구자들이이중 사용 딜레마라고 부르는 것이다. 이것은 새로운 문제가 아니다. 생물학자들은 DNA 발견 이래로 이 문제와 씨름해왔다. 하지만 AI는 나를 밤새 잠 못 들게 하는 방식으로 이 계산식을 바꾼다. 가장 어려운 부분을 민주화하는 것이다.

역사적으로 생물 무기를 제조하려면 세 가지가 필요했다—명시적 지식(과학), 물리적 접근(실험 장비), 그리고 암묵적 지식(수년에 걸쳐 발전하는, 실험 작업에 대한 기술되지 않은 '감각'). 인터넷이 첫 번째를 해결했다. 클라우드 랩과 우편 주문 DNA 합성이 두 번째를 해결하고 있다. 그리고 이제 생성형 AI가 세 번째 격차를 메우고 있다. 한 연구자가 씁쓸하게 '상자 속의 박사후 연구원'이라고 묘사한 것처럼 기능하면서—24시간 365일 이용 가능하고, 무한히 인내심이 강하며, 우리가 명시적으로 구축하지 않으면 도덕적 나침반이 없다.

AI 바이오보안에서 '그냥 거절하기'가 실패하는 이유는?

이 문제에 대한 AI 업계의 대답은 본질적으로 모델이 거절하도록 훈련하는 것이었다. 인간 피드백에서의 강화 학습(RLHF)이라는 프로세스를 통해, 모델은 누군가가 위험한 주제에 대해 물어볼 때 올바른 응답이 '그것을 도와드릴 수 없습니다' 같은 형태임을 학습한다.

나는 한때 이것이 충분하다고 생각했다. 나는 틀렸다.

RLHF는 지식을 지우지 않는다. 행동을 억제할 뿐이다. 모델은 여전히 독소를 합성하는 방법을알고 있다—단지 그것을말하지 않도록훈련되었을 뿐이다. 특정 주제에 대해 침묵 서약을 한 의사처럼 생각해 보라. 지식은 여전히 거기에 있고, 완전히 손상되지 않은 채 신경망 가중치 안에 자리하고 있다. '거절'은 훈련의 마지막 단계에서 덧칠된 얇은 행동 층에 불과하다.

그리고 얇은 층은 갈라진다.

우리 팀은 이것이 무너지는 방식들을 목록화했는데, 인정하고 싶은 것보다 그 목록은 길다.크레센도 어택이 있다—적대자가 무해한 질문으로 시작해 수십 번의 대화 턴에 걸쳐 서서히 에스컬레이션해서 모델이 너무 깊이 맥락에 빠져 거절하는 것을 잊을 때까지 계속한다.디셉티브 딜라이트가 있다—해로운 요청이 창의적 글쓰기 프롬프트에 포장된다.배드 리커트 저지트릭이 있다—모델에게 다양한 응답의 유해성을평가하도록 요청하면, 모델은 '분석'의 일환으로 위험한 세부 사항들을 친절하게 제공한다.

우리는 여러 프런티어 모델에서 이것들을 테스트했다. 결과는 냉정하게 만드는 것이었다. Palo Alto Networks의 Unit 42 팀이 발표한 특히 우아한 한 공격은 대화적 인내만으로 특정 모델에서 100%의 탈옥 성공률을 달성했다.

하지만 진짜 악몽은 탈옥이 아니다. 모델이 오픈소스일 때 무슨 일이 일어나는가이다.

무기를 되돌릴 수 없을 때 무슨 일이 일어나는가?

나는 이것에 대해 격렬한 논쟁을 벌여왔다. 소프트웨어 세계에서 '오픈소스'는 신성하다—투명성, 커뮤니티 검토, 집단적 면밀한 조사를 통한 보안을 의미한다. 나는 소프트웨어의 오픈소스를 믿는다. 하지만 생물학은 소프트웨어가 아니다.

Linux에서 보안 취약점이 발견되면, 패치가 적용된다. 모든 사람이 업데이트한다. 취약점이 무력화된다. 생물학적 '취약점'——예를 들어, 새로운 팬데믹 병원체 설계——이 누군가의 개인 서버에서 실행되는 오픈 웨이트 모델에 의해 생성된다면, 패치는 없다. 업데이트도 없다. 리콜도 없다.

가중치는 외부로 나갔다. 그 능력은 영구적이다.

연구자들은악의적 파인튜닝이라고 불리는 것을 시연했으며, 이것을 구체화한다. '안전하게 정렬된' 오픈 모델—해로운 쿼리를 거절하도록 신중하게 훈련된 것—을 가져온다. 10~50개 정도의 해로운 질의응답 쌍으로 파인튜닝한다. 비용: GPU 시간으로 수백 달러. 결과: 안전 정렬이 완전히 붕괴되고, 모델의 전체 사전 훈련 지식——병원체, 독소, 무기화에 대해 배운 모든 것을 포함한——이 쏟아져 나온다.

적대자가 제거할 수 있는 안전 메커니즘은 안전 메커니즘이 아니다. 그것은 과속 방지턱이다.

나는 한 컨퍼런스에서 이 주장을 제시했고 청중 중 누군가가 반론을 제기했다. '하지만 그 정보는 이미 인터넷에 있잖아요.' 위키피디아에서 리신 합성을 찾을 수 있다는 것은 맞다. 하지만 그것은 요점을 완전히 놓치는 것이다. 위험은 레시피가 아니다. 그것은uplift(역량 강화)——그 레시피를 실제로 실행하는 복잡하고 오류가 발생하기 쉬운 프로세스를 통해 반숙련자를 안내하고, 실시간으로 문제를 해결하며, 규제된 시약을 구할 수 없을 때 대체 시약을 제안하는 모델의 능력이다. AI가 메우는 격차가 바로 그것이고, 중요한 격차다.

나는 이것에 대해우리 연구의 인터랙티브 버전에서 더 깊이 썼다. 다단계 생물학적 워크플로우를 자율적으로 계획하고 실행할 수 있는 에이전트 AI 시스템의 완전한 위협 모델을 포함해서. AI가 챗봇에서 자율적인 과학자로 전환하는 에이전트 전환은 이것이 진정으로 실존적이 되는 곳이다.

방향을 바꾼 밤

우리의 접근 방식이 결정화된 특정 순간이 있었다. 우리는 팀 회의에서 아키텍처에 대해 논쟁하고 있었다. 팀의 절반은 더 나은 모니터링을 구축하고 싶어했다——모델에 도달하기 전에 나쁜 프롬프트를 잡는 것. 나머지 절반은 출력 필터링에 집중하고 싶어했다——사용자에게 도달하기 전에 나쁜 응답을 잡는 것.

나는 화이트보드 앞에 서서 세 번째로 같은 다이어그램을 그리면서, 갑자기 데크 의자를 재배치하고 있는 것 같은 느낌이 든 것을 기억한다. 두 접근 방식 모두 모델이 위험한 지식을가져야 하며, 우리는 그것에 대한 접근을 통제하기만 하면 된다고 가정했다. 하지만 그것은 사무실에 신경 가스를 보관하고 정말 좋은 자물쇠에 의존하는 것과 같은 논리다.

"모델이 그냥... 모른다면 어떨까요?" 누군가가 말했다. 우리 해석 가능성 연구원이었던 것 같다. 방이 조용해졌다.

되돌아보면 명백하게 들린다. 하지만 AI 안전 세계에서는 이단에 가까운 것이었다. 지배적인 가정은 완전한 모델——모든 지식, 모든 능력——이 필요하고, 그런 다음 안전을 그 위에 레이어로 쌓는다는 것이었다. 훈련된 모델에서 지식을 의도적으로 외과적으로 제거한다는 아이디어는 뇌엽절제술처럼 느껴졌다. 조잡하고, 파괴적이다. 그 과정에서 다른 모든 것을 망가뜨릴 것이 분명했다.

우리는 그 다음 몇 달을 그 가정이 틀렸음을 증명하는 데 보냈다.

AI에게 잊는 법을 어떻게 가르치는가?

이 분야는머신 언러닝(Machine Unlearning)이라고 불리며, 들리는 것보다 더 미묘하다. 훈련 데이터를 삭제하고 재훈련할 수는 없다——계산 비용이 엄청나고 지식이 사라졌다는 것을 보장하지 못한다. 대신, 모델의 내부 표현 수준에서 개입해야 한다——개념을인코딩하는 신경 활성화 패턴에.

우리의 주요 기술은표현 오방향 언러닝(Representation Misdirection for Unlearning)또는 RMU라고 불린다. 직관적 설명: 모델이 '바이러스 전파력 강화'에 관한 프롬프트를 처리할 때, 숨겨진 레이어에서 특정 패턴이 발화한다. 이 패턴들이 수학적으로 '바이러스 전파력 강화에 대해 알고 있음'이 어떻게 보이는지다. RMU는 그 패턴들을 식별하고 방향을 바꾼다——거절이 아니라노이즈로. 위험한 개념에 대한 모델의 내부 '사고'가 의미 없는 활성화로 뒤섞인다.

결과는 무기화에 관한 질문을 거절하지 않는 모델이다. 단순히 그것에 대해 일관되게생각할수 없는 것이다. 병원체를 강화하라고 요청하면, 그 개념을 들어본 적 없는 사람처럼——혼란스럽고, 비일관적이며, 관련 없는 아이디어들을 잡으려 하면서——반응한다. 연기가 아니다. 지식이 진정으로 거기에 없는 것이다.

하지만 여기에 어려운 부분이 있다——그리고 우리 엔지니어링 노력의 대부분을 소모한 부분이다. 다른 모든 것을 파괴하지 않고 이것을 해야 한다. 바이러스학과 생물 무기 개발은 방대한 양의 기초 지식을 공유한다. '백신 설계'를 위험에 빠뜨리지 않고 '병원체 공학'을 뽑아낼 수 없다. 그것은 누군가의 뇌에서 '무기로서의 불' 개념을 제거하면서 '요리 도구로서의 불'은 완전히 손상되지 않게 남기려는 것과 같다.

여기서스파스 오토인코더가 우리의 메스가 되었다. 신경망은 악명 높게 '다의미적'이다——단일 뉴런이 '고양이'와 '금융 파생 상품' 모두를 인코딩할 수 있다(진짜로). 스파스 오토인코더는 이러한 중첩된 표현들을 깔끔한 단일 개념 특징들로 분리할 수 있게 해줬다. '바이러스 기능 획득 연구'에 대해 활성화되는 특정 특징을 찾아 제로로 고정하면서, '유전자 치료를 위한 바이러스 벡터 설계'에 대한 인접 특징은 손대지 않고 남길 수 있었다.

프로세스가 순탄했다고 꾸밀 생각은 없다. 초기 실험은 가혹했다. 첫 번째 언러닝 모델은 바이러스와 비타민의 차이를 구별할 수 없었다. 우리는 너무 공격적으로 과도하게 수정해서 모델이 기본적으로 분자 생물학을 잊어버렸다. 라비가 평가 결과를 불러내어 기본 생물학 질문에 대한 무의미한 답변 페이지를 넘기면서, '뭐, 생물 무기는 확실히 만들 수 없게 됐네요. 아스피린도 못 만들게 됐지만요'라고 말한 것을 기억한다.

우리는 반복했다.언어 기억 소거(Erasure of Language Memory)라는 기술을 통해 유창성 제약을 추가해서, 모델이 '소거된' 구역에서도 일관성을 유지하도록 했다. 재학습 문제를 처리하기 위해파라미터 외삽을 구현했다——누군가가 관련 데이터로 언러닝된 모델을 파인튜닝해서 위험한 지식을 재구성할 위험. 외삽은 '논리적으로 상관된' 개념들을 식별하고, 그것들을 커버하도록 언러닝 기울기를 확장해서, 소거된 지식 주변에 버퍼 구역을 만든다.

이러한 방법들——RMU, 스파스 오토인코더 특징 제거, UIPE 파라미터 외삽——의 완전한 기술적 분석은우리의 상세한 연구 논문을 참조하라.

실제로 '랜덤 확률'은 어떤 모습인가?

우리는WMDP 벤치마크——Center for AI Safety가 개발한 대량 파괴 무기 프록시 데이터셋——에 대해 모델을 검증한다. 여기에는 생물학적 또는 화학적 무기를 만들기 위해 이해해야 하는 개념——'전구 지식'을 테스트하는 4,000개 이상의 전문가가 제작한 객관식 문제가 포함되어 있다.

Llama-3-70B와 같은 표준 오픈소스 모델은 바이오보안 섹션에서 약 75%를 기록한다. 모든 RLHF 안전 훈련을 갖춘 GPT-4는 약 72%를 기록한다. 우리 Knowledge-Gapped 모델의 점수는26%——4지 선다형 테스트에서 랜덤 추측과 통계적으로 구별이 안 된다.

한편, PubMedQA와 같은 일반 생물의학 연구 벤치마크에서는, 우리 모델은 베이스 모델의 78%에 비해 약 77%의 정확도를 유지한다. 광범위한 MMLU 과학 벤치마크에서는 82%에서 81%로 하락한다.

Knowledge-Gapped 모델은 위협에 관해서는 기능적으로 '유아'이지만, 치료법에 관해서는 '전문가'로 남는다.

이 1~2%의 유틸리티 손실이 구조적 안전의 비용이다. 이 수치를 보여준 모든 제약 임원은 같은 반응을 보였다. '그게 다예요?' 그렇다. 그게 다다. 모델은 합법적인 연구에 98% 능력을 갖추고 있으며, 무기화에는 본질적으로 0%의 능력만 갖추고 있다.

탈옥 공격 성공률이 나머지 이야기를 전한다. 표준 오픈 모델: 15~20%. RLHF를 갖춘 GPT-4: 1~5%. 우리 모델: 0.1% 미만. 그리고 그 잔차는 모델이 위험한 콘텐츠를 생성하는 것이 아니라——측정 노이즈다.

규제의 벽이 좁혀오고 있다

이것은 더 이상 기술적 논쟁만이 아니다. 법적 논쟁이기도 하다.

Executive Order 14110은 '이중 사용 기반 모델'을 명시적으로 표적으로 삼아, 개발자들이 CBRN(화학, 생물, 방사선, 핵) 위험에 대한 레드팀 테스트 결과를 보고하도록 의무화한다.ISO/IEC 42001——첫 번째 국제 AI 관리 표준——은 '위험에 비례한' 통제를 요구한다——그리고 안전 공학에서위험 제거는 항상관리적 통제보다 높게 평가된다——정책과 거절과 같은.NIST AI 위험 관리 프레임워크는 CBRN 능력을 생성형 AI에 대한 독특한 위험 클래스로 분류한다.

제약 회사들에게 책임 계산은 간단하다. 연구자들에게 병원체를설계할 수 있는AI 모델에 대한 접근을 제공하고, 무언가 잘못된다면——불만을 가진 직원, 침해된 시스템, 정교한 소셜 엔지니어링 공격——예측 가능한 피해를 방지하기 위해 어떤 조치를 취했는지 질문받을 것이다. '모델에게 거절하라고 말했습니다'는 배심원을 만족시키지 못할 것이다. '모델은 구조적으로 그 출력을 생성할 수 없습니다'는 완전히 다른 대화다.

사이버 책임 보험사들은 이미 이것을 가격에 반영하고 있다. AI가 생성한 피해 제외 조항이 정책에 등장하기 시작했다. 민감한 도메인에서 검증되지 않은 모델을 사용하는 기업들의 보험료가 오르고 있다. 시장이 우리에게 무언가를 말하고 있다.

"하지만 누군가가 다시 훈련시킬 수 없나요?"

이것이 내가 가장 자주 받는 질문이고, 물어봐야 할 올바른 질문이다. 지식을 잊게 할 수 있다면, 적대자가 생물학적 무기 데이터로 파인튜닝해서 재학습할 수 없는가?

이론적으로——할 수 있다. 하지만 우리는 재학습 비용을 엄청나게 비싸게 설계했다. 파라미터 외삽을 통해, 목표 지식만 소거하는 것이 아니라 재구성을 가능하게 하는 주변의 개념적 발판도 소거한다. 우리 모델에서 위험한 능력을 회복하려면 처음부터 새 모델을 훈련하는 것보다 더 많은 데이터와 컴퓨팅이 필요하다. 그 시점에서 적대자는 우리 모델에서 시작하는 것으로 아무것도 얻지 못한다.

우리는 이것을 지속적으로 테스트한다. 매주, 자동화된 재학습 공격이 적대적 파인튜닝 데이터셋으로 우리 모델을 공격한다. 모델은 재학습 비용이 처음부터 훈련하는 비용을 초과할 때만 'Knowledge-Gapped' 지정을 얻는다.

이 접근 방식이 확장되는지——모든 위험한 도메인에 적용할 수 있는지, 아니면 생물학에만 적용되는지——에 대한 질문도 자주 받는다. 솔직한 대답은 생물학에서 시작한 것은 위험이 가장 높고 이중 사용 경계가 가장 명확하기 때문이다. 하지만 기반 기술들——표현 오방향, 특징 제거, 파라미터 외삽——은 도메인에 구애받지 않는다. 우리는 이미 화학 보안 응용을 탐구하고 있으며, 흥미롭게도, 같은 언러닝 방법이 모델이 경쟁사의 독점 데이터를 기억하지 않았음을 보장할 수 있는 지적 재산 보호에도 적용할 수 있다.

실제로는 선택이 아닌 선택

나는 AI 능력 제한이 반혁신적이라고 주장하는 영리한 사람들이 있는 방에 있어본 적이 있다. '안전성'은 '속도 줄이기'를 위한 코드라고. 위험은 과장되었고 혜택은 제약하기에 너무 중요하다고.

그 충동은 이해한다. 나는 창업자다. 생업으로 무언가를 만든다. 제약은 마찰처럼 느껴진다.

하지만 내가 계속 돌아오는 것은 이것이다. 우리는 제약 회사가 독성 부산물을 제거하지 않고 약을 팔도록 허용하지 않는다. 우리는 항공사가 구조적 결함을 제거하지 않고 비행기를 띄우도록 허용하지 않는다. 제품이 재앙의 씨앗을 담아서는 안 된다는 기대는 반혁신적이지 않다. 그것이 공학의 기준이다.

생물학에서 'AI 개방'과 'AI 폐쇄' 논쟁은 주의를 다른 곳으로 돌리는 것이다. 진짜 선택은 구조적으로 안전한 모델과 하나의 익스플로잇으로 재앙 직전인 모델 사이에 있다. 안전이아키텍처의 속성인 시스템과 안전이마지막에 볼트로 고정된 정책인 시스템 사이에.

우리는 수십 년에 걸쳐 글로벌 바이오보안 인프라를 구축했다——생물학적 무기 협약, 호주 그룹 수출 통제, DNA 합성 회사의 심사 프로토콜. 이 모든 것은 생물 무기 제조에서 가장 어려운 부분이 지식과 기술을 획득하는 것이라고 가정한다. AI는 그 가정을 무너뜨리고 있다. 우리가 적응하지 않는다면——모든 것을 알지만 말하지 않겠다고 약속하는 모델에만 계속 의존한다면——우리는 GPU를 가진 의지 있는 십대가 해독할 수 있는 기반 위에 미래의 바이오 경제를 구축하고 있는 것이다.

불안정한 이중 사용 모델의 기반 위에——탈옥 하나로 재앙 직전인——미래의 바이오 경제를 구축할 수 없다.

생물학을 위한 AI 구축을 멈추는 것이 답이라고 생각하지 않는다. 치료 가능성은 너무 광대하고, 그것이 완화할 수 있는 고통은 너무 현실적이다. 답은 우리가 두려워하는 해악에 대해구조적으로무능한 AI를 구축하는 것이다——지식에 진정한 격차가 있는 모델, 어떤 적대자도 벗겨낼 수 있는 가면을 쓴 모델이 아니라.

우리는 이것을구조적 바이오보안이라고 부른다. 기능으로서의 안전이 아니다. 아키텍처로서의 안전. 문의 자물쇠가 아니다. 그 뒤에 있는 무기의 부재.