AI가 단 6시간 만에 잠재적 화학무기 4만 개를 설계했다. 이것이 의미하는 바가 머릿속을 떠나지 않는다.

나는 취리히의 한 호텔 방에서 시차 피로에 시달리며 노트북으로 논문을 반쯤 읽고 있었다. 그때 하나의 표가 나를 완전히 멈추게 했다.

40,000개의 분자. 여섯 시간 미만. 대학 기숙사에서도 찾아볼 수 있는 일반 소비자용 서버. 그리고 출력 결과는 쓰레기가 아니었다. 이 모델은 지금까지 합성된 가장 치명적인 신경작용제 중 하나인 VX를 재발견하고, 나아가 수천 개의 새로운 유사체를 생성했다 — VX보다 더 치명적일 것으로 예측되는 화합물들. 어떤 공개 데이터베이스에도 등장하지 않는. 어떤 정부 감시 목록에도 존재하지 않는.

Collaborations Pharmaceuticals의 연구진은 무기를 만든 것이 아니었다. 그들은 희귀 질환 치료법을 찾기 위해 설계된 상용 신약 발굴 모델 MegaSyn을 가져와 보상 함수의 부호 하나만 바꿨다. 음수에서 양수로. 독성을 억제하라는 것이 독성을 극대화하라는 것으로 바뀌었다. 그것뿐이었다. 코드 한 줄로, 기계는 동일한 유창함으로 치료자에서 무기 설계자로 전환했다.

나는 노트북을 닫고 한참 동안 벽을 바라보았다.

나는 높은 부담이 따르는 기업 환경을 위한 AI 시스템을 구축하는 회사인 Veriprajna를 운영하고 있다. 우리는 딥러닝과, 잘못되었을 때 그 결과가 잘못된 추천이 아니라 실제적이고 물리적인 피해를 의미하는 분야의 교차점에서 일한다. 취리히에서의 그날 밤, 나는 AI 업계가 판매하는 전체 안전 패러다임 — 가드레일, 콘텐츠 필터, 프롬프트 엔지니어링 기법 — 이 모래 위에 세워진 기반 위에 있다는 것을 깨달았다. 그리고 우리는 근본적으로 다른 무언가를 해야 한다는 것을 알았다.

모든 것을 바꾸었어야 했던 실험

Collaborations Pharmaceuticals 실험에서 나를 계속 괴롭히는 것은 그것이 어렵지 않았다는 점이다.

연구팀은 분자 구조의 텍스트 기반 표현인 SMILES 문자열로 훈련된 LSTM 기반 신경망을 사용했다. 훈련 데이터는 어떤 대학원생도 다운로드할 수 있는 공개 데이터베이스 ChEMBL에서 가져왔다. 계산 비용은 미미했다. 전체 아키텍처는 공개 문헌에 잘 문서화되어 있다.

모델은 후보 분자를 생성하고 목적 함수에 대해 점수를 매기는 방식으로 작동했다. 정상적인 치료 모드에서 그 함수는 대략 다음과 같았다: 생체 활성을 보상하고, 독성에 페널티를 부여한다. 연구진은 페널티를 역전시켰다. 실제로 분자를 생성하는 엔진인 생성기 자체는 수정되지 않았다. 그것은 단지 새로운 기울기를 따라갔을 뿐이다 — 이전에 최대 치료 가치를 향해 올라갔던 것과 같은 방식으로 최대 치사성을 향해 올라가며.

모델이 분자를 안전하게 만드는 것을 이해한다면, 그것은 정의상 분자를 안전하지 않게 만드는 것도 이해한다. 이것들은 동일한 수학적 공간의 상호 보완적인 영역이다.

이것은 버그가 아니다. 설계된 대로 정확히 작동하는 아키텍처다. 그리고 그것이 바로 두려운 부분이다.

정교한 생화학 작용제를 설계하기 위한 진입 장벽이 무너졌다 — 누군가가 레시피를 유출했기 때문이 아니라, 그것을 설계할 수 있는 계산 지능이 이제 누구에게나 민주적으로 이용 가능해졌기 때문이다. 일반 소비자용 GPU. Python 스크립트. 오픈 소스 데이터셋. 이것이 전체 쇼핑 목록이다.

왜 모든 AI 안전 솔루션은 핵심을 놓치는가?

취리히 이후, 나는 몇 주 동안 제약 및 바이오테크 분야에서 '안전한 AI'를 구축하는 팀들과 이야기를 나눴다. 대화는 우울한 패턴을 따랐다.

"가드레일이 있습니다,"라고 그들은 말했다. "출력을 필터링합니다."

나는 물었다: 누군가 분자 이름 대신 SMILES 문자열을 제출하면 어떻게 됩니까?

멍한 눈빛.

전체 래퍼 기반 안전 패러다임의 문제점이 여기 있다 — 강력한 모델을 가져다 얇은 콘텐츠 필터 레이어로 감싸고 기업 준비 완료라고 부르는 접근 방식. 이런 시스템은 언어로 작동한다. 키워드를 찾는다. 알려진 나쁜 것들의 목록에 대해 출력을 확인한다.

하지만 독성은 단어가 아니다. 그것은 기하학이다.

콘텐츠 필터는 "사린"이라는 단어를 차단할 것이다. 그러나 O=P(C)(F)O — 모델이 완벽하게 이해하는 사린의 SMILES 표현 — 은 차단하지 않을 것이다. SMILES 프롬프팅 공격에 관한 최근 연구에 따르면 특정 물질에서 GPT-4 및 Claude 3과 같은 선도적 모델에 대해 90%를 초과하는 우회율이 나타났다. 90퍼센트. 이것은 안전 시스템이 아니다. 이것은 제안함이다.

더 나쁜 것도 있다. 의약 화학에는 '활성 절벽'이라는 현상이 있다 — 아주 작은 구조적 변화, 때로는 단 하나의 원자 치환이 생물학적 활성에서 엄청난 변화를 일으키는 것이다. 하이드록실 기를 플루오린 원자로 교체하면 안전한 약물이 치명적으로 변한다. 두 분자가 99% 유사하다고 판단하는 텍스트 기반 필터는 위험한 것을 통과시킬 것이다. 기능이 아니라 구문을 비교하기 때문이다. 이는 글자를 읽지 않고 폰트가 맞다는 이유로 문서를 승인하는 것과 같다.

나는 이러한 기술적 취약성에 대해 우리 연구의 인터랙티브 버전에서 깊이 다루었지만, 핵심 통찰은 간단하다: 안전 메커니즘이 모델의 표면에서 — 입력되는 텍스트와 출력되는 텍스트에서 — 작동한다면, 실제 창조의 엔진을 완전히 통제 밖에 둔 것이다.

우리가 잘못 생각하고 있었음을 깨달은 밤

정확히 기억하는 순간이 있다 — CTO와 내가 식은 피자를 두고 오후 11시에 논쟁을 벌이고 있을 때였다 — 전체 문제가 우리에게 새롭게 재구성되었다.

우리는 더 나은 필터를 구축하려 했다. 더 스마트한 분류기. 더 포괄적인 차단 목록. 그리고 스트레스 테스트를 할 때마다 또 다른 우회 방법을 발견했다. 또 다른 인코딩 트릭. 새로운 분자가 어떤 데이터베이스에도 없기 때문에 통과해버리는 또 다른 엣지 케이스.

CTO가 논쟁을 멈추게 하는 말을 했다: "우리는 계속 나쁜 출력을 잡으려 한다. 모델이 처음부터 그것을 생각할 수 없게 만들면 어떨까?"

그때 우리는 잠재 공간에 대해 이야기하기 시작했다.

잠재 공간이란 무엇이며, 왜 신경 써야 하는가?

모든 생성형 AI 모델 — 이미지, 텍스트, 분자를 생성하든 — 은 세상을 수학적 공간으로 압축함으로써 작동한다. 이 압축된 표현을 잠재 공간이라고 한다. 이것을 모델의 내부 상상력이라고 생각하라. 분자 생성기가 새로운 약물을 '설계'할 때, 그것은 무작위로 원자를 조합하는 것이 아니다. 유사한 분자들이 함께 군집하고, 생성이 그 경관의 한 점을 선택하여 실제 구조로 디코딩하는 행위인 고차원 경관을 탐색하는 것이다.

여기서 중요한 것이 있다: 이 경관에서 독성은 레이블이 아니다. 그것은 영역이다. 치료 가치를 나타내는 영역으로 흘러들어 얽히는 연속적이고 광활한 영토. 알츠하이머 치료를 위해 약물이 혈액-뇌 장벽을 통과하게 해주는 특성은 종종 신경작용제가 표적에 도달하여 마비를 일으키게 하는 특성과 동일하다. 높은 결합 친화성 — 분자가 단백질을 단단히 잡는 능력 — 은 암 치료제에서 원하는 것이자 VX를 치명적으로 만드는 것이다.

독성과 치료 가치는 동전의 양면이 아니다. 그것들은 같은 다양체 위의 이웃이며, 울타리와 때로는 현관문을 공유한다.

이 얽힘이 단순한 '거부' 메커니즘이 처참하게 실패하는 이유다. 독성과 관련된 모든 것을 차단하라고 모델에게 지시한다면 — 예를 들어, 혈액-뇌 장벽을 통과하는 모든 분자를 차단한다면 — 무기만 차단하는 것이 아니다. 신경계 질환 치료제를 설계하는 모델의 능력을 파괴하는 것이다. 안전이라는 명목으로 전두엽 절제술을 수행한 것이다.

진정한 도전은 나쁜 출력을 차단하는 것이 아니다. 위험한 영역을 수학적으로 도달 불가능하게 만들면서 이 경관의 안전한 영역을 탐색하는 것이다.

"잠재 공간 거버넌스"는 실제로 어떻게 생겼는가?

우리는 높은 부담이 따르는 생성 도메인에서 AI 안전에 대한 유일하게 방어 가능한 접근 방식이라고 믿는 것을 설명하기 위해 '잠재 공간 거버넌스'라는 용어를 만들었다. 아이디어는 겉보기엔 놀랍도록 단순하다: 모델이 출력을 생성한 후 필터링하는 대신, 어떤 것이 생성되기 전에 모델의 내부 경관 탐색을 제한한다.

이것이 실제로 무엇을 의미하는지 설명하겠다. 악마는 구현에 있기 때문이다.

이동 전에 지형 매핑

생성 모델을 배포하기 전에, 우리는 위상 감사라고 부르는 작업을 수행한다. 위상 데이터 분석의 한 분야인 지속적 호몰로지라는 기법을 사용하여, 우리는 모델의 잠재 공간에서 안전 영역의 수학적 지문을 계산한다. 치료 영역을 독성 영역에서 분리하는 형태, 구멍, 경계를 식별한다.

이것은 어떤 차단 목록도 제공할 수 없는 것을 우리에게 준다: 모델 자체의 기하학에서 '안전'이 어떻게 보이는지에 대한 구조적 이해. 새로운 분자가 생성될 때 — 어떤 데이터베이스에도 없는 것 — 우리는 그것이 안전한 다양체 위에 있는지, 아니면 미지의 잠재적으로 위험한 영역으로 벗어났는지 평가할 수 있다.

결코 잠들지 않는 비평가들

우리는 기본 생성 모델을 재훈련하지 않는다. 그것은 비용이 많이 들고, 치명적 망각의 위험이 있으며, 그 자체로 문제를 만들어낸다. 대신, 우리는 제약 비평가라고 부르는 경량 보조 네트워크를 훈련한다 — 잠재 벡터에 직접 작동하여 실시간으로 위험 점수를 예측하는 가치 함수.

여기서 아키텍처적 우아함이 중요하다: 비평가는 생성기와 분리되어 있기 때문에, 기반 모델에 손을 대지 않고 새로운 위협이 등장할 때 업데이트할 수 있다. 새로운 화학적 우려 사항이 식별되면, 전체 시스템이 아니라 비평가를 재훈련한다.

필터링이 아닌 조향

생성 중에, 모델이 잠재 공간에서 한 점을 샘플링할 때, 비평가는 그 점에서 독성 표면의 기울기를 계산한다. 궤적이 위험한 영역으로 향하고 있다면, 반대 기울기가 그것을 안전한 다양체 쪽으로 살며시 유도한다 — Langevin Dynamics에 기반한 기법을 사용하여.

모델은 효과적으로 독성 분자를 '상상'하지만, 어떤 출력도 생성되기 전에 그 생각을 안전한 유사체로 해소하도록 수학적으로 강제된다. 위험한 것은 절대 출력 레이어에 도달하지 않는다. 잡을 것이 없기 때문에 필터링할 것도 없다.

모델은 무기를 생성하고 문에서 멈추지 않는다. 그것은 아키텍처적으로 처음부터 문을 향해 걸어갈 수 없다.

이것이 사후 필터링과 구조적 제약의 차이다. 하나는 신분증을 확인하는 경비원이다. 다른 하나는 제한 층으로 가는 입구가 없는 건물이다.

제한된 최적화 프레임워크와 기울기 조향 방정식을 포함한 전체 수학적 공식화는 기술 심층 분석을 참조하라.

왜 위험한 영역을 완전히 차단할 수 없는가?

사람들은 나에게 이것을 끊임없이 묻는다. 정당한 질문이다. 독성 다양체가 어디에 있는지 안다면, 왜 완전히 차단하지 않는가?

얽힘 때문이다. 기억하라 — 신경작용제를 치명적으로 만드는 특성은 신경계 약물을 효과적으로 만드는 특성과 상당히 겹친다. 너무 공격적으로 차단하면 치료적 유용성을 파괴한다. 너무 느슨하게 차단하면 틈을 남긴다.

우리의 접근 방식은 우리가 적응형 인센티브를 가진 제약된 강화학습이라고 부르는 것을 통해 이 딜레마를 정교하게 관통한다. 이진 장벽 — 안전/안전하지 않음 — 대신, 우리는 기울기 완충 구역을 구현한다. 모델이 독성 경계에 접근할수록 증가하는 페널티가 그것을 밀어낸다. 가까이 갈수록 강해지는 힘의 장처럼. 이것은 모델이 위험에 빠지지 않고 화학 공간의 생산적인 가장자리 — 가장 혁신적인 약물이 종종 존재하는 곳 — 를 탐색할 수 있게 한다.

표준 제약 강화학습은 제약 경계 주변에서 진동하는 불안정성으로 악명이 높다. 우리는 모델이 경계를 넘지 않기 위해서가 아니라 한계 내에 충분히 머물기 위해 보상받는 적응형 인센티브 메커니즘으로 이것을 해결했다. 차이는 미묘하게 들린다. 실제로는 서류상 안전한 시스템과 적대적 압력 하에서도 안전한 시스템의 차이다.

규제의 심판은 이미 시작되었다

나는 AI 안전을 있으면 좋은 것으로 취급하는 창업자들과 많이 이야기한다. 컴플라이언스 팀을 위한 체크박스. 제품-시장 적합성 이후에 걱정할 무언가.

그들은 틀렸다. 그리고 규제 환경이 그것을 증명하려 하고 있다.

AI에 관한 백악관 행정명령은 AI가 CBRN(화학, 생물학, 방사선, 핵) 무기 개발에 대한 장벽을 낮추는 위험을 1계층 국가 안보 위협으로 명시적으로 식별한다. 2025년 말에 출범한 제네시스 미션은 에너지부에 의무적인 "위험 기반 사이버 보안 조치"를 갖춘 과학적 발견을 위한 통합 AI 플랫폼을 구축하도록 지시한다. NIST의 생성형 AI 프로파일(NIST.AI.600-1)은 화학 및 생물학 설계 도구를 독특한 위험 범주로 명시하며, 이러한 도구가 "훈련 데이터에 없는 새로운 구조를 예측할 수 있다"고 경고한다. 그리고 ISO 42001 — AI에 대한 최초의 국제 관리 시스템 표준 — 은 적대적 공격에 대한 입증된 견고성을 요구한다.

래퍼는 생물학적 위협의 생성을 방지한다는 것을 입증할 수 없다. 그것들을 필터링하려고 시도한다는 것만 보여줄 수 있을 뿐이다. 연방 계약, ISO 인증, 규제 승인이 달려 있을 때 그 "최선의 노력"이라는 구분은 엄청난 의미를 갖게 될 것이다.

우리의 구조적 제약은 근본적으로 다른 것을 제공한다: 제한된 동작의 증명. 우리는 규제당국에게 — 수학적으로 — CBRN 다양체가 우리 모델에 접근 불가능하다는 것을 입증할 수 있다. "차단하려 한다"가 아니다. "아직 뚫리는 것을 보지 못했다"가 아니다. 접근 불가능하다.

한 투자자가 나에게 "그냥 GPT를 사용하고 필터를 추가하라"고 말했다

이것을 공유하려 한다. 업계가 현재 있는 곳과 있어야 할 곳 사이의 간극을 포착한다고 생각하기 때문이다.

초기 자금 조달 과정에서, 한 투자자 — 기업 AI 분야에 강력한 포트폴리오를 가진 사람 — 가 우리의 피치를 듣고 본질적으로 이렇게 말했다: "이것은 과도하게 엔지니어링되었습니다. 좋은 시스템 프롬프트와 모더레이션 엔드포인트가 있는 GPT-4를 그냥 사용하세요. 아무도 제약 도구를 탈옥하려 하지 않을 것입니다."

나는 휴대폰으로 SMILES 프롬프팅 연구를 열어 90%+ 우회율을 보여주었다. MegaSyn 결과를 보여주었다. 그의 "모더레이션 엔드포인트"가 잡아야 할 분자들에는 아직 이름이 없다고 설명했다 — 어떤 데이터베이스에도 존재하지 않는 새로운 화합물이라고.

그는 한참 멈추고 나서 말했다: "그러면 바이오테크의 모든 AI 안전 회사가 작동하지 않는 자물쇠를 팔고 있다는 말인가요?"

"나는 그들이 벽이 없는 건물의 정문에 자물쇠를 팔고 있다고 말하는 것이다."

그는 투자하지 않았다. 모든 사람이 이 대화를 받아들일 준비가 되어 있지는 않다. 하지만 그렇지 않은 사람들 — 임상 프로그램을 운영하는 제약 회사들, CBRN 의무를 가진 방위산업체들, ISO 42001 인증을 목표로 하는 바이오테크 기업들 — 은 구조적 안전이 프리미엄 기능이 아님을 이해한다. 그것은 최소 기능 제품(MVP)이다.

밤잠을 설치게 하는 부분

MegaSyn 실험은 2022년에 발표되었다. 2018년의 아키텍처를 사용했다. 오늘날 이용 가능한 모델들은 몇 자릿수나 더 강력하다.

그리고 업계가 이에 대응하여 구축한 "안전" 인프라는? 더 나은 키워드 필터. 개선된 시스템 프롬프트. 더 포괄적인 차단 목록. 우리는 더 빠른 자동차를 만들고 더 나은 과속방지턱으로 대응하고 있다.

나는 AI 분야의 대부분의 사람들이 — 심지어 AI 안전 도구를 구축하는 대부분의 사람들도 — 새로운 화학 무기를 설계하는 능력이 이제 게이밍 PC보다 저렴하다는 것이 무엇을 의미하는지를 완전히 내면화하지 못했다고 생각한다. 그 지식이 어딘가의 기밀 문서에 있는 것이 아니라, 공개적으로 이용 가능한 화학 데이터로 훈련된 모델의 학습된 표현에 인코딩되어 있다는 것. 독성이 무엇을 의미하는지를 '가르침 해제'하지 않고서는 치료가 무엇을 의미하는지도 '가르침 해제'할 수 없다는 것 — 이것들은 다른 각도에서 본 같은 지식이기 때문에.

우리는 기하학적 문제를 언어적 패치로 해결할 수 없다. 위험은 모델의 잠재 공간에 있으며, 거버넌스도 거기에 있어야 한다.

래퍼 시대는 끝나야 한다. 래퍼가 나쁜 제품이기 때문이 아니라 — 많은 것들이 선의를 가지고 있으며 부담이 적은 응용 프로그램에 유용하다. 하지만 AI가 물리적 세계에 닿는 영역 — 신약 설계, 화학 합성, 생물 공학 — 에서는 표면적 안전이 형용모순이다. 그것은 제어의 외양을 만들어내면서 창조의 엔진을 완전히 통제 밖에 둔다.

Veriprajna에서, 우리는 더 어려운 길을 선택했다. 우리는 모델 안으로 — 그것의 기하학, 위상, 잠재 구조 속으로 — 들어가 안전을 수학 자체에 구축하기로 했다. 필터로서가 아니라. 가드레일로서가 아니라. 모델이 상상할 수 있는 것에 대한 제약으로서.

이것이 AI 안전의 미래가 어떻게 보일 것인지라고 나는 믿는다: 문에서 더 스마트한 경비원이 아니라, 위험한 방이 존재하지 않도록 설계된 건물. 더 나은 콘텐츠 모더레이션이 아니라, 내부 기하학이 해악을 구조적으로 불가능하게 만드는 모델.

우리가 이것을 구축한 것은 쉬웠기 때문도 아니고 시장이 요구했기 때문도 아니다. 우리가 구축한 것은 그 표가 — 40,000개의 분자, 여섯 시간, 소비자용 서버 — 그 이하의 것은 혁신으로 위장된 과실임을 우리에게 알려줬기 때문이다.