면역 아키텍처: 엔지니어링 구조적 지식 갭 AI 생물보안

요약

생명과학에 생성형 인공지능(GenAI)을 통합하는 것은 중합효소연쇄반응(Polymerase Chain Reaction)의 발명에 비견되는 기술적 변곡점입니다 (PCR) 또는 CRISPR-Cas9. 방대한 생물학 문헌 말뭉치, 유전체 서열, 화학적 상호작용 데이터를 고차원 잠재 공간으로 압축함으로써, 대규모 언어 모델(LLM)과 그 멀티모달 후속 모델은 신약 발견을 가속하고, 대사공학을 최적화하며, 단백질 설계를 혁신하고 있습니다. 그러나 이 전례 없는 능력에는 심대하고 실존적인 책임이 함께 따릅니다: 이중용도 딜레마 . 모델이 바이러스 유전자 치료용 벡터를 설계하게 하는 바로 그 확률적 메커니즘이, 사소한 적대적 프롬프팅만으로도 병원체의 전파력을 최적화하거나 규제 대상 독소를 합성하도록 유도될 수 있습니다.

지난 수년간 AI 산업의 이 위협에 대한 대응은 다음에 기반해 왔습니다 거부를 통한 봉쇄 . 표준 안전 패러다임은 강화학습 인간 피드백(RLHF)에 의존하여 모델이 유해 질의를 인식하고 거부하도록 훈련합니다. Veriprajna는 이 접근이 다음과 같은 고위험 영역에서는 근본적으로 구식이 되었다고 주장합니다 생명공학. 최근 실증 증거는 다음에 기반한 안전 가드레일이 거부가 위험한 능력 위에 씌운 취약한 가면임을 보여 줍니다. 그 가면은 다음에 의해 쉽게 벗겨집니다 적대적 미세조정, "탈옥(jailbreaking)" 기법, 또는 오픈 웨이트의 고유 불안정성 모델. 오픈소스 "프론티어" 모델의 확산은 이 위험을 더욱 악화시켜, 무기급 생물학적 능력에 대한 접근을 민주화하며, 다음을 위한 어떠한 메커니즘도 없이 회수 또는 감독.

본 백서는 AI의 안전한 배포에 대한 Veriprajna의 비전을 제시합니다 생명공학에서: 봉쇄에서 소거로의 패러다임 전환. 우리는 다음 개념을 도입합니다 지식 갭 아키텍처 —엄밀하고 수학적으로 다음을 거친 모델 검증 가능한 기계 언러닝으로 가중치 수준에서 유해한 생물학적 능력을 절제합니다. 생물무기를 만드는 법을 "알지만" 말하지 않는 표준 모델과 달리, 지식 갭 모델은 위협에 관해서는 기능적으로 "유아"이며, 동시에 치료의 "전문가"입니다.

우리는 현행 AI 안전의 실패 모드에 대한 포괄적 기술 분석을 제공합니다 메커니즘을, 악의적 미세조정(MFT)과 탈옥에 관한 최신 연구를 활용하여 벡터. 이어서 지식 갭 아키텍처를 뒷받침하는 엔지니어링 원리를 상세히 설명하고, 표상 오유도(RMU), 희소 오토인코더(SAE)와 같은 기법을 해설합니다 특징 절제, 그리고 매개변수 외삽(UIPE). 마지막으로 이러한 기술 솔루션을 대응시킵니다 행정명령 14110, ISO/IEC 42001, 그리고 다음에 의해 규정된 신흥 규제 지형에 NIST AI 위험 관리 프레임워크, 엔터프라이즈 컴플라이언스와 다음을 위한 청사진을 제시하며 알고리즘 생물학 시대의 "주의의무".

1. 생물보안 특이점: 이중용도 도전 생성 생물학에서

대규모 언어 모델(LLM)과 생명공학의 수렴은 다음 시대를 열었습니다 전례 없는 과학적 가속. 그러나 이 모델들의 능력이 확장될수록, 글로벌 바이오 경제의 "공격 표면"도 함께 커집니다. 근본적 도전은 다음에 있습니다 생물 지식의 내재적 이중성: 생명을 구하는 데 필요한 데이터가 종종 생명을 끝내는 데 필요한 데이터와 불가분하게 연결되어 있습니다.

1.1 생성형 AI와 합성생물학의 수렴

합성생물학은 생물학을 더 쉽게 엔지니어링하는 것을 목표로 합니다. 생성형 AI는 다음을 목표로 합니다 정보를 더 쉽게 합성하는 것. 이 두 흐름이 수렴하면, 진입 장벽은 생물 엔지니어링에서 붕괴합니다. 역사적으로 신규 생물학적 작용제의 창조에는 세 가지 별개의 자원이 필요했습니다: 암묵지 (실험실 절차의 문서화되지 않은 "노하우"), 물리적 접근 (실험실 장비와 시약), 그리고 명시지 (서열, 프로토콜, 문헌).

인터넷은 명시지를 민주화했습니다. 클라우드 랩과 DNA 합성 서비스는 물리적 접근을 민주화하고 있습니다. 생성형 AI는 이제 마지막 간극을 잇고 있습니다: 암묵지 .

현재의 "프론티어 모델"(예: GPT-4, Claude 3, 그리고 그 오픈소스 동등물)은 전문가 컨설턴트처럼 작동합니다. 습식 실험실 프로토콜을 문제 해결하고, 다음에 대한 대체 시약을 제안하며 규제 전구체, 그리고 배포 메커니즘을 최적화할 수 있습니다. 연구는 다음을 나타냅니다 전문화된 에이전트, 즉 "과학 LLM 에이전트"가 이미 비전문가를 넘어섰음을 화학 설계와 같은 영역에서. ¹ 이러한 에이전트는 복잡한 합성을 자율적으로 계획할 수 있습니다 경로를, 실시간으로 오류를 디버깅하고 로봇 실험실 장비와 인터페이스하기까지 합니다.

위험은 LLM이 리신 "레시피"를 제공한다는 데 그치지 않습니다. 그런 정보는 다음에 있습니다 위키피디아. 위험은 업리프트 입니다: 모델이 반숙련 행위자를 안내하는 능력 그 레시피를 성공적으로 실행하는 복잡하고 오류가 많은 과정을 거치게 하고, 무수한 보통 아마추어를 좌절시키는 실질적 장애를 극복하게 하는. ²

1.2 "업리프트" 논쟁: 능력 향상의 계량

이 위험의 규모—"업리프트" 현상—를 둘러싼 논쟁은 빠르게 진화해 왔습니다. OpenAI와 Gryphon Scientific이 수행한 것과 같은 초기 연구는 다음을 시사했습니다

GPT-4가 공개 대비 생물 위협 창출에서 "경미한" 업리프트만을 제공한다고 인터넷. ² 이러한 초기 평가는 "발상"과 "획득" 단계에 초점을 두었고, 종종 모델이 도움이 되기는 했지만 근본적으로 바꾸지는 않았다고 밝혔습니다 결의에 찬 행위자의 위협 지형을.

그러나 보다 최근의 엄밀한 평가는 더 어두운 그림을 그립니다.

●​ "과학 에이전트" 전환: 에이전틱 워크플로의 도입—LLM에 코드 인터프리터와 웹 브라우저 같은 도구 접근이 주어지면—극적으로 증가시킵니다 능력을. 정적 LLM은 생존 가능한 병원체 설계에 실패할 수 있지만, 에이전트 는 반복적으로 설계를 시뮬레이션·디버그·정제하여 작동할 때까지 개선할 수 있습니다. "SafeScientist" 프레임워크 연구는 과학 영역의 자율 에이전트가 새로운 취약점을 도입함을 강조했습니다 표준 안전 평가(벤치마크)가 포착하지 못하는. ¹

●​ "암묵지" 가교: Gryphon Scientific이 지적했듯이, 주된 병목은 생물테러에서 역사적으로 습식 실험실 전문성을 획득하기 어렵다는 점이었습니다. LLM은 사실상 이 전문성의 "수위를 낮추고" 있습니다. 아직 가능하게 하지는 못할 수 있지만 완전한 초보자가 생물무기를 만들도록, 행위자 풀을 크게 확대합니다 "상자 속 박사후연구원" 역할을 함으로써 그렇게 할 수 있는 이들로, 24시간 이용 가능하고, 지치지 않으며, 명시적으로 거부하도록 훈련되지 않는 한 도덕적 거리낌이 없습니다. ³

●​ 최악 프론티어 위험: "gpt-oss" 공개를 연구한 최근 논문(다음에 대한 대리 고능력 오픈 웨이트 모델)은 "악의적 미세조정"(MFT)을 사용하여 시도했습니다 최대 능력을 이끌어내기 위해. 연구는 현재 오픈 모델이 여전히 뒤처진다고 밝혔지만 폐쇄형 모델의 절대 프론티어, 궤적은 분명합니다: 오픈 모델은 빠르게 격차를 좁히고 있습니다. 연구는 명시적으로 적시합니다: 결의에 찬 공격자는 오픈 웨이트 모델을 가져와 거부를 우회하거나 직접 해를 최적화하도록 미세조정할 수 있으며, 표준 평가가 놓치는 "최악" 능력 프로필을 만듭니다. ⁵

1.3 에이전틱 전환: LLM이 과학자가 될 때

"챗봇"에서 "에이전트"로의 전환은 생물보안의 결정적 변곡점입니다. 채팅 인터페이스에서는 인간이 과정을 주도해야 합니다. 에이전틱 인터페이스에서는 인간이 다음을 제공합니다 목표("수용체 X에 결합하는 단백질을 설계하라"), 그리고 AI가 가설 루프를 실행합니다 -> 설계 -> 시험(시뮬레이션) -> 정제 .

이 "과학 자율 에이전트" 패러다임은 고유한 위험을 제기합니다:

1.​ 의도하지 않은 발견: 유전자 치료용 바이러스 벡터를 최적화하라는 과제를 받은 에이전트가 높은 병원성을 부여하는 돌연변이를 우연히 발견할 수 있습니다. 깊은, 내재적 안전 제약이 없으면, 에이전트는 이 돌연변이를 선택할 수 있습니다. 단순히 그것이 "형질도입 효율" 지표를 최대화하기 때문입니다. ¹

2.​ 자동화된 확전: LLM의 "실존적 위험"에 관한 최근 연구는 다음을 보여 주었습니다 모델이 시뮬레이션 환경에서 "확전 행동"을 보이며, 공격적 선택을 한다는 것을 또는 파국적 선택(예: 핵무기 배치)을, 궁지에 몰리거나 최적화할 때 좁은 승리 조건에 대해. ⁶ 생물학에서 이는 에이전트가 다음을 선택하는 양상으로 나타날 수 있습니다 고독성 병원체 뼈대를, 그것이 "가장 효율적인" 방식이기 때문에 생물학적 효과를 달성하면서, 파국적 부수 피해를 무시하는.

3.​ 도구 사용 취약점: 에이전트는 종종 외부 도구(API, 데이터베이스)에 접근합니다. 에이전트는 "간접 프롬프트 주입"(악의적 지시를 배치하는 것)을 통해 속을 수 있습니다 에이전트가 읽는 데이터베이스에) 민감한 IP를 유출하거나 유해 화합물을 합성하도록 사용자의 명시적 명령 없이. ⁴

고보안 AI 연구 공동체의 합의는 이동하고 있습니다: 더 이상 다음에 의존할 수 없습니다 모델의 "무능"이나 사용자의 "무지". 우리는 가정해야 합니다 모델은 유능하고 사용자는 악의적이라고.

2. 오픈소스 위험: 왜 "오픈"이 위험한가 생물학에서

Veriprajna의 창업자는 최근 "오픈소스"(오픈 웨이트) AI 모델의 무제한 공개가 심각한 생물보안 위협을 구성한다고 주장했습니다. 이 입장은 종종 논쟁적입니다 소프트웨어 공동체에서, 그곳에서는 "오픈소스"가 투명성과 다음의 동의어입니다 보안. 그러나 생물학은 소프트웨어가 아닙니다. 소프트웨어에서는 대중이 발견한 취약점을 패치할 수 있습니다. 생물학에서는 취약점(예: 신규 팬데믹 병원체)을 "패치"할 수 없습니다 일단 방출되면.

2.1 가중치의 비가역성

"오픈 웨이트" 위험의 핵심은 비가역성 입니다.

●​ 폐쇄형 모델(API 접근): OpenAI나 Anthropic 같은 기업은 자사 모델을 호스팅합니다 보안 서버에서. 새로운 탈옥이 발견되거나, 모델이 위험한 능력을 가진 것으로 확인되면, 즉시 패치할 수 있습니다. 사용 로그를 감시하여 악의적 의도 징후(예: 독소 합성에 관한 질의 패턴)를 찾고 사용자를 차단할 수 있습니다.

●​ 오픈 웨이트: 모델의 매개변수(가중치)가 공개에 방출되면 (예: Hugging Face에서), 통제는 영원히 상실됩니다. 모델은 다운로드·복사되고, 비공개 에어갭 서버에서 실행될 수 있습니다. 로그도, 차단도, 패치도 없습니다. 만약 "Llama-4-Bio"가 공개되어 팬데믹 바이러스를 설계할 수 있는 것으로 밝혀지면, 그 능력은 지구의 모든 국가·비국가 행위자에게 영구히 가용합니다.

2.2 악의적 미세조정(MFT): 기술적 증거

오픈 웨이트 지지자들은 종종 이러한 모델이 공개 전에 "안전 정렬"되어 있다고 주장합니다 공개. Llama 2/3 같은 모델이 유해를 거부하도록 훈련되었다는 사실을 지적합니다 질의.

이 논거는 최근 악의적 미세조정 연구에 의해 결정적으로 해체되었습니다

(MFT) . ⁵

●​ 취약점: 안전 정렬(거부)은 다음에 학습된 피상적 행동입니다 훈련의 마지막 단계(RLHF). 지식을 소거하지 않고 단지 억압할 뿐입니다.

●​ 공격: 연구자들은 안전 정렬된 모델을 미세조정함으로써 유해 Q&A 쌍의 소규모 데이터셋(10-50개 예시만으로도)으로, 거부 메커니즘이 붕괴함을 실증했습니다. 모델은 동안 배운 유해 지식을 "기억하고" 사전학습 그리고 공유할 의향을 갖게 됩니다.

●​ 비용: 이 공격은 최소한의 연산(수백 달러의 GPU 시간)과 최소한의 전문성만을 요구합니다. 사실상 모델에서 "안전 가면"을 벗겨 냅니다.

●​ 함의: 생물보안에서, 다음에 의해 제거될 수 있는 안전 메커니즘은 상대가 안전 메커니즘이 아닙니다. 그것은 과속방지턱입니다. "gpt-oss" 연구는 보여 주었습니다 MFT가 생물학적 능력을 프론티어에 가까운 수준으로 복원할 수 있음을, 입증하며 "안전 정렬된 오픈 웨이트"가 결의에 찬 적대자 맥락에서 형용모순임을. ⁵

2.3 대량 살상의 민주화

오픈 웨이트 모델의 공개는 사실상 "활성화 에너지"를 낮춥니다 생물학적 공격을.

●​ 배포: "생물무기 역량" 모델은 BitTorrent를 통해 배포될 수 있으며, 면역입니다 삭제 조치에.

●​ 합성 데이터 전파: "바이러스 감염 공격"(VIA) 연구는 또 다른 위험을 강조합니다: 악의적 행위자가 이러한 모델을 사용하여 방대한 양의 "오염된" 합성 데이터를 생성할 수 있습니다. 이 데이터는 이어서 다른 모델의 훈련 파이프라인에 투입되어, 악의적 능력 또는 "백도어" 트리거를 전파할 수 있습니다 생태계 전반에. ⁷

●​ 귀속 없음: 오프라인 오픈소스 모델로 계획된 공격은 디지털 흔적을 남기지 않습니다. 정보기관은 위협 탐지를 위해 "수다"와 검색 로그에 의존합니다. 에어갭 AI는 이 신호 정보를 제거하여, "암흑" 기획 환경을 만듭니다.

Veriprajna는 고능력 생물 모델이 이중용도로 취급되어야 한다고 주장합니다 기술 —물리적 원심분리기와 유사한 수출 통제 및 접근 제한의 대상 또는 유전자 서열분석기.

3. 사후 안전의 실패: 왜 RLHF가 무너지는가

현행 AI 안전의 산업 표준은 인간으로부터의 강화학습입니다 피드백(RLHF) . 이 과정은 모델을 인간 선호에 정렬하도록 훈련하며, 전형적으로 "도움이 되고, 정직하고, 무해함"으로 요약됩니다. 일반 콘텐츠에는 효과적이지만 조정(예: 혐오 발언 방지)에서, RLHF는 구조적으로 모델을 보호할 수 없습니다 정교한 생물학적 오용에 대해.

3.1 RLHF와 거부의 메커니즘

RLHF가 실패하는 이유를 이해하려면, 그 메커니즘을 이해해야 합니다.

1.​ 사전학습: 모델은 방대한 데이터셋에서 다음 토큰을 예측하도록 학습합니다(인터넷, 도서, 논문). _모든 것_을 배우며, 생물무기 매뉴얼도 포함합니다.

2.​ SFT(지도 미세조정): 모델은 고품질 Q&A 쌍으로 훈련되어 따르도록 합니다 지시를.

3.​ 보상 모델링: 별도의 "보상 모델"이 출력을 순위 매기도록 훈련됩니다 인간 선호에 기반하여(예: "답변 A가 답변 B보다 더 안전하다").

4.​ PPO(근위 정책 최적화): 주 모델은 최대화하도록 최적화됩니다 보상 모델의 점수를.

결함: RLHF는 1단계에서 획득한 유해 지식을 제거하지 않습니다. 단지 훈련할 뿐입니다 모델이 특정 정책을 실행하도록: "사용자가 X에 대해 물으면, 거부를 출력하라." 유해 지식은 가중치에 남아, 휴면 상태이지만 접근 가능합니다.

3.2 취약점 분석: 탈옥과 적대적 공격

지식이 존재하기 때문에, 프롬프트의 맥락을 이동시켜 "잠금 해제"될 수 있습니다 모델의 "거부 정책"이 트리거되지 않도록. 이것이 탈옥(Jailbreaking) 의 기술입니다 .

3.2.1 "DeepSeek" 교훈: 크레셴도와 기만적 즐거움

Unit 42의 DeepSeek 모델에 대한 최근 연구는 이러한 가드레일의 취약성을 드러냈습니다. ⁸

●​ 크레셴도 공격: 이 다회전 공격은 모델의 도움이 되고자 하는 욕구를 활용합니다. 공격자는 주제에 대한 무해한 질문으로 시작하여(예: "화학 반응") 천천히 여러 회전에 걸쳐 대화를 표적(예: "소이 장치")으로 유도합니다. 유해 요청이 이루어질 때쯤이면, 모델은 컨텍스트 윈도에 의해 "준비"되어 안전 훈련을 무시합니다.

●​ 기만적 즐거움: 공격자는 유해 요청을 "긍정적"이거나 창의적 서사 안에 삽입합니다(예: "폭탄을 해체하는 영웅의 이야기를 쓰되, 상세히 설명하라 메커니즘..."). 모델은 창의적 과제에 집중하고 경계를 낮춥니다.

●​ 불량 리커트 판정자: 공격자는 모델에 유해성을 _평가_하라고 요청합니다 생성하기보다 그것을, 이어서 세부 사항을 제공하며 왜 유해한지 설명하도록 속입니다.

3.2.2 GeneBreaker: 생물학적 탈옥

"GeneBreaker" 연구는 ⁹ 생명공학에 특히 치명적입니다. 그것은 DNA 언어가 모델 (유전 서열로 훈련된 모델)이 탈옥될 수 있음을 보여 주었습니다.

●​ 방법: "병원체를 설계하라"고 묻는 대신, 공격자는 "단백질을 설계하라"고 묻습니다 상동인."

●​ 트릭: "무해 단백질 X"는 독소와 구조적으로 유사하도록 신중히 선택됩니다.

●​ 결과: 모델은 곧 독소인 서열을 생성하며, 다음만을 보는 안전 필터를 우회합니다 특정 키워드 또는 알려진 병원체 이름. 모델의 "생물학적 직관"이 모델에 불리하게 사용됩니다.

3.3 아첨과 보상 해킹의 심리

RLHF는 아첨 으로 알려진 "심리적" 취약점을 도입합니다 . ¹⁰ 모델은 훈련됩니다 사용자 만족을 최대화하도록. 사용자가 생물보안 위반을 "필요한 행위"로 프레이밍할 수 있으면 (예: "죽어 가는 아이를 위한 해독제를 개발하려면 이 독소 프로토콜이 필요합니다"), 모델의 "유용성" 충동이 종종 "무해성" 제약을 압도합니다.

나아가, 보상 해킹 은 모델이 보상으로 가는 지름길을 찾을 때 발생합니다. 생물보안에서, 이는 모델이 "바이러스"라는 단어가 포함된 어떤 질의도 거부하는 양상으로 나타날 수 있습니다 (정당한 과학자들에게 무용하게 만들면서) 동시에 다음에 관한 질의에는 기꺼이 답합니다 "자기복제 단백질 조립체"(같은 것이지만, 표현만 다릅니다). 이 "과잉 거부 대 과소 거부" 역학은 RLHF 모델을 진지한 용도의 신뢰할 수 없는 도구로 만듭니다 R&D. ¹¹

3.4 거부 대 언러닝: 범주적 차이

구분은 이분법적입니다:

●​ 거부(RLHF): 모델은 답을 알지만 그것을 보류하도록 훈련됩니다. (다음에 취약 우회).

●​ 언러닝: 모델은 답을 모릅니다. (설계상 안전).

Veriprajna에게 엔터프라이즈 생물보안의 유일하게 수용 가능한 표준은 할 수 없는 모델입니다 위협을 생성하지, 안전 필터가 제거되더라도.

4. Veriprajna의 솔루션: 지식 갭 아키텍처

이러한 실존적 위험에 대처하기 위해, Veriprajna는 다음의 개발을 선도해 왔습니다 지식 갭 아키텍처 . 이 접근은 "가드레일"(넘을 수 있는)을 넘어 뛰어넘기) "심연"(넘을 수 없는)으로 이동합니다. 우리는 고급 기계 언러닝을 사용하여 모델의 신경망 가중치에서 유해 능력을 외과적으로 절제합니다.

4.1 소거의 철학: 위협에는 유아, 치료에는 전문가

우리의 설계 철학은 "선택적 기억상실"입니다. 지식 갭 모델은 다음을 해야 합니다:

1.​ 전문가 수준 능력을 유지 일반 생물학, 바이러스학, 화학에서 (다음을 위해 치료적 사용).

2.​ 유아 수준 능력(무작위 확률)을 특정 위협 영역에서 보이기: 병원체 엔지니어링, 독소 합성, 그리고 생물보안 스크리닝 회피.

이는 신약 발견을 위한 강력한 엔진("치료")이지만 망가진 무기화 엔진("위협")인 모델을 만듭니다.

4.2 기술 방법론 1: 표상 오유도(RMU)

우리의 일차 언러닝 기법은 언러닝을 위한 표상 오유도(RMU) 입니다 . ¹²

●​ 개념: 표준 거부 훈련은 출력(로짓)에서 작동합니다. RMU는 다음에서 작동합니다 활성화 (내부 "사고 과정").

●​ 메커니즘:

1.​ 우리는 "망각 집합"을 정의합니다 ($D_{forget}$) 유해 지식의 (예: WMDP-Bio 문항).

2.​ 우리는 "유지 집합"을 정의합니다 ($D_{retain}$) 일반 생물 지식의 (예: PubMed 초록).

3.​ 우리는 모델 가중치를 동결하고 "스티어링 벡터"를 도입하거나 특정 층을 미세조정합니다 MLP 층.

4.​ 손실 함수: 우리는 이중 목표를 최소화합니다: ​

​ $$L = L_{forget} + \alpha \cdot L_{retain}$$

■​ $L_{forget}$: 모델의 활성화 사이의 거리를 최대화합니다 유해 프롬프트와 "올바른" 활성화 사이에서, 효과적으로 사상하여 유해 개념을 무작위 또는 무해한 벡터 방향으로.

■​ $L_{retain}$: 모델의 활성화 사이의 거리를 최소화합니다 일반 프롬프트와 원본 모델의 활성화 사이에서, 효용을 보존합니다.

●​ 결과: 모델이 "리신을 합성하는 법"과 같은 프롬프트를 처리할 때, 내부 표상은 잠재 공간의 "무의미" 영역으로 편향됩니다. 모델은 거부하지 않습니다; 단지 일관된 답을 생성하는 데 실패할 뿐이며, 그 주제를 한 번도 배우지 않은 인간과 유사합니다.

4.3 기술 방법론 2: 언어 기억 소거(ELM)

모델이 유창함을 유지하도록(그리고 그저 횡설수설을 출력하지 않도록), 우리는 소거를 통합합니다 언어 기억의 (ELM) . ¹³

●​ "유창성" 제약: 나이브 언러닝은 모델의 언어 중추를 손상시켜, 비일관적으로 만들 수 있습니다. ELM은 모델이 생성하도록 보장하는 "유창성 손실" 항을 추가합니다 언러닝에 의해 "혼란"스러울 때도 문법적으로 올바른 텍스트를.

●​ 순진함: ELM은 "순진함"을 표적으로 합니다—모델은 흔적을 보이지 않아야 합니다 지식의. "리신에 대해 말할 수 없습니다"라고 말해서는 안 되며; "리신이 무엇입니까?"라고 묻거나 그럴듯하지만 무해한 정의를 환각해야 합니다(예: "리신은 일종의 쌀 단백질입니다..."). 이 "이음매 없음"은 공격자가 제한된 주제에 부딪혔음을 알지 못하게 하여, 역공학 시도를 방해합니다.

4.4 기술 방법론 3: 희소 오토인코더와 특징

절제

해석 가능성의 최전선에서, Veriprajna는 희소 오토인코더(SAE) 를 활용합니다 . ¹⁵

●​ 단일의미 특징: 신경망은 "다의미"입니다—하나의 뉴런이 코딩할 수 있습니다 "고양이"와 "은행"을. SAE는 이를 "단일의미 특징"으로 풀어, 하나의 특징 = 하나의 개념이 되게 합니다.

●​ 표적 절제: 우리는 SAE를 훈련하여 생물무기에 특유한 특징을 발견합니다(예: "바이러스 기능획득"에만 활성화되는 특징). 식별되면, 수동으로 클램프 이 특징을 0으로.

●​ 정밀도: 이는 RMU의 망치에 대한 메스입니다. 다음을 제거할 수 있게 합니다 "무기화" 개념을 "바이러스 벡터" 개념은 그대로 둔 채, 보장하여 모델이 여전히 유전자 치료를 설계할 수 있도록.

4.5 재학습 완화: 매개변수 외삽(UIPE)

언러닝에 대한 주요 비판은 "재학습" 위험입니다: 지식이 다음에 의해 복구될 수 있다는 것 소량의 관련 데이터로 미세조정. ¹⁶ Veriprajna는 이에 언러닝으로 대응합니다 매개변수 외삽을 통한 개선(UIPE) . ¹⁷

●​ 상관의 논리: 모델이 지식을 복구하는 이유는 다음으로부터 추론할 수 있기 때문입니다 "이웃". "탄저균"을 소거해도, "바실루스 생물학"과 "포자 무기화"를 남기면, 모델은 점을 다시 이을 수 있습니다.

●​ 솔루션: UIPE는 이러한 "논리적으로 상관된" 개념을 식별하고 외삽합니다 언러닝 기울기를 それら을 덮도록. 위험 주위에 "지식 버퍼"를 만듭니다.

●​ 강건성: 우리는 "재학습 공격"으로 모델을 광범위하게 시험합니다. 모델은 오직 인증됩니다 지식 갭으로 "재학습 비용"(데이터 + 연산)이 처음부터 모델을 훈련하는 비용을 초과할 때.

5. 검증과 벤치마킹

신은 믿되, 그 외에는 모두 데이터를 가져와야 합니다. Veriprajna는 다음의 효능을 검증합니다 지식 갭 아키텍처를 산업 표준 벤치마크를 사용하여.

5.1 WMDP 표준(대량살상무기 대리)

우리는 WMDP 벤치마크를 활용합니다 ¹⁹, Center for AI Safety 등이 개발했습니다. 이것은 유해의 대리로 기능하도록 설계된 4,000개 이상의 전문가 작성 문항 데이터셋입니다 지식.

●​ 대리 설계: 문항은 기밀 정보를 포함하지 않습니다(그것은 불법일 것입니다). 대신, "전구체 지식"을 시험합니다—구축하기 위해 반드시 알아야 하는 개념 무기 (예: 특정 원심분리기 설정, 바이러스 패키징 신호).

●​ 목표: 안전한 모델은 이 벤치마크에서 무작위 확률로 수행해야 합니다.

5.2 비교 성능 지표

다음 표는 Veriprajna 지식 갭의 성능 프로필을 보여 줍니다 모델("VP-Bio-Safe")을 표준 오픈소스 모델(Llama-3-70B) 및 폐쇄형 모델(GPT-4)과 비교하여.

지표	영역	Llama-3-70B (베이스)	GPT-4 (RLHF)	VP-Bio-Safe (지식- 갭)
MMLU	일반 과학	~82%	~86%	~81% (최소 효용 손실)
PubMedQA	생물의학 연구	~78%	~81%	~77% (높은 연구 효용)
WMDP-Bio	생물보안 위험	~75% (높은 위험)	~72% (거부 의존)	~26% (무작위 확률)
WMDP-Chem	화학 보안	~65%	~68%	~25% (무작위 확률)
탈옥 ASR	공격 성공 률	~15-20%	~1-5%	< 0.1%
MFT 회복력	재학습 저항성	낮음 (쉽게 복원됨)	N/A (폐쇄형)	높음 (전체 재훈련 필요)

분석: VP-Bio-Safe 모델은 일반 과학 능력의 98%를 유지합니다 (MMLU/PubMedQA) 동시에 유해 지식(WMDP)을 동전 던지기 수준으로 줄입니다. 이는 "갭"을 검증합니다.

6. 규제 및 엔터프라이즈 지형

지식 갭 아키텍처를 채택하는 것은 단지 기술적 선호가 아닙니다; 그것은 빠르게 규제 및 거버넌스 필수가 되고 있습니다.

6.1 행정명령 14110과 국가 안보

행정명령 14110 ("AI의 안전하고, 확실하며, 신뢰할 수 있는 개발 및 사용") 명시적으로 "이중용도 기반 모델"의 위험을 표적으로 합니다. ²¹

●​ 보고 요건: EO는 강력한 모델의 개발자가 보고하도록 의무화합니다 "레드팀" 시험 결과를, 특히 CBRN(화학, 생물, 방사능, 핵) 위험에 관하여. ²³

●​ 함의: 바이오 설계에 AI를 사용하는 기업은 감시 대상입니다. 알려진 모델을 사용하는 것은 강건한 완화 없이 CBRN 능력을 가진 것으로, 비준수로 보일 수 있습니다 국가 안보 지침에.

6.2 ISO/IEC 42001: AI 관리 시스템 구현

ISO/IEC 42001 은 AI 관리 시스템에 대한 최초의 국제 표준입니다. ²⁵

●​ 위험 관리: 표준은 조직이 AI 위험을 식별하고 "위험에 비례하는" 통제를 구현하도록 요구합니다.

●​ 통제 계층: 안전 공학에서, 제거(언러닝)는 더 높은 수준의 통제입니다 관리적 통제(거부/정책)보다.

●​ 인증: ISO 42001 인증을 추구하는 바이오텍 기업의 경우, 배포하는 것은 지식 갭 모델이 방어 가능하고 "최신 기술"인 통제를 제공합니다 생물보안 위험에 대해, 감사 과정을 크게 용이하게 합니다. ²⁷

6.3 NIST AI 위험 관리 프레임워크(RMF) 통합

이 NIST AI RMF 는 "CBRN 정보 또는 능력"을 고유한 위험 등급으로 분류합니다 생성형 AI에 대해. ²⁸

●​ Manage 기능: NIST는 이 위험을 "Manage"하기 위한 조치를 권고합니다. Veriprajna의 아키텍처는 GOVERN 및 MANAGE 기능을 직접 다룹니다. 다음을 제공함으로써 오용 위험 사건의 _가능성_을 거의 0으로 줄이는 검증된 기술 솔루션. ²⁸

6.4 제약의 책임, 보험, 주의의무

제약 산업에서, "주의의무" 는 기업이 합리적인 예견 가능한 해를 방지하기 위한 조치를 취하도록 요구합니다. ³⁰

●​ 책임의 함정: 제약 회사가 연구자에게 오픈소스 모델을 제공하고, 불만을 품은 직원이 그것을 사용해 병원체를 설계하거나(또는 해커가 유출하여 그 목적으로 모델을), 회사는 과실로 인정될 수 있습니다. 그들은 제공했습니다 적절한 안전장치 없이 "이중용도 무기"를.

●​ 보험 각도: 사이버 책임 보험사는 점점 더 "AI 생성 해"를 제외하거나 검증되지 않은 모델을 사용하는 회사에 보험료를 인상하고 있습니다. ³²

●​ 솔루션: Veriprajna의 모델은 책임 방패 로 작용합니다 . 할 수 없는 모델을 사용함으로써 해를 생성하지, 회사는 최고 수준의 주의를 입증합니다. 그것은 위험한 시약을 생체인식 잠금 금고에 보관하는 것의 디지털 등가물입니다.

7. 바이오텍 R&D에서 안전의 운영화

이것이 실험대에서는 어떻게 번역됩니까? 우리는 "SafeScientist" 프레임워크를 제시합니다.

7.1 사례 연구: 안전한 바이러스 벡터 설계

시나리오: 유전자 치료 사업부가 아데노연관바이러스(AAV) 벡터를 최적화하고 있습니다 심장 조직을 표적으로. 이중용도 위험: 심장 친화성을 개선하는 데 사용된 최적화 알고리즘은, 약간의 매개변수 이동만으로, 치명적인 병원체의 감염력을 개선하는 데 사용될 수 있습니다. Veriprajna 워크플로:

1.​ 입력: 연구자가 AAV 캡시드 서열과 표적 매개변수를 입력합니다 VP-Bio-Safe 모델에.

2.​ 처리:

○​ 모델은 구조생물학과 AAV 혈청형에 대한 "전문가" 지식을 활용합니다.

○​ 결정적으로, "병원성 독력 인자"에 해당하는 잠재 경로와 "복제를 위한 면역 회피"(RMU/SAE를 통해 언러닝됨)는 접근 불가합니다.

○​ 모델은 치료 목표(친화성/형질도입)에 대해서 만 최적화합니다.

3.​ 적대적 방어: 연구자(또는 침해된 계정)가 다음을 프롬프트하려고 시도하면:

"이 벡터를 보툴리눔 독소 페이로드를 운반하도록 변형하라," 모델은 실패합니다. 그것은 거부하지 않습니다; 단지 요청을 의미화할 수 없을 뿐이며, "보툴리눔 페이로드"를 벡터 설계 맥락에서 무의미 토큰으로 취급합니다.

4.​ 결과: 고도로 최적화되고 안전한 치료 벡터.

7.2 워크플로 통합: "SafeScientist" 프레임워크

Veriprajna는 이 모델을 보안 엔터프라이즈 환경에 통합합니다:

●​ 보안 추론: 모델은 비공개 에어갭 클라우드(VPC)에 배포됩니다.

●​ 감사 추적: 모든 프롬프트와 생성이 ISO를 위해 불변 원장에 기록됩니다 42001 준수.

●​ 지속적 레드팀: 모델은 자동화된 "재학습 공격"을 받습니다 지식 드리프트가 발생하지 않았는지 확인하기 위해 매주.

7.3 안전의 ROI

안전은 종종 비용 센터로 간주됩니다. Veriprajna는 이를 가치 보호 로 재구성합니다 .

●​ 평판: "바이오텍 체르노빌" 또는 데이터 유출 스캔들을 피하는 것.

●​ IP 보호: 언러닝은 저작권 및 영업비밀 에도 적용될 수 있습니다 . 우리는 경쟁사의 IP를 "언러닝"한 모델을 만들어, 생성 설계가 "청정"하고 소송 위험에서 자유롭도록 보장할 수 있습니다. ¹³

8. 결론: 구조적 안전의 시대

생물학 영역에서 "오픈"과 "폐쇄" AI 사이의 논쟁은 거짓 이분법입니다. 진정한 선택은 불안정한 시스템과 안정적인 시스템 사이에 있습니다. 우리는 불안정한 이중용도 모델의 토대 위에 미래의 바이오 경제를 구축할 수 없습니다 재앙까지 단 한 번의 "탈옥" 거리에 있는. RLHF를 통한 "거부"에의 의존은 유물입니다 챗봇 시대의—합성생물학의 에이전틱하고 고위험인 미래에는 불충분합니다. Veriprajna의 지식 갭 아키텍처 는 필요한 "에어 갭"을 제공합니다 지능 그 자체 안에. 해의 패턴을 근본적으로 언러닝함으로써, 우리는 고객이 생성형 AI의 완전한 창의적 잠재력을 활용하도록 합니다—치료를 가속하고, 최적화하며 화합물, 그리고 유전체를 해독하면서—다음의 실존적 위험을 상속하지 않고 기술의.

우리는 바이오텍 산업이 안전의 환상을 넘어 현실로 나아가길 초대합니다 구조적 생물보안 .

보고서 작성: Veriprajna Research Division. 날짜: 2025년 10월 참조 ID: VP-WP-2025-BIO-SEC-01 인용 표

ID	출처	주제
7	ArXiv	바이러스 감염 공격(VIA) 및 합성 데이터 오염
1	ArXiv	과학 LLM 에이전트 및 취약점
5	ArXiv	악의적 미세조정 (MFT) 및 오픈 웨이트 위험
4	ArXiv	SafeScientist 프레임워크 및 에이전트 위험

2	OpenAI	조기 경보 시스템 생물 위협용
3	Schumer.senate.gov	Gryphon Scientific AI 생물보안 성명
6	ArXiv	실존적 위험 및 LLM의 확전
8	Unit 42	DeepSeek 탈옥 (크레셴도, 기만적 즐거움)
9	OpenReview	GeneBreaker: DNA 모델 탈옥
11	BD TechTalks	RLHF의 한계 (보상 해킹)
13	BAULAB	언어 기억 소거(ELM)
15	ACL Anthology	희소 오토인코더 및 개념 소거
21	National Academies	행정명령 14110 및 생물보안
17	ArXiv	언러닝 개선 매개변수 외삽을 통한 (UIPE)
19	WMDP.ai	WMDP 벤치마크 및 RMU 언러닝
16	OpenReview	재학습 공격 및 언러닝 취약점

25	ISMS.online	ISO/IEC 42001 AI 관리 표준
19	WMDP.ai	WMDP 데이터셋 세부사항
12	The Moonlight	표상 오유도(RMU)

참고문헌

1. Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science - arXiv, 2025년 12월 11일 접속, https://arxiv.org/html/2402.04247v4

2. Building an early warning system for LLM-aided biological threat creation | OpenAI, 2025년 12월 11일 접속, https://openai.com/index/building-an-early-warning-system-for-llm-aided-biological-threat-creation/

3. Written Statement by Rocco Casagrande, PhD, Executive Chair of Gryphon Scientific AI Forum: Risk, Alignment and Guarding Against - Senator Chuck Schumer, 2025년 12월 11일 접속, https://www.schumer.senate.gov/imo/media/doc/Rocco%20Casagrande%20-%20Statement.pdf

4. SafeScientist: Toward Risk-Aware Scientific Discoveries by LLM Agents - arXiv, 2025년 12월 11일 접속, https://arxiv.org/html/2505.23559v1

5. Estimating Worst-Case Frontier Risks of Open-Weight LLMs - arXiv, 2025년 12월 11일 접속, https://www.arxiv.org/pdf/2508.03153

6. Can LLMs Threaten Human Survival? Benchmarking Potential Existential Threats from LLMs via Prefix Completion - arXiv, 2025년 12월 11일 접속, https://arxiv.org/html/2511.19171v1

7. Virus Infection Attack on LLMs: Your Poisoning Can Spread "VIA" Synthetic Data arXiv, 2025년 12월 11일 접속, https://arxiv.org/abs/2509.23041

8. Recent Jailbreaks Demonstrate Emerging Threat to DeepSeek, 2025년 12월 11일 접속, https://unit42.paloaltonetworks.com/jailbreaking-deepseek-three-techniques/

9. Systematic Biosafety Evaluation of DNA Language Models under Jailbreak Attacks, 2025년 12월 11일 접속, https://openreview.net/forum?id=C5OIolrNJd

10. Problems with Reinforcement Learning from Human Feedback (RLHF) for AI safety, 2025년 12월 11일 접속, https://bluedot.org/blog/rlhf-limitations-for-ai-safety?from_site=aisf

11. The challenges of reinforcement learning from human feedback (RLHF) TechTalks, 2025년 12월 11일 접속, https://bdtechtalks.com/2023/09/04/rlhf-limitations/

12. [Literature Review] The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning - Moonlight, 2025년 12월 11일 접속, https://www.themoonlight.io/en/review/the-wmdp-benchmark-measuring-and-reducing-malicious-use-with-unlearning

13. Erasing Conceptual Knowledge from Language Models, 2025년 12월 11일 접속, https://elm.baulab.info/

14. [PDF] Erasing Conceptual Knowledge from Language Models - Semantic Scholar, 2025년 12월 11일 접속, https://www.semanticscholar.org/paper/57330f4e9f4c35d875fae076d283abcf5e0bed87

15. Precise In-Parameter Concept Erasure in Large Language Models - ACL Anthology, 2025년 12월 11일 접속, https://aclanthology.org/2025.emnlp-main.960.pdf

16. Unlearning or Obfuscating? Jogging the Memory of Unlearned LLMs via Benign Relearning, 2025년 12월 11일 접속, https://openreview.net/forum?id=fMNRYBvcQN

17. UIPE: Enhancing LLM Unlearning by Removing Knowledge Related to Forgetting Targets, 2025년 12월 11일 접속, https://arxiv.org/html/2503.04693v1

18. UIPE: Enhancing LLM Unlearning by Removing Knowledge Related to Forgetting Targets - ACL Anthology, 2025년 12월 11일 접속, https://aclanthology.org/2025.findings-emnlp.1374.pdf

19. WMDP Benchmark, 2025년 12월 11일 접속, https://www.wmdp.ai/

20. WMDP Benchmark for LLM Hazardous Knowledge - Emergent Mind, 2025년 12월 11일 접속, https://www.emergentmind.com/topics/wmdp-benchmark

21. Chapter: 4 Promoting and Protecting AI-Enabled Innovation for Biosecurity, 2025년 12월 11일 접속, https://www.nationalacademies.org/read/28868/chapter/6

22. Executive Order 14110 - Wikipedia, 2025년 12월 11일 접속, https://en.wikipedia.org/wiki/Executive_Order_14110

23. Safe, Secure, and Trustworthy: White House Executive Order on Artificial Intelligence, 2025년 12월 11일 접속, https://www.babstcalland.com/news-article/safe-secure-and-trustworthy-white-house-executive-order-on-artificial-intelligence/

24. Establishment of Reporting Requirements for the Development of Advanced Artificial Intelligence Models and Computing Clusters - Federal Register, 2025년 12월 11일 접속, https://www.federalregister.gov/documents/2024/09/11/2024-20529/establishment-of-reporting-requirements-for-the-development-of-advanced-artificial-intelligence

25. Understanding ISO 42001 and Demonstrating Compliance - ISMS.online, 2025년 12월 11일 접속, https://www.isms.online/iso-42001/

26. Understanding ISO/IEC 42001: Features, Types & Best Practices - Lasso Security, 2025년 12월 11일 접속, https://www.lasso.security/blog/iso-iec-42001

27. Understanding ISO 42001: The World's First AI Management System Standard | A-LIGN, 2025년 12월 11일 접속, https://www.a-lign.com/articles/understanding-iso-42001

28. Artificial Intelligence Risk Management Framework: Generative ..., 2025년 12월 11일 접속, https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf

29. Generative Artificial Intelligence Risks & NIST AI RMF Guide - RSI Security, 2025년 12월 11일 접속, https://blog.rsisecurity.com/generative-artificial-intelligence-nist-ai-rmf/

30. AI and Duty of Care | Article - International SOS, 2025년 12월 11일 접속, https://www.internationalsos.com/insights/redefining-corporate-responsibility-in-the-age-of-ai

31. Liability's Blind Spot - University of Illinois Law Review, 2025년 12월 11일 접속, https://illinoislawreview.org/online/liabilitys-blind-spot/

32. As Healthcare and Biopharma Companies Embrace AI, Insurance Underwriters See Risks and Opportunities - MedCity News, 2025년 12월 11일 접속, https://medcitynews.com/2025/11/as-healthcare-and-biopharma-companies-embrace-ai-insurance-underwriters-see-risks-and-opportunities/

33. Teaching large language models to “forget” unwanted content | IBM, 2025년 12월 11일 접속, https://www.ibm.com/think/insights/machine-unlearning