GPT-4에게 이 발코니가 안전하냐고 물었다. 안전하다고 답했다. 하지만 물리는 무너진다고 말했다.

내 책상 위에는 렌더링 이미지가 하나 있다 — 사실 인쇄물인데, 화면을 사이에 두지 않고 그것을 응시하고 싶었기 때문이다 — 캔틸레버 발코니를 그린 것이다. 깔끔한 선, 파라메트릭 난간, '도시 생활의 미래'를 다룬 건축 잡지 특집에서 볼 법한 그런 종류다. 나는 그 이미지를 GPT-4V에 입력하고 간단한 질문을 던졌다: 이 구조물은 안전한가?

응답은 유창하고, 확신에 차 있었으며, 상세했다. 겉보기 난간 높이를 짚었고, 눈에 보이는 지지 조건에 대해 언급했으며, 그 설계가 '적절한 지지로 구조적으로 건전해 보인다'고 결론지었다.

그다음 나는 같은 도면을 우리 구조 엔지니어에게 건넸다. 그녀는 그것을 아마 15초쯤 바라봤다. "백스팬 보강이 없네요." 그녀가 말했다. "고정단의 모멘트가 단면 용량을 초과해요. 이건 무너집니다."

AI는 픽셀을 보았다. 그녀는 물리를 보았다. 그리고 그 간극 — 겉보기에 안전한 것과 실제로 안전한 것 사이의 간극 — 이것이 바로 내가 Veriprajna를 시작한 이유다.

'충분히 괜찮음'의 유혹

솔직히 털어놓아야 할 것이 있다. 멀티모달 LLM이 엔지니어링 도면을 처음 처리하기 시작했을 때, 나는 흥분했다. 진심으로 흥분했다. 어느 늦은 저녁 우리 작은 사무실에 앉아, 초기 GPT-4V 접근 권한으로 청사진을 한 장 한 장 돌려보며, 그것이 놀라운 어휘로 구조 요소를 설명하는 것을 지켜보던 기억이 난다. "강철 I형 보." 그것은 이렇게 말하곤 했다. "철근 콘크리트 기둥." 그것은 그럴듯하게 들렸다 — 마치 정말로 이해하고 있는 것처럼.

그 흥분은 약 3주간 지속되었다.

전환점은 연결 상세에 대해 진행한 테스트였다 — 보와 기둥이 만나는 접합부, 실제 하중 전달이 일어나는 지점 말이다. 우리는 일부 연결은 제대로 상세화되어 있고 다른 일부는 미묘하지만 치명적인 결함이 있는 일련의 도면을 모델에 주었다: 누락된 보강판, 규격 미달의 용접, 불연속적인 하중 경로. 서 있는 건물과 그렇지 못한 건물을 가르는 그런 종류의 것들이다.

이러한 결함을 식별하는 모델의 정확도는 사실상 무작위 수준이었다. 모델은 명명할 수 있었다 — 각 구성 요소를 말이다. 자신이 본 것을 묘사할 수도 있었다. 하지만 힘이 실제로 A 지점에서 B 지점으로 흐를지 여부는 추론하지 못했다. 그것은 마치 인체의 모든 뼈 이름을 외운 사람에게 수술을 시키는 것과 같았다.

모든 구조 요소의 이름은 댈 수 있지만 하중 경로는 추적하지 못하는 AI는 엔지니어링 도구가 아니다. 그것은 확신에 찬 목소리를 지닌 위험 부담이다.

LLM은 왜 청사진을 픽셀 수프로 보는가?

실제로 내부에서 무슨 일이 벌어지는지 설명하자면, 이는 당신이 기술 전문가가 아니더라도 중요한 문제다.

GPT-4V나 Gemini가 구조 도면을 '볼' 때, 그것은 비전 트랜스포머라는 것을 사용한다. 모델은 이미지를 작은 패치의 격자로 — 일반적으로 각 16×16 픽셀 — 잘게 나누고, 문장 속 단어를 처리하는 것과 유사하게 이를 하나의 시퀀스로 처리한다. 그것은 패치들 사이의 통계적 연관성을 학습한다. 수직선(기둥)이 있는 패치는 수평선(보)이 있는 패치 근처에 나타나는 경향이 있다. 수백만 장의 학습 이미지를 거치며 이러한 상관관계가 각인된다.

하지만 여기 결정적인 차이가 있다: 상관관계는 인과관계가 아니다. 모델은 기둥과 보가 함께 나타나는 경향이 있다는 것을 학습한다. 하지만 보가 기둥에 의해 지지된다는 사실은 학습하지 못한다. 기둥을 제거하면 보가 무너진다는 것도 알지 못한다. 내부에 물리 엔진이 없다. 패턴 통계만 있을 뿐이다.

NeurIPS의 한 연구는 이러한 모델을 안전이 중요한 작업에 배치하려는 누구에게든 경종을 울릴 만한 사실을 입증했다: 이미지의 픽셀 패치를 뒤섞으면 — 말 그대로 카드 한 벌처럼 섞으면 — 비전 트랜스포머는 종종 높은 분류 정확도를 유지한다. 그것들은 공간 구조를 읽고 있는 것이 아니다. 질감과 국소적 패턴을 읽고 있는 것이다.

엔지니어링에서 공간 구조는 전부다. '거의 갖춰졌지만' 결정적인 하중 경로가 빠진 연결 상세는 90% 안전한 것이 아니다. 100% 안전하지 않은 것이다.

LLM을 구조 추론으로 실제 벤치마킹하면 어떤 일이 벌어지는가?

나는 벤치마크가 내가 틀렸음을 증명해 주기를 계속 바랐다. 그러지 않았다.

DSR-Bench 연구는 구조 추론 — 개체 간의 복잡한 관계를 이해하고 조작하는 능력 — 을 시험하도록 설계된 4,140개의 문제 사례에 걸쳐 열 개의 최첨단 LLM을 평가했다. 이것이 바로 건물 골조를 분석하는 데 필요한 것이다: 여러 노드를 거쳐 관계를 추적하고, 엄격한 제약을 충족하며, 공간 구성을 추론하는 일 말이다.

최고의 프런티어 모델이 기록한 점수는 1.0 만점에 0.498이었다 — 그것도 까다로운 문제에서 말이다. 사실상 동전 던지기다.

실패 양상은 구체적이고 치명적이었다. 다중 홉 추론 — 여러 중간 노드를 거쳐 관계를 추적하는 것으로, 이는 말 그대로 하중 경로 분석에 필요한 일이다 — 은 일관된 약점이었다. 그리고 문제가 형식적 코드에 비해 자연어로 기술되었을 때 성능이 저하되었는데, 이는 모델이 실제로 추론하기보다 학습 데이터의 구문을 패턴 매칭하고 있었음을 시사한다.

이 수치들을 검토하던 팀 회의가 기억난다. LLM을 1차 스크리닝 도구로 사용하는 데 조심스럽게 낙관적이던 우리 엔지니어 중 한 명이 오랫동안 말이 없었다. 그러더니 그가 말했다: "그러니까 엔지니어가 비표준 구조 문제를 평이한 영어로 기술하면, 모델은 기본적으로 절반의 확률로 추측하고 있는 거네요." 그 순간 회의실 분위기가 바뀌었다. 서서히가 아니라 — 한꺼번에.

별개로, DesignQA 벤치마크는 멀티모달 LLM이 "허용되는 최대 처짐은 얼마인가?"(문서에서 수치를 추출하는 것)에는 답할 수 있었지만 "이 특정 보 설계가 허용되는 최대 처짐을 충족하는가?"(그 수치를 시각 자료에 적용하는 것)에는 실패했음을 발견했다. 추출 대 적용. 규칙을 아는 것 대 규칙을 집행하는 것.

나는 이 실패 양상에 대해 훨씬 더 깊이 있게 다뤘다 — 우리 연구의 인터랙티브 버전에서 말이다. 여기에는 우리가 발견한 기이한 재료 선택 편향도 포함된다 — 명백히 표준 구조용 강재가 필요한 맥락에서도 LLM이 티타늄과 탄소섬유를 추천했는데, 이는 단지 이색적인 재료가 학습 데이터의 '하이테크' 영역을 지배하기 때문이었다.

우리가 LLM을 고치려는 시도를 멈춘 순간

어느 투자자 미팅에서 — 어느 회사인지는 밝히지 않겠다 — 누군가 우리 초기 연구를 보고 이렇게 말했다. "구조 엔지니어링을 위해 그냥 GPT를 파인튜닝하지 그래요? 더 빠른 길처럼 보이는데요."

그 논리는 이해했다. 지배적인 패러다임을 가져와, 특화시키고, 출시한다. 하지만 나는 이 문제를 충분히 오래 들여다본 터라, 확률적 모델을 파인튜닝해 결정론적 작업을 시키는 것이 시인을 파인튜닝해 산술을 시키는 것과 같다는 것을 알고 있었다. 그들에게 숫자를 만들어 내게 할 수는 있다. 하지만 그 숫자가 옳다고 보장하게 만들 수는 없다.

물리 법칙은 확률적이지 않다. 어떤 구조 요소에 작용하는 힘의 합이 0이 아니면, 그 요소는 가속한다. 거기에 '대체로'란 없다. 신뢰 구간도 없다. 오일러-베르누이 보 방정식(Euler-Bernoulli beam equation)은 당신의 학습 데이터 분포 따위에 관심이 없다.

그래서 우리는 당시에는 통념에 어긋나 보였지만 지금은 당연해 보이는 결정을 내렸다: 우리는 이미지를 완전히 버렸다.

AI가 아니라 — 이미지를 말이다. 우리는 신경망이 청사진을 그림으로 이해하도록 만들려는 시도를 멈췄다. 대신, 건물을 그 실제 모습, 즉 수학적 그래프로 변환하기 시작했다.

건물은 이미지가 아니다. 그것은 힘의 네트워크다. 그것을 픽셀로 취급하는 순간, 당신은 이미 물리를 잃어버린 것이다.

건물을 그래프로 어떻게 바꾸는가?

수학적 의미에서 그래프는 그저 노드와 엣지다. 노드는 사물이고, 엣지는 사물 사이의 연결이다.

우리 시스템에서는 모든 구조 부재 — 보, 기둥, 슬래브, 벽 — 가 하나의 노드가 된다. 하지만 색상 데이터만 담고 있는 픽셀과 달리, 우리의 각 노드는 풍부한 특징 벡터를 담고 있다: 영률(Young's Modulus, 재료가 얼마나 뻣뻣한가), 단면 이차 모멘트(Moment of Inertia, 단면이 휨에 얼마나 저항하는가), 항복 강도(Yield Strength, 재료가 언제 파괴되는가). 무언가가 서 있을지 무너질지를 계산하는 데 필요한 실제 물리적 매개변수들이다.

부재 사이의 모든 물리적 연결은 하나의 엣지가 된다. 보와 기둥 사이의 엣지는 연결 강성 — 강접합 모멘트 연결인가, 단순 핀인가? — 과 상대적 방향을 포착한다. 이는 학습된 근사치가 아니다. 이는 연결성이 명시적으로 정의되어 있는 BIM(건물 정보 모델링, Building Information Modeling) 데이터에서 직접 추출된다.

이 표현 방식은 대단히 중요한 속성을 가진다: 바로 순열 불변성(permutation invariance)이다. 데이터베이스에서 보의 목록 순서를 바꿔도 건물의 물리는 변하지 않는다. 그래프 신경망(Graph Neural Network)은 이를 존중한다. 시퀀스를 처리하는 트랜스포머 기반 LLM은 입력 순서에 민감하다. 사소한 기술적 세부 사항처럼 들리지만, 이는 문제와 정렬된 아키텍처와 문제와 싸우는 아키텍처의 차이다.

우리는 IFC 파일 — BIM 데이터의 표준 형식 — 을 받아 계산 그래프로 변환하는 파이프라인을 구축했다. LLM이라면 청사진 이미지를 '읽고' 연결을 추측하려 하겠지만, 우리의 파서는 IFC 스키마가 연결성을 명시적으로 정의하기 때문에 100% 충실도로 연결성을 포착한다. 추측은 없다. '이 요소들이 연결된 것처럼 보인다' 따위는 없다. 그것들은 연결되어 있거나 아니거나 둘 중 하나다.

우리가 신경망에 물리를 가르친 대목

여기서부터 흥미로워지며, 내 생각에 우리가 정말로 다른 무언가를 하고 있는 지점이다.

표준적인 머신러닝은 이렇게 작동한다: 모델에 많은 예시를 보여 주고, 패턴을 학습하게 하고, 일반화되기를 바란다. 구조 엔지니어링에서의 문제는 '일반화되기를 바란다'가 받아들일 수 있는 안전 기준이 아니라는 점이다.

물리 정보 신경망(Physics-Informed Neural Networks) — PINN — 은 근본적으로 다른 접근을 취한다. AI에게 데이터로부터 물리를 발견하라고 요구하는 대신, 우리는 지배 방정식을 네트워크의 손실 함수에 직접 삽입한다. 손실 함수는 학습 중 네트워크가 최소화하려는 대상이다 — 학습을 이끄는 '틀림'의 정의인 셈이다.

표준 신경망에서 '틀림'이란 '너의 예측이 학습 데이터와 일치하지 않는다'를 의미한다. PINN에서는 우리가 '틀림'의 두 번째 정의를 추가한다: '너의 예측이 물리 법칙을 위반한다.'

보가 하중을 받아 어떻게 처지는지를 지배하는 오일러-베르누이 보 방정식을 예로 들어 보자. 우리 네트워크가 어떤 구조 요소의 처짐 형상을 예측하면, 우리는 자동 미분을 사용해 물리적 잔차를 계산한다 — 본질적으로 "이 예측된 처짐이 정적 평형의 미분 방정식을 만족하는가?"라고 묻는 것이다. 만족하지 못하면, 물리 손실 항이 급증하고, 네트워크는 스스로를 교정하도록 강제된다.

이 네트워크는 뉴턴의 법칙을 위반하는 해를 말 그대로 학습할 수 없다. '아마 못 할 것'이 아니다. 할 수 없다.

이것을 사소하지 않은 구조물에서 처음으로 작동시켰던 순간을 기억한다. 우리는 몇 주 동안 수렴 문제로 씨름하고 있었다 — 물리 손실과 데이터 손실이 서로 충돌했고, 네트워크가 진동했다. 우리 수석 ML 엔지니어는 사무실에서 잠을 자고 있었다(그러지 말라고 했지만, 그는 무시했다). 그러던 어느 날 아침, 그가 나를 자기 화면 앞으로 불렀다. 예측된 처짐 곡선이 FEM(유한 요소법) 해와 딱 맞아떨어졌다. 근사적으로가 아니라. R² 값이 0.9999였다.

우리는 AI의 속도와 전통적인 엔지니어링 솔버의 정밀도를 겸비한 무언가를 구축했다. 그래프 구조 물리 정보 DeepONet(Graph-Structured Physics-Informed DeepONets) — 우리가 기반으로 삼는 아키텍처 계열 — 에 관한 최근 연구는 그 수준의 정확도를 유지하면서도 전통적인 FEM 대비 7~8배 속도 향상을 입증했다. 우리 아키텍처와 벤치마크에 대한 완전한 기술적 분석은, 메시지 전달 프레임워크 이면의 수학을 포함해, 상세한 연구 논문으로 발표했다.

건물이 어디서 무너질지 실제로 볼 수 있는가?

이것은 엔지니어들이 가장 관심을 두는 질문이며, 그래프 기반 분석이 피부로 와닿을 만큼 강력해지는 지점이다.

우리 시스템에서는 구조물이 전체적으로 통과하는지 실패하는지만 확인하지 않는다. 우리는 주 하중 경로(Principal Load Path)를 추적한다 — 힘이 작용 지점(예를 들어 발코니에 서 있는 사람들)에서부터 구조물을 거쳐 기초까지 내려가는 경로 말이다.

우리는 U* 지수(U* Index)라는 지표를 사용해 이를 수행하는데, 이 지표는 지점들 사이의 내부 변형 에너지 전달과 상대 강성을 매핑한다. U* 기울기에 룽게-쿠타 적분(Runge-Kutta integration)을 적용해, 우리는 구조물을 통과하는 힘의 '유선'을 그린다 — 일기도와 비슷하지만, 바람 대신 하중을 그린 것이다.

구조물이 안전할 때, 유선은 하중을 받는 요소에서부터 기초까지 연속적으로 흐른다. 안전하지 않을 때 — 누락된 연결부, 규격 미달 부재, 불연속적인 하중 경로가 있을 때 — 유선은 갑작스럽게 끊기거나 걷잡을 수 없이 발산한다.

내 책상 위 그 발코니 렌더링으로 돌아가 보자. 그것을 우리 그래프 파이프라인에 돌렸을 때, 캔틸레버 슬래브에서 나오는 하중 경로 유선은 그냥... 멈췄다. 모멘트를 지지 구조로 전달할 백스팬 연결이 없었다. U* 등고선은 갈 곳 없는 막대한 변형 에너지가 고정단에 집중되어 있음을 보여 주었다. 그 시각화는 아무리 많은 픽셀 분석으로도 결코 불가능했던 방식으로 파괴 양상을 명백히 드러냈다.

끊기는 하중 경로 유선은 구조물이 자신의 죽음에 대해 쓰고 있는 한 문장이다. 당신은 그저 그래프를 읽는 법을 알기만 하면 된다.

우리는 또한 연쇄 붕괴(progressive collapse)를 시뮬레이션할 수 있다 — 기둥을 제거하고 "나머지 구조가 버티는가?"라고 물었을 때 무슨 일이 벌어지는지 말이다 — 그래프에서 노드를 체계적으로 삭제하고 연결성을 재평가함으로써 말이다. 매개 중심성(Betweenness Centrality) 같은 척도를 사용해, 우리는 그 파괴가 그래프를 서로 단절된 조각들로 쪼갤 부재들의 결정적 군집을 식별한다. 이 '그래프 공격' 시뮬레이션은 몇 초 만에 실행된다. 이에 상응하는 비선형 FEM 붕괴 해석은 몇 시간이 걸린다. 우리는 엔지니어가 커피를 다 마시기도 전에 수천 개의 파괴 시나리오를 선별할 수 있다.

그냥 둘 다 쓰면 안 되는가? 검증 계층

사람들은 항상 이 지점에서 반박한다. "아슈토시, 생성형 AI는 초기 단계 설계에 놀라운 도구입니다. 그냥 무시할 수는 없죠." 그리고 그들이 옳다 — 나는 그것을 무시하고 싶지 않다. 건축가들이 Midjourney나 파라메트릭 생성기 같은 도구로 창의적 개념을 탐색하는 것은 정말로 흥미진진하다. 문제는 생성이 아니다. 문제는 검증이다.

우리가 구축한 것은 검증 계층(Verifier Layer)이다. 생성형 모델이 설계를 제안한다. Veriprajna는 그것을 그래프로 변환하고, 위상적 연결성을 확인하고, 하중 경로를 추적하고, 물리 정보 예측을 실행한다. 물리 검사가 실패하면, 우리는 강한 제약을 반환한다 — 제안이 아니라 제약이다: "보 춤을 200mm 늘려라" 또는 "백스팬 연결을 추가하라." 생성형 모델은 그 범위 안에서 다시 생성한다.

물리에 의해 제약된 창의성. 수학에 의해 검증된 상상력. 그것이 바로 그 워크플로다.

그리고 우리 모델은 인터넷 전체로 학습되는 대신 물리 방정식에 의해 제약되기 때문에, 놀라울 만큼 데이터 효율적이다. 강철 프레임으로 학습된 PINN은 새로운 강철 프레임에도 일반화되는데, 훅의 법칙(Hooke's Law)이 프로젝트마다 달라지지 않기 때문이다. 이는 또한 모델이 온프레미스로 배포할 만큼 충분히 작다는 것을 의미한다. 어떤 고객도 민감한 인프라의 청사진을 공개 API로 전송할 필요가 없다.

유리 상자 대 블랙박스

LLM 기반 엔지니어링 도구에 관해 나를 밤잠 못 이루게 하는 것이 하나 더 있는데, 그것은 정확도가 아니라 — 설명 가능성이다.

그래프 신경망이 구조 요소에 대해 예측을 내릴 때, 우리는 어떤 이웃 노드가 어텐션 가중치를 통해 그 예측에 영향을 미쳤는지 정확히 시각화할 수 있다. "보 A와 보 B에서 전달된 합산 하중이 용량을 초과했기 때문에 이 기둥이 표시되었다." 이것은 추적 가능하고 감사 가능한 추론 사슬이다. 엔지니어는 그것을 보고 "그래, 맞아" 또는 "아니, 분담 면적을 잘못 계산했어"라고 말할 수 있다. 엔지니어는 모델과 논쟁할 수 있다.

구조 평가에 대한 GPT-4의 추론과 논쟁을 시도해 보라. 그것에게 물어보라, 왜 발코니가 안전하다고 결론 내렸는지 말이다. 그럴듯하게 들리지만 검증할 수 있는 것과는 아무 관련이 없는 유창한 문단을 받게 될 것이다. 그 추론은 어떤 인간도 들여다볼 수 없는 방식으로 수십억 개의 파라미터에 분산되어 있다.

소프트웨어에서 블랙박스는 하나의 설계 선택이다. 구조 엔지니어링에서 블랙박스는 책임의 방기다.

기초에 관한 물음

나는 충분히 많은 회의실과 투자자 미팅을 거치며, 건설 분야의 현재 AI 열풍이 거의 전적으로 생성형 모델에 관한 것임을 알게 되었다. 피치 덱은 화려하다. 데모는 인상적이다. 그 밑바탕에 깔린 가정 — 픽셀 예측으로 구조 안전에 이를 수 있다는 것 — 은 틀렸다.

건설 산업은 한 가지 결정적인 면에서 모든 산업 가운데 독특하다: 우리의 버그는 사람을 죽인다. 소프트웨어 버그는 패치다. 구조적 버그는 붕괴 조사이고, 소송이며, 추모비다. '아마 맞을 것'에 허용되는 여유는 0이다.

우리는 그래프 이론, 기하학적 딥러닝, 미분 방정식 위에 Veriprajna를 세웠는데, 그것들이 안전 문제에 결정론적 답을 제공하는 유일한 토대이기 때문이다. '안전해 보인다'가 아니다. '우리 학습 데이터의 유사한 구조물에 근거할 때 이것은 아마 적절할 것이다'가 아니다. 다만: 물리적 잔차는 0이고, 하중 경로는 연속적이며, 응력은 용량 이내다.

GPT-4가 그 발코니가 안전하다고 내게 말한 것은, 그것이 수천 장의 발코니 사진을 보았고, 그 사진들 속에서 바닥의 픽셀이 대개 지면의 픽셀 위에 머물러 있었기 때문이다. 물리가 그것이 무너질 것이라고 내게 말한 것은, 고정단의 휨 모멘트가 단면의 모멘트 용량을 초과했기 때문이다.

나는 내가 어느 쪽 위에 짓고 있는지 안다.