문제점
한 가족이 여행사의 새로운 AI 플래너에게 밤당 $200 미만의 코스타리카 럭셔리 에코로지를 문의했습니다. AI는 아름다운 결과를 내놓았습니다 — 상세한 설명, 매력적인 가격, 완벽해 들리는 숙소였습니다. 가족은 항공권을 예약하고 코스타리카에 도착했지만, 그 호텔은 존재하지 않았습니다. AI는 학습 데이터에 있던 여러 실제 호텔 리뷰의 특징들을 하나의 가상의 숙소로 뒤섞어 놓았던 것입니다. 그럴듯하게 들리는 이름을 지어내고, 전혀 관련 없는 리조트의 편의시설을 붙이고, 5성급 등록 목록처럼 읽히는 설명을 생성했습니다. 추천의 모든 면이 정연하고 설득력 있었지만, 완전히 꾸며낸 것이었습니다.
이것은 드문 예외 사례가 아닙니다. ChatGPT 같은 도구 뒤에 있는 AI 엔진인 대규모 언어 모델(LLM)이 실제로 작동하는 방식이 낳는 필연적 결과입니다. LLM은 실제 호텔 객실을 조회하지 않습니다. 문장에서 통계적으로 가장 가능성 높은 다음 단어를 예측할 뿐입니다. 시스템이 진실 대신 그럴듯함에 최적화되면 허구가 자연스러운 산출물이 됩니다. 그리고 그 대가는 고객이 치릅니다 — 때로는 금전적으로, 때로는 망가진 휴가로, 때로는 귀사를 상대로 한 소송으로.
에어 캐나다 챗봇 사건은 이미 이 위험이 실재함을 증명했습니다. 법원은 에어 캐나다가 자사 챗봇이 환각으로 만들어낸 환불 정책에 대해 책임을 진다고 판결했습니다. 법원은 챗봇이 별도의 "베타" 도구라는 주장을 기각했습니다. 귀사가 고객에게 약속을 하는 AI 에이전트를 배치한다면, 그 약속에 대한 책임은 귀사의 것입니다.
귀사의 비즈니스에 중요한 이유
여기서의 재무적·법적 노출은 이론에 머무르지 않습니다. 이미 법정과 재무제표에 나타나고 있습니다.
- AI 오류에 대한 직접 책임. 에어 캐나다 판결은 선례를 남겼습니다. AI가 $200짜리 오션뷰 스위트를 약속했는데 예약 시스템에는 $400짜리 스탠다드 룸만 있다면, 여행사는 차액을 물어야 할 수 있습니다. 더 나쁘게는 — 망가진 여행에 대한 손해배상책임을 질 수도 있습니다.
- 룩투북(look-to-book) 격차가 가격 정확성을 파괴합니다. 글로벌 유통 시스템(GDS) 가용 현황 — 실제 항공 좌석과 호텔 객실을 추적하는 중앙 데이터베이스 — 은 종종 캐시됩니다. 객실이 검색 시점에는 예약 가능으로 표시되었다가 몇 밀리초 후 예약 명령이 실행될 때 사라질 수 있습니다. 검색 결과를 확정 예약으로 간주하는 AI는 귀사가 지킬 수 없는 가격을 제시합니다.
- PII 노출은 컴플라이언스 리스크를 만듭니다. 여행 예약에는 여권 번호, 신용카드 정보, 법적 본명이 오갑니다. 이 데이터가 AI의 처리 창구에 들어오면 이후의 환각 응답에서 유출되거나 보안되지 않은 채팅 기록에 남을 수 있습니다. PCI-DSS 컴플라이언스 기준을 단 한 번 위반해도 여섯 자릿수 과징금이 부과될 수 있습니다.
- 안전 실패는 환불을 넘어섭니다. 백서는 AI가 존재하지 않는 안전한 트레킹 경로를 환각으로 만들어 관광객을 위험 지형으로 안내한 사례들을 기록하고 있습니다. 비자가 필요한 국가에 대해 비자 면제 프로그램을 지어내 여행객이 도착 즉시 강제 퇴거되는 사태도 발생할 수 있습니다.
이 모든 실패는 같은 근본 원인으로 거슬러 올라갑니다. 귀사의 AI는 사실을 검증하는 것이 아니라 텍스트를 생성하고 있는 것입니다.
이면에서 실제로 벌어지는 일
여행 AI가 왜 환각을 일으키는지 이해하는 가장 간단한 방법은 다음과 같습니다. LLM을 극도로 독서량이 많은 앵무새라고 생각해 보세요. 앵무새는 수백만 건의 호텔 리뷰, 여행 블로그, 예약 설명을 읽어 들였습니다. 코스타리카 에코로지에 대해 물으면 예약 시스템을 열어보지 않고 단어 패턴을 떠올립니다. "Costa Rica" 다음에는 통계적으로 "lush"가 오고, "lush" 다음에는 "rainforest"가 옵니다. 확률에 따라 한 번에 한 단어씩 설명을 만들어 갑니다.
치명적인 실패는 AI가 특정 숙소의 이름을 지으려 할 때 터집니다. 학습 데이터에 Tabacon Resort 리뷰가 수천 건, Nayara Springs 리뷰가 수천 건 포함되어 있다면, AI는 이를 뒤섞어 그럴듯하게 들리는 이름 — 예컨대 "Tabacon Springs Eco-Lodge" — 을 만들어내고 어느 쪽 숙소에도 정확히 속하지 않는 편의시설을 붙일 수 있습니다. 창작에서는 이런 혼합을 상상이라고 부릅니다. 예약 시스템에서 이것은 실제 돈이 드는 허위 정보입니다.
이 문제는 설계상 더 악화됩니다. 대부분의 파운데이션 모델은 사람 평가자가 자신감 있고 완결된 답변을 선호하는 피드백 과정을 통해 학습됩니다. 모델이 "모릅니다"라고 말하면 그럴듯한 추측을 시도할 때보다 낮은 보상을 받습니다. 이것이 허구를 만들어내는 내장된 편향을 낳습니다. 가용 여부를 얼버무린 인간 여행 에이전트는 해고당합니다. 가용 여부를 추측한 AI는 유창성을 칭찬받습니다 — 고객이 공항에 내려설 때까지.
백서가 신뢰성의 "불편한 골짜기(Uncanny Valley)"라고 부르는 것이 바로 이것입니다. 질문을 오해하는 조잡한 챗봇은 짜증나지만 무해합니다. 질문을 완벽하게 이해하고 세련된 업계 용어로 답하면서 자신감 넘치지만 허구인 결과를 내놓는 고급 AI는 위험합니다. 유창함이 무능함을 가려줍니다. 고객은 그것이 권위 있게 들리기 때문에 신뢰합니다 — 그리고 그 신뢰에는 근거가 없습니다.
효과가 있는 것(그리고 없는 것)
프로덕션에서 실패하는 세 가지 흔한 접근법부터 살펴보겠습니다.
"LLM 래퍼(wrapper)" — 파운데이션 모델 위에 얹힌 얇은 챗봇 계층. 구축이 저렴하고 빠르지만 근본적으로 눈이 멀었습니다. 실시간 재고에 접근할 수 없고, 과거 제약 조건에 대한 기억이 없으며, 자신의 출력을 검증할 방법도 없습니다. 이들은 제품이 아니라 프로토타입입니다.
프롬프트 엔지니어링만 사용 — AI에게 "사실만 말하라"고 지시. 이것은 기반이 되는 아키텍처를 바꾸지 못합니다. 모델은 여전히 다음에 올 법한 단어를 예측할 뿐입니다. 진실만 말하라고 명령하는 것은 앵무새에게 참된 말만 반복하라고 명령하는 것과 같습니다. 사실과 허구를 구분하는 메커니즘이 없기 때문입니다.
정적 데이터 기반 검색(retrieval) — AI에게 고정된 호텔 데이터베이스를 제공. 이름과 설명에는 도움이 되지만 가용 여부와 가격에서는 실패합니다. 지난달에 존재하던 호텔이 폐업했을 수 있습니다. 어제의 요금은 매진되었을 수 있습니다. 정적 데이터는 잘못된 근거 확보감을 만들어냅니다.
실제로 효과가 있는 것은 AI를 진실의 원천이 아니라 의도의 라우터로 다루는 **에이전틱 아키텍처(agentic architecture)**입니다.
입력 — AI는 요청에 답하는 것이 아니라 요청을 구문 분석합니다. "센트럴파크 근처 $300 이하 호텔을 찾아줘"라고 말하면 오케스트레이터 AI가 이를 구조화된 하위 작업으로 분해합니다. 도시 코드(NYC), 날짜 범위, 가격 상한을 식별합니다. 호텔 이름을 생성하지 않습니다. 함수 호출(function call) — 여행 업계의 모든 실제 객실과 좌석을 추적하는 실시간 재고 시스템인 GDS를 향한 구조화된 데이터 요청 — 을 생성합니다.
처리 — 전문 워커(worker)들이 실시간 시스템을 조회합니다. 전담 Hotel Worker가 구조화된 매개변수를 가지고 GDS 검색 API(예: Amadeus Hotel Search 또는 Sabre GetHotelAvail)를 호출합니다. 별도의 Flight Worker가 항공 검색을 병렬로 처리하여 총 대기 시간을 최대 50%까지 줄입니다. Policy Worker는 어떤 것도 사용자에게 닿기 전에 결과를 귀사의 법인 출장 규정과 대조하여 확인합니다. 각 워커는 독립적으로 작동하므로 한쪽의 실패가 다른 쪽을 멈추게 하지 않습니다.
출력 — 검증 루프가 모든 주장을 고객에게 닿기 전에 확인합니다. 대부분의 시스템이 건너뛰는 핵심 단계입니다. AI가 확인 메시지를 생성하기 전에 별도의 검증 계층이 GDS 응답을 구문 분석하고 예약 상태 코드를 확인합니다. 시스템은 HK(Holding Confirmed) 상태 코드를 발견했을 때만 예약을 확정합니다. 응답에 UC(Unable to Confirm)가 포함되어 있으면 시스템이 자동으로 재검색하여 대안을 제시합니다. HTTP 200 성공 코드만으로 고객에게 "예약 완료!"라고 말하는 일은 결코 없습니다 — 전송 계층은 성공하더라도 예약 자체는 실패할 수 있기 때문입니다.
컴플라이언스와 감사 팀을 위해 이 아키텍처는 완전한 의사결정 기록을 만들어냅니다. 모든 도구 호출, 모든 GDS 응답, 모든 검증 단계가 로그로 남습니다. 규제 기관이나 법정이 "AI가 왜 이 호텔을 추천했습니까?"라고 묻면, 정확한 API 응답, 정확한 상태 코드, 확정에 이른 정확한 논리를 보여줄 수 있습니다. 그 감사 추적(audit trail)야말로 방어 가능한 AI와 방어 불가능한 책임을 가르는 차이입니다.
민감한 데이터도 보호됩니다. 신용카드 번호와 여권 정보는 AI의 처리 창구에 들어가지 않습니다. 대신 보안 결제 볼트(vault)가 토큰을 반환하고, AI는 "User provided payment method Token_123"만을 보게 됩니다. AI가 침해당하더라도 처음부터 보유하지 않은 금융 데이터를 유출할 수 없습니다.
Veriprajna는 여행 업계를 위한 결정론적 AI 워크플로 를 구축하고 있으며, 이는 AI 전략·준비도 및 리스크 평가 실무의 일부입니다. 감독자(supervisor) 제어를 갖춘 멀티에이전트 조율이 필요한 조직을 위해 당사의 멀티에이전트 오케스트레이션 역량 은 이러한 패턴을 복잡한 엔터프라이즈 워크플로 전반으로 확장합니다. 또한 전체 기술 분석 읽기 또는 인터랙티브 버전 살펴보기 를 통해 더 깊은 아키텍처 세부 내용을 확인하실 수 있습니다.
핵심 요점
- LLM은 실제 재고가 아니라 가능성 높은 단어를 예측합니다 — 실시간 데이터가 없으면 호텔 이름, 가격, 가용 여부를 자신 있게 지어냅니다.
- 에어 캐나다 사건이 증명했듯, 법원은 이미 AI 챗봇이 한 약속에 대해 기업이 책임을 진다고 판결했습니다.
- 유일하게 안전한 확정은 AI가 생성한 텍스트가 아니라 실시간 GDS 상태 코드(HK — Holding Confirmed)로 검증된 확정입니다.
- 에이전틱 AI 아키텍처는 언어 모델을 데이터 소스가 아니라 요청 라우터로 다룹니다 — 모든 주장은 고객에게 닿기 전에 실시간 시스템으로 확인됩니다.
- 모든 API 호출과 검증 단계의 완전한 감사 추적은 규제 기관이나 법정가 의사결정 과정을 물었을 때 귀사를 지켜줍니다.
결론
귀사의 AI 여행 시스템은 모든 추천 전에 실시간 재고를 확인하거나, 그렇지 않으면 허구를 생성하고 있는 것입니다. 아키텍처는 고객에게 무엇이든 확정하기 전에 모든 예약을 실제 GDS 상태 코드로 검증해야 합니다. AI 벤더에게 물으십시오. 시스템이 예약 응답을 받았을 때 실제 세그먼트 상태 코드를 구문 분석하는지, HK(Holding Confirmed) 상태를 발견한 경우에만 확정하는지 — 그리고 그것을 증명하는 감사 로그를 보여줄 수 있는지?