당신의 조달 AI가 더 나은 공급업체에 더 낮은 점수를 줬다 — 그 원인이 된 수학
지난 분기 나는 긴 저녁 내내 단 하나의 소싱 점수표를 들여다보았고, 그것은 내가 수년간 조달 업무를 해 오며 품어 온 하나의 가정을 무너뜨렸다.
그것은 일상적인 조달 건이었다 — 산업용 패스너, 다섯 공급업체, 아무도 밤잠을 설치지 않는 종류의 품목. 플랫폼의 AI는 배송, 품질, 재무 안정성, 가격을 기준으로 이들의 순위를 매겼다. 수천 건의 거래를 등에 업은 12년차 기존 공급업체인 공급업체 A는 92점을 받았다. 3년 이력의 인증받은 소수자 소유 기업은 71점을 받았다. 표면적으로는 깔끔한 결과다. 기존 공급업체가 실력으로 이겼다. 넘어가면 된다.
나는 배송 세부 점수를 한 줄 한 줄 뜯어봤고, 내가 발견한 것이 지금 내가 조달 AI 공정성 감사를 업으로 삼게 된 이유다. 더 작은 공급업체는 더 나은 정시 배송률을 기록했다 — 기존 공급업체의 97.2%에 맞선 98.1%. 그런데도 배송 항목에서는 오히려 더 낮은 점수를 받았다.
더 잘한 공급업체가 더 낮은 순위를 받았다. 모델이 그들에게 편향돼서가 아니라 — 수학이 편향됐기 때문이다.
데이터가 말한 것과 점수가 말한 것 사이의 그 격차가 이야기의 전부다. 그것이 어떻게 일어나는지, 시장의 어떤 조달 플랫폼도 왜 이를 당신 대신 해결해 주지 않는지, 그리고 해결할 수 있는 무언가를 만드는 데 실제로 무엇이 필요했는지 하나씩 짚어 보겠다.
편향은 모델에 있지 않다. 그것은 이력에 있다.
내가 받아들이는 데 너무 오래 걸린 부분은 이것이다: 그 알고리즘에는 악의적인 것이 전혀 없었다. 누구도 다양성 공급업체에 대한 페널티를 코딩하지 않았다. 그 편향은 과거 지출 데이터로 학습한 데서 비롯된 구조적 결과였다 — 그리고 한번 보고 나면 다시는 못 본 척할 수 없다.
배송 성과는 공급업체 점수의 25%였고, AI는 이를 정시 배송률로 계산했는데, 거래 건수로 가중한 것이었다. 4,200건 거래에 걸친 기존 공급업체의 97.2%는 25점 만점에 24.1점이라는 신뢰도 가중 배송 점수를 만들어 냈다. 단 180건 거래에 걸친 소수자 소유 공급업체의 98.1%는 16.8점을 냈다. 같은 지표. 더 나은 원값. 8점 손실 — 오로지 신뢰도 가중 때문에.
그다음 같은 패턴이 도처에서 반복됐다. 품질 점수는 감사 빈도에 의존했고, 감사 빈도는 계약 물량과 상관관계가 있다. 재무 안정성 점수는 매출 규모를 위험 감내력의 대리 지표로 취급했다. 모델이 가격 경쟁력에 이를 무렵에는 그 격차가 이미 수학적으로 극복 불가능한 상태였다.
배제는 자기강화적이며, 바로 그 점이 이를 추악하게 만든다. 공급업체가 낮은 점수를 받으면 계약을 더 적게 따내고, 그래서 거래를 더 적게 쌓고, 그래서 다음 주기에는 신뢰도 점수가 더더욱 낮아진다. 알고리즘은 더 많은 과거 데이터를 더 신뢰할 수 있는 것과 동일시하고 있다 — 그리고 그런 이력을 쌓을 기회를 한 번도 얻지 못한 공급업체는 그 대가를 영원히 치른다.
당신의 지출 이력으로 학습한 AI는 최고의 공급업체를 예측하지 않는다. 그것은 당신이 이미 이용한 공급업체를 예측한다.
당신의 조달 플랫폼은 왜 이걸 당신 대신 해결해 주지 않을까?
내 첫 직감은 뻔한 것이었다: 분명 SAP, Coupa, GEP, Ivalua가 이미 이걸 처리하고 있을 거라고. 이들은 에이전트형 AI에 막대한 엔지니어링을 쏟아붓고 있다. Joule의 입찰 분석 에이전트는 공급업체 입찰을 비교하고 낙찰을 추천한다. Coupa의 Navi는 자연어로 공급업체 발굴을 수행하며, 이 회사는 단일 분기에 약 150억 달러의 고객 절감액을 기록했다. Ivalua는 즉시 사용 가능한 AI 에이전트를 30개 넘게 제공한다. GEP는 소스-투-페이 제품군 전체에 걸쳐 에이전트형 AI를 갖추고 있다.
그래서 나는 공정성 지표를 찾아 나섰다. 이질적 영향(disparate-impact) 검정. 자사의 점수 산정 엔진을 불리한 영향에 대해 어떻게 감사하는지에 관한 공개된 방법론.
그런 건 하나도 없다. 나는 4대 주요 플랫폼을 모두 확인했다. 그중 어느 하나도 공급업체 점수 산정 공정성 지표를 공개하지 않는다. Coupa는 블로그 게시물에서 AI 공급자가 "편향 완화를 입증"해야 한다고 인정한다 — 하지만 그 문장 뒤에 문서화된 감사 절차는 없다. 그것은 기능이 아니라 홍보용 문구일 뿐이다.
그리고 솔직히, 플랫폼 경제학을 이해하고 나면 그런 기대를 접게 된다. 이 벤더들은 전체 고객 기반에 걸친 비용 절감과 위험 완화에 최적화된 범용 점수 산정을 구축한다. 다음에 맞춰 조정된 공정성 제약을 추가한다는 것은 — 당신의 하도급 목표, 당신의 공급업체 범주, 당신의 규제 관할 말이다 — 그들이 가진 모든 고객마다 서로 다른 모델 구성을 유지해야 한다는 뜻이 된다. 그건 제품 로드맵이 아니다. 그건 지원 악몽이다.
거기엔 단순한 편의성보다 더 날카로운 측면이 있다. 계약서는 점점 더 책임이 벤더가 아니라 당신에게 떨어지도록 쓰이고 있다 — 연방 법원은 AI 책임 범위를 확대해 왔고, 플랫폼 약관은 조용히 위험을 고객에게 전가한다. 그래서 탈락한 공급업체가 결국 자기 점수가 왜 71점이었는지 물을 때, 감사 지적 사항에 적히는 건 SAP의 이름이 아니라 당신의 이름이다. 그리고 에이전트가 더 자율적으로 변할수록 상황은 더 나빠진다: 봇이 스스로 낙찰이나 결제를 촉발할 때 — 또는 존재한 적 없는 유령 계약을 환각으로 지어낼 때 — 계약서는 이미 책임이 AI 벤더가 아니라 당신의 것이 되도록 못 박아 두었다. 플랫폼은 당신에게 속도를 준다. 공정성 계층은 — 그리고 그에 따르는 책임은 — 애초부터 당신의 몫일 수밖에 없었다.
내가 반드시 통하리라 확신했던 해법 — 그러나 통하지 않았다
내가 틀렸던 버전에 대해 이야기하겠다. 대부분의 팀이 가장 먼저 손을 뻗는 버전이기 때문이다.
모델이 더 작고 다양한 공급업체에 낮은 점수를 준다면, 직관적인 해법은 반대 방향으로 저울에 손가락을 얹는 것이다. 다양성 보정을 추가하라. 신뢰도 페널티를 상쇄하기 위해 인증받은 공급업체에게 몇 점을 더 얹어라. 우리는 정확히 그것을 구상했다. 공정하게 느껴졌다. 바로잡는 조치처럼 느껴졌다.
그것은 함정이었고, 그것을 드러낸 것은 엔지니어링 문제가 아니라 — 법적 문제였다.
우리가 그 가점 장치를 만드는 동안, 나는 우리의 연방 계약자 고객들이 실제로 살아가는 규제 환경도 함께 훑어보고 있었는데, 그것은 막 지뢰밭으로 변한 참이었다. 한편으로 FAR 파트 19는 계약자에게 소기업, 재향군인 소유, 상이 재향군인 소유, HUBZone, 여성 소유 하도급업체에 대한 별도의 비율 목표를 달성하도록 요구한다 — 그리고 집행은 최근 들어 더 강화됐다. 다른 한편으로 2025년 7월에 서명된 행정명령 14319는 "이념적 편향이나 사회적 의제"를 담은 AI의 연방 조달을 금지하며, DEI를 명시적으로 지목한다.
잠시 그것을 곱씹어 보라. 연방 계약자는 이제 법적으로 증진해야 한다 — 한 규칙 아래 다양한 공급업체를 말이다. 그리고 또 다른 규칙 아래서는 조달 AI에 사회적 의제를 심는 것이 법적으로 금지된다. 우리의 다양성 가점 — 보호 대상 범주에 유리하도록 저울에 하드코딩된 손가락 — 이야말로 바로 EO 14319가 없애려고 쓰인 종류의 것이었다. 우리는 해법으로 포장된 규정 준수 책임을 출시할 뻔했다. 그것은 첫 감사조차 넘기지 못했을 것이다.
다른 편향을 추가해 편향을 바로잡는 순간, 당신은 청문회장에서 방어할 수 없는 무언가를 만든 것이다.
그 실패가 나에게 문제 전체를 다시 규정하게 만들었다. 목표는 결코 AI가 누군가를 편애하게 만드는 것이 아니었다. 목표는 AI가 누구도 편애하지 않음을 입증 가능하게 만드는 것 — 그리고 그 증거를 만들어 내는 것이었다.
이 문제를 열어젖힌 채용 규칙
전환점은 고용 차별 규칙에서 왔는데, 내가 아는 한 조달 분야에서는 거의 아무도 이를 적용하지 않고 있었다.
EEOC의 5분의 4 규칙 — 29 CFR 1607.4 — 은 어떤 집단이든 그 선발률이 가장 많이 선발된 집단 비율의 최소 80%는 되어야 한다고 명시한다. 이 규칙은 채용 차별을 위해 쓰였다. 하지만 공급업체 선정은 후보자 선정과 구조적으로 동일하다: 범주, 진출률, 그리고 임계값이 있다. 동일한 통계 검정이 그대로 들어맞는다.
그래서 우리는 이를 실제 점수 산정 결과에 대고 돌려 봤다. 만약 AI가 비다양성 공급업체의 60%를 점수 임계값 위로 통과시킨다면, 5분의 4 규칙에 따르면 인증받은 소수자 및 여성 소유 공급업체의 최소 48%는 통과시켜야 한다. 물량 가중 점수 산정에서 우리가 계속 목격한 실제 비율은 22%에 가까웠다. 이는 격차 비율 0.37 — 법적 하한선의 절반에도 못 미친다.
그 숫자는 미약한 신호가 아니다. 격차 비율 0.37은 불리한 영향의 일견 명백한(prima facie) 증거다 — 법원이 채용 차별 소송에 적용할 바로 그 기준이다. 그것은 강경한 어조의 메모가 아니라 계약 상실과 감사 지적으로 이어지는 종류의 발견이다.
그리고 바로 그 점에서 그것은 어떤 공정성 가점보다도 더 중요했다: 5분의 4 검정은 누구도 편애하지 않는다. 그저 측정할 뿐이다. 그것은 우리에게 두 주인을 동시에 만족시킬 방법을 주었다 — FAR 파트 19 감사관에게는 다양한 공급업체가 공정한 기회를 얻고 있음을 보여 주는 것, 그리고 EO 14319 검토자에게는 우리가 저울에 이념적 손가락을 조금도 얹지 않았음을 보여 주는 것이었다. 그저 대칭적으로 적용된 수학, 끝에 숫자 하나가 붙는.
그리고 이것은 연방만의 문제가 아니다. 대부분의 주는 이미 다양성 점수를 조달 평가에 반영하고 있다 — 일리노이만 해도 RFP 기술 점수의 최대 20%를 공급업체 다양성에 배정한다 — 그래서 연방 감사를 침몰시키는 바로 그 격차 비율이 주 계약자가 명시적으로 확보하라고 지시받은 점수를 조용히 갉아먹는다. 5분의 4 검정은 점수 산정이 가는 곳이면 어디든 따라간다.
조달 AI가 공정하다는 것을 어떻게 증명하는가?
그래서 우리는 누군가의 모델을 고치려는 시도를 멈추고, 그 위에 얹히는 감사 계층을 구축했다. 그것이 지금 veriprajna.com/solutions/procurement-ai-fairness에 있는 것의 핵심이다: SAP Ariba, Coupa, GEP, Ivalua에 연결되어 플랫폼이 이미 생성한 공급업체 점수 산정 결과를 읽고 이질적 영향에 대해 검정하는, 벤더에 구애받지 않는 공정성 감사기다.
벤더 비종속성은 편의가 아니라 의도적인 선택이었다. 우리는 플랫폼의 모델을 건드리지 않는다 — 그럴 필요가 없고, 솔직히 남의 점수 산정 엔진을 재학습시키는 책임을 지고 싶지 않다. 우리는 AI의 출력을 검토 대상으로 다룬다: 공급업체 범주별 선발률을 뽑아내고, 5분의 4 격차 비율을 계산하고, 점수 산정 스택의 어디에서 격차가 비롯되는지 분해하고(거의 항상 신뢰도 가중이고, 거의 결코 가격이 아니다), 조달 담당자에게 회의실로 가져갈 수 있는 무언가를 건넨다.
그 마지막 부분이야말로 진짜 중요한 산출물이다. "괜찮아 보인다"고 말하는 대시보드가 아니다. AI가 모든 공급업체 범주를 공평하게 대한다는 수학적 증명 — 또는 그렇지 않다는, 격차 비율과 문제의 점수 산정 요인이 명시된 구체적이고 출처 있는 발견이다. CPO가 경영진 앞에 내놓을 수 있고, 규정 준수 담당자가 서류로 제출할 수 있으며, 감사관이 손사래 쳐 넘길 수 없는 무언가.
"이건 그냥 계산기를 단 DEI 프로그램 아닌가?"
이것은 내가 가장 많이 받는 반론으로, 대개 규제의 급변에 데인 적이 있어 사회적 의제 냄새가 나는 것이면 무엇이든 경계하는 사람에게서 나온다. 정당한 질문이며, 답은 '아니오'다 — 그리고 그 구분이야말로 핵심 전부다.
DEI 프로그램은 사전에 어떤 결과가 바람직하다고 결정하고 그쪽으로 몰아간다. 이질적 영향 감사는 아무것도 결정하지 않는다. 감사는 선발률이 법원이 차별 소송에 적용하는, 오래 확립된 통계적 임계값을 넘는지를 측정한다. 만약 당신의 AI가 5분의 4 검정을 통과하면, 감사가 그렇다고 말해 주고 당신은 중립성의 증거를 갖게 된다. 만약 실패하면, 감사는 당신에게 어떤 점수 산정 요인이 그것을 초래했는지 알려 준다 — 그리고 그 해법은 거의 언제나 수학을 덜 정확하게가 아니라 더 정확하게 만드는 것이다. 98.1%의 배송률을 16.8점으로 신뢰도 가중해 깎아내리는 것은 공정하지 않을뿐더러 정확하지도 않기 때문이다.
사람들은 또 조달 AI가 아직 초기처럼 느껴지는 지금 이것이 왜 시급한지 묻는다. 그리고 실제로 초기다 — 바로 그 점이 기회의 창이다. 업계 전반에서 조달팀의 49%가 AI 파일럿을 돌리고 있지만, 의미 있는 배포에 도달한 곳은 4%뿐이다. 병목은 기술이 아니다. 신뢰다. 경영진은 이해관계자나 규제 당국에게 정당화할 수 없는 자율적 공급업체 점수 산정에 승인을 내주지 않는다. 공정성 증명은 배포 후에 덧붙이는 있으면 좋은 옵션이 아니다. 많은 조직에게 그것은 가로막힌 것을 여는 것, 곧 배포를 가능하게 만드는 것이다.
세 번째 질문은 늘 다양성 발굴 도구에 관한 것이다 — 2천만 공급업체 데이터베이스를 갖춘 Supplier.io, Tealbook, Fairmarkit. 그것들이 이미 이걸 해결하지 않나? 아니다. 그것들은 당신이 찾도록 도와준다 — 다양한 공급업체를 말이다. 그중 어느 것도 그 공급업체들이 일단 파이프라인에 들어온 뒤 당신의 점수 산정 알고리즘이 그들에게 공정한 기회를 주는지는 감사하지 않는다. 자격 있는 소수자 소유 공급업체를 찾아 놓고 신뢰도 가중이 그들을 71점에 파묻게 놔두는 것은 진보가 아니다. 그것은 같은 배제로 가는 더 효율적인 경로일 뿐이다.
누구도 세우려 하지 않은 벽
나는 그 패스너 점수표로 자꾸 되돌아온다. 다섯 공급업체, 하나의 일상적인 조달 건, 그리고 더 나은 성과를 낸 벤더가 져 마땅하다고 조용히 결정해 버린 한 조각의 수학 — 누가 그걸 원해서가 아니라, 알고리즘이 익숙함을 좋음으로 착각했기 때문이다.
조달 AI의 편향이란 게 바로 그렇다. 그것은 편견의 모습으로 오지 않는다. 그것은 신뢰 구간으로, 거래 건수로, 완벽하게 합리적으로 보이는 25% 가중치로 온다. 모든 단계는 방어 가능하다. 그것이 세우는 벽은 그렇지 않다.
당신은 의도만으로 거기서 빠져나갈 논리를 세울 수 없고, 저울을 반대로 기울여 그것을 고칠 수도 없다 — 나는 시도해 봤고, 법이 그것을 금지한 건 옳았다. 당신이 할 수 있는 일은 단 하나다: 그것을 측정하고, 증명하고, 그 증거를 감사관에게 움츠러들지 않고 건넬 수 있는 무언가로 만드는 것. 그 '교정이 아니라 측정'이라는 입장이 우리가 구축하는 것의 전부이고, 그 이름이 바로 Veriprajna다. 당신의 조달 AI는 빠르다. 탈락한 공급업체가 처음으로 그 이유를 묻는 순간, 정말로 중요해질 유일한 질문은 당신이 그것이 공정했음을 증명할 수 있느냐다. 격차 비율과 그것을 만들어 낸 감사를 제시할 수 있다면, 당신에게는 답이 있다. 그럴 수 없다면, 당신에게 있는 것은 공정성 문제가 아니라 — 소환장을 기다리는 증거개시(discovery) 문제다.
