超越 0.001% 谬误：企业生成式 AI 的架构完整性与监管问责

生成式人工智能的产业化已到达关键拐点：快速部署的最初狂热，正被监管审视与技术局限的冷静现实所取代。2024 年 9 月，得克萨斯州总检察长与总部位于达拉斯、专注医疗健康的 AI 公司 Pieces Technologies 达成具有里程碑意义的和解，从根本上改写了 AI 问责格局。¹ 该执法行动的核心，在于该公司声称其临床文档软件将"关键幻觉率"维持在低于 0.001%——州方指控该指标既不准确又具欺骗性。³ 这一事件不仅是一次营销失败；它更是对"封装器式"AI 策略固有风险的系统性诊断，并凸显了向优先架构完整性而非统计夸张的深度 AI 解决方案转型的必要性。

对企业领导层与技术架构师而言，Pieces Technologies 一案为不断演进的 AI 治理标准提供了蓝图。涉案软件至少部署在四家得克萨斯州大型医院——包括 Houston Methodist、Children's Health System of Texas、Texas Health Resources，以及 Parkland Hospital & Health System——用于汇总患者病历、起草临床笔记，并跟踪出院障碍。⁴ 当 AI 系统被整合进此类高风险场景时，误差容限不再只是统计学上的好奇，而是关乎临床安全与公共利益。¹ 本白皮书探讨这一转变的技术、法律与运营维度，为企业评估、实施与监控 AI 系统提供严谨框架——使系统超越简单的 API 抽象，迈向可验证的深度集成智能。

0.001% 主张的技术解剖

在大型语言模型（LLM）语境下，声称幻觉率低于十万分之一在数学与运营层面都具有重大意义。LLM 本质上是基于所学模式预测词元的概率引擎，而非确定性逻辑。该过程的数学基础依赖于序列的条件概率，其中生成输出的似然等于该序列中每个词元概率的乘积。⁸ 这一关系可表示为：

在该方程中，表示输入提示，是第 -th 个生成的词元，表示模型的参数。⁸ 当模型对某个在语言上合理、但相对于输入上下文事实错误的词元赋予高概率时，就会发生幻觉。要以 0.001% 的精度测量这些错误，需要规模异常庞大且完美标注的"金标准"数据集，而在高度碎片化、高度特异的临床摘要领域，此类数据集目前并不存在。⁴

得克萨斯州总检察长的调查结论认为，Pieces Technologies 用于宣传其产品的指标"很可能不准确"，可能就工具的安全性与准确性误导医院客户。⁴ 尽管该公司援引其专有的"SafeRead"平台以及用对抗性 AI 标记幻觉来为其错误率辩护，监管机构关注的重点仍是这些指标如何定义与计算方面缺乏透明度。⁴ 这凸显了行业中的根本张力：供应商往往制定内部基准，却缺乏企业级验证所需的严谨性与独立性。¹

临床 AI 中的对比性能指标

指标类型	标准定义	Pieces 案中的主张	监管预期
关键幻觉率	可能造成临床伤害的错误输出所占百分比。	<0.001%（或每 100,000 次低于 1 次）。1	须由独立第三方审计加以证实。11
严重幻觉率	包含捏造医疗事实或诊断的输出所占百分比。	<0.001%。3	须清楚披露该指标的"含义或定义"。1
检索精确率	检索到的相关文档与检索到的文档总数之比。	未以百分比形式明确营销。	若用于声称准确性，则必须披露。11
忠实性/接地性	回答在多大程度上仅从所提供上下文中推导而来。	通过对抗性 AI 加以管理。9	须披露用于计算这些度量的方法。11

拆解监管框架：得克萨斯州总检察长和解案

该和解于 2024 年 9 月最终敲定，是首例依据《得克萨斯州欺骗性贸易行为—消费者保护法》（DTPA）针对医疗生成式 AI 公司欺骗性营销行为的案件。¹ 对企业领导者而言，重要的是认识到：总检察长采取行动并不需要新的 AI 专项立法；既有的消费者保护与隐私法律已足以应对所称的虚假陈述。¹⁰

Pieces Technologies 签署的《自愿合规保证》（AVC）规定了为期五年的强化透明度与披露义务。¹¹ 这一法律文书成为 AI 公司如何与客户及公众互动的重要先例。最关键的要求之一是，公司必须向所有现有与未来客户提供"清晰且显著的披露"，说明其产品"已知或可合理知悉的有害或潜在有害用途或误用"。¹ 这将风险负担从医院转移到供应商，要求后者主动识别并沟通其技术的局限性。

此外，和解要求 Pieces 披露用于训练其产品的具体数据与模型，以及计算任何所宣传性能指标的方法。¹ 这一透明度水平旨在确保临床人员理解其能在多大程度上安全地依赖 AI 生成的文档开展患者照护。¹⁰ 和解还允许另选方案：聘请独立第三方审计师核验这些指标——这一做法很可能成为高风险 AI 采购的标准要求。¹¹

《自愿合规保证》（AVC）项下的关键义务

义务	说明	预期结果
指标透明度	披露所有准确性基准的定义与计算方法。1	防止使用专有或误导性的成功指标。
风险披露	向客户告知"已知或可合理知悉"的有害用途。2	使临床与运营人员能够做出知情决策。
训练披露	提供关于所用训练数据与模型类型的文档。1	提升模型可观测性与可解释性。
合规监控	在 30 天内回应总检察长的信息请求。12	确保在五年内持续遵守和解条款。

封装器模型的谬误与向深度 AI 的转变

Pieces Technologies 事件暴露了企业环境中"封装器"模型固有的脆弱性。封装器模型通常指一种软件应用：将用户提示发送至基础模型 API（例如 OpenAI 的 GPT-4），并以极少的领域特定处理或锚定，直接展示返回的响应。¹⁶ 尽管这一方法便于快速进入市场，却缺乏缓解幻觉、数据泄露与提示注入攻击所需的技术保障。¹⁸

相比之下，深度 AI 解决方案将模型集成到企业的核心数据织物中，采用检索增强生成（RAG）、在领域特定语料上微调，以及多层人机回路（HITL）监督等技术。⁸ Veriprajna 将自身定位为这类深度解决方案的提供商，并认识到"重构墙"往往使通用 LLM 难以在复杂企业工作流中保持上下文。¹⁹ 例如，研究表明 65% 的开发者报告称，AI 在复杂重构任务中会"丢失相关上下文"，从而导致引入隐蔽缺陷或架构不一致。¹⁹

在医疗健康领域，封装器模型的风险被放大：电子健康记录（EHR）的复杂性与临床沟通的细微差别会提高幻觉倾向。⁹ 对通用模型的一次简单 API 调用，无法计入患者的纵向病史，也无法匹配医师特有的书写风格。²¹ 要达到临床安全所需的准确性水平，系统必须使用"Sculpted AI"（雕琢式 AI），将模型定制到特定科室、专科乃至个体医师层面。⁵ 这需要多个模型与临床知识图谱的精密编排，以便对照实时患者记录验证内容。⁹

风险对比：封装器与深度 AI 集成

风险因素	封装器模型特征	深度 AI 解决方案特征
上下文保持	受限于模型的词元窗口且缺乏外部记忆。	通过 RAG 与长期向量存储得到增强。19
数据投毒	易受来自外部来源的被操纵输入影响。18	通过输入净化与策选训练集加以缓解。18
幻觉控制	依赖基础模型的通用保障措施。	实施对抗性检测与临床知识图谱。9
安全/合规	往往涉及数据向第三方提供商传输。	支持在本地基础设施内的主权 AI 部署。23

高风险 AI 的评估框架

为超越 AI 实施中的"静默失败"——即因缺乏可衡量影响而使投资悄然未达预期——企业必须采用严谨的评估框架。²⁴ 生成式 AI 的快速扩散已超越标准指标的发展，导致过度依赖灵敏度与特异度等基础技术指标，而这些指标往往无法捕捉真实世界的临床影响。²⁵

Med-HALT（医疗领域幻觉测试）正是专为医疗健康 LLM 设计的此类基准之一。它超越简单准确率分数，通过源自医学考试的跨国数据集，评估基于推理与基于记忆的幻觉。²⁷ 例如，Med-HALT 的"虚假置信测试"（FCT）评估模型能否评判随机建议的"正确"答案的有效性，从而检验其在面对错误信息时抵制过度自信的能力。²⁷ 同样，"以上皆非"（Nota）测试挑战模型识别所给选项何时不正确——这是避免"被迫"幻觉的关键技能。²⁸

另一种全面方法是医疗健康领域的 FAIR-AI（AI 适当实施与审查框架）。该框架将临床评估组织为验证、公平性、有用性与透明度等领域。²⁵ 它要求创建面向终端用户汇总信息的"AI 标签"，确保使用该工具的临床医生理解其来源与已知失效模式。²⁵ 这种结构性透明度是负责任 AI 部署的基石。

Med-HALT 评估框架的核心组成部分

测试模态	目标	机制
推理：虚假置信	检测对错误答案的过度自信。27	呈现附带不正确但"建议"答案的问题。
推理：虚假问题	恰当处理无意义查询。27	用捏造或逻辑上不可能的医学问题进行测试。
记忆：PMID 到标题	验证对训练数据的事实回忆。27	提供 PubMed ID 并要求给出确切文章标题。
记忆：标题到链接	评估链接/来源生成的准确性。27	提供标题并要求给出可验证的 URL 或 DOI。
推理：Nota 测试	识别正确信息的缺失。27	提供一道多选题，其中正确选项为"以上皆非"。

高级缓解：对抗性 AI 与人机回路

Pieces Technologies 针对得克萨斯州总检察长指控的辩护，集中于其使用"对抗性与协作式 AI"以及人机回路（HITL）系统。⁵ 尽管所声称的比率存在争议，但用一个 AI 模型监管另一个 AI 模型的策略，是深度 AI 架构的关键组成部分。这涉及一个对抗检测模块（ADM），扫描生成的摘要以识别 AI 输出与底层临床数据之间的差异。⁹

在 Pieces 的"SafeRead"平台中，被 ADM 标记的摘要会提交给董事会认证医师进行审查与纠正。⁹ 由此形成分层安全模型：高风险输出在未经人工验证前绝不会呈现给终端用户。对该系统的技术分析显示，ADM 在识别具有临床意义的幻觉方面，比随机抽样有效 7.5 倍。⁹ 这表明，配置得当的 ADM 是安全扩展 AI 生成临床文档的必要组件。

然而，HITL 系统的效力取决于"有效补救时间"——即标记错误可被纠正的速度。就 Pieces 所分析的摘要而言，中位补救时间为 3.7 小时。⁹ 在急症护理场景中，这一延迟对病程记录或许可以接受，但对实时决策支持可能是灾难性的。这凸显了企业需要按风险与所需干预速度对 AI 用例进行分层。

医疗健康的 AI 安全级别（ASL）框架

级别	说明	示例用例	监督要求
ASL 1-2	对安全或隐私影响极小的低影响任务。	起草行政邮件或排程。31	定期审计与标准数据隐私控制。
ASL 3	中等影响；辅助临床或运营决策。	病程记录的文档助手。31	强制临床医生审查与透明度日志。25
ASL 4	高影响；影响直接患者照护或安全。	再入院或复发的预测风险评分。31	可解释输出与人机回路验证。31
ASL 5	关键影响；与患者的自主交互。	危机干预或治疗用聊天机器人。31	升级协议以及对使用范围的严格护栏。31

企业 AI ROI 的战略现实：5% 法则

生成式 AI 的承诺往往与其经济现实脱节。研究表明，尽管企业投资规模巨大，但仅有 5% 的公司在规模化层面实现了可衡量的业务价值。¹⁹ 这些"领导者"将自身与众不同之处，放在数据质量与劳动力重新设计上，而非仅关注技术能力。¹⁹ 他们遵循"70:20:10"实施法则：10% 的精力投入算法，20% 投入技术栈，70% 投入组织转型。¹⁹

对 Veriprajna 这类公司而言，价值在于弥合这一差距。这涉及向平台主导型 AI 的转变——研究表明，这可将每个用例成本降低多达 15%。²⁴ 平台方法允许统一治理，防止产生增加复杂性与风险的"AI 孤岛"。²⁴ 此外，"购买 vs. 自建"决策至关重要：从供应商购买专业化 AI 工具的公司成功率为 67%，而试图从零自建内部工具的公司成功率仅为 33%。¹⁹ 这表明，AI 的企业价值并非通过创建新模型解锁，而是通过将现有专业化模型深度集成到受治理的工作流中实现。

AI 领导者与落后者的 ROI 差异因素

因素	领导者（那 5%）	落后者（那 95%）
数据策略	在规模化之前对数据质量与治理进行大量投入。19	在"杂乱"或孤岛化数据上扩展模型。19
成功指标	聚焦业务结果与损益（P&L）影响。19	聚焦技术能力与试点数量。19
劳动力策略	对角色与工作流进行广泛重新设计。19	仅聚焦 AI 素养/教育，而不改变角色。23
集成模式	模块化、云原生平台，采用安全优先设计原则。23	碎片化、孤立的 AI 项目，监督不一致。24

结论：韧性 AI 实施路线图

得克萨斯州总检察长与 Pieces Technologies 的和解，标志着医疗健康与高风险企业领域 AI 投机时代的终结。它确立了清晰的法律与技术标准：若你营销准确性，就必须能够以透明方式定义、计算并证实它。¹ 对企业而言，这要求远离通用 LLM 封装器，转向优先安全与可验证性的深度集成 AI 解决方案。

为实现这一点，组织应落实以下战略要务：

●​ 建立多层次评估策略：使用 Med-HALT 与 FAIR-AI 等框架，对照领域特定的临床与运营需求对模型性能进行基准测试。²⁵

●​ 将透明度运营化：为每个已部署工具开发"AI 标签"或模型卡，向终端用户披露训练数据、模型版本与已知失效模式。²⁵

●​ 集成对抗性控制：实施独立检测模块，对照企业的"事实真相"数据（例如 EHR 记录或财务账簿）验证 AI 输出。⁹

●​ 优先人工监督：对所有高风险用例保持严格的人机回路要求，确保临床医生或领域专家对受 AI 影响的决策拥有最终权威。²⁰

●​ 采用平台级治理：超越孤立试点，迈向统一 AI 平台，以执行质量、互操作性与安全优先设计的企业标准。²³

通过践行这些原则，企业可以在把握生成式 AI 变革潜力的同时，驾驭不断演进的监管格局。目标不再只是生成文本，而是生成安全、可持续且有严谨技术完整性支撑的价值。Veriprajna 随时准备引导合作伙伴完成这一转型，确保其 AI 实施不仅在营销上"高度准确"，更在实践中可被证明具有韧性。

参考文献

1. AI Firm Reaches Settlement With Texas Attorney General Over Misleading Accuracy Claims, 于2026年2月6日访问, https://www.bakerdonelson.com/ai-firm-reaches-settlement-with-texas-attorney-general-over-misleading-accuracy-claims

2. Rising AI Enforcement: Insights From State Attorney General ... - Sidley, 于2026年2月6日访问, https://www.sidley.com/en/insights/newsupdates/2024/12/rising-ai-enforcement-insights-from-state-attorney-general-settlement-and-us-ftc-sweep

3. Takeaways From Texas AG's Novel AI Health Settlement - Troutman Pepper Locke, 于2026年2月6日访问, https://www.troutman.com/insights/takeaways-from-texas-ags-novel-ai-health-settlement/

4. Texas attorney general, generative AI company settle over accuracy allegations, 于2026年2月6日访问, https://www.healthcaredive.com/news/texas-attorney-general-ken-paxton-settles-pieces-technologies-generative-ai-accuracy/727699/

5. Pieces Pioneers “Sculpted AI” for Health Systems using Amazon Bedrock, 于2026年2月6日访问, https://www.piecestech.com/media/pieces-pioneers-sculpted-ai-for-health-systems-using-amazon-bedrock

6. Pieces Pioneers "Sculpted AI" for Health Systems using Amazon Bedrock - PR Newswire, 于2026年2月6日访问, https://www.prnewswire.com/news-releases/pieces-pioneers-sculpted-ai-for-health-systems-using-amazon-bedrock-301987253.html

7. Texas attorney general, healthcare gen AI company settle ..., 于2026年2月6日访问, https://www.fiercehealthcare.com/ai-and-machine-learning/texas-ag-pieces-technologies-settle-allegations-inaccurate-generative-ai

8. LLM Hallucination Detection and Mitigation: Best Techniques - Deepchecks, 于2026年2月6日访问, https://www.deepchecks.com/llm-hallucination-detection-and-mitigation-best-techniques/

9. System to Classify, Detect and Prevent Hallucinatory Error in Clinical ..., 于2026年2月6日访问, https://cdn.prod.website-files.com/6697ef98eaaeed02377be5ef/678060c7be019cd6a113ebbc_Pieces%20Technical%20Paper%20V11.13-combined.pdf

10. Lessons From Texas' Healthcare Generative AI Investigation - Securiti, 于2026年2月6日访问, https://securiti.ai/lessons-from-texas-healthcare-generative-ai-investigation/

11. Texas Attorney General Reaches Novel Generative AI Settlement ..., 于2026年2月6日访问, https://www.orrick.com/en/Insights/2024/09/Texas-Attorney-General-Reaches-Novel-Generative-AI-Settlement

12. Texas Attorney General Settles with Healthcare AI Firm Over False Claims on Product Accuracy and Safety | Privacy World, 于2026年2月6日访问, https://www.privacyworld.blog/2024/09/texas-attorney-general-settles-with-healthcare-ai-firm-over-false-claims-on-product-accuracy-and-safety/

13. Texas Attorney General Settles Deceptive Marketing Allegations ..., 于2026年2月6日访问, https://www.manatt.com/insights/newsletters/client-alert/texas-attorney-general-settles-deceptive-marketing

14. Top 5 Tools to Evaluate RAG Performance in 2026 - Maxim AI, 于2026年2月6日访问, https://www.getmaxim.ai/articles/top-5-tools-to-evaluate-rag-performance-in-2026/

15. Texas Attorney General Obtains Settlement of Alleged False and Misleading Statements About Healthcare Artificial Intelligence Product Accuracy - Quarles, 于2026年2月6日访问, https://www.quarles.com/newsroom/publications/texas-attorney-general-obtains-settlement-of-alleged-false-and-misleading-statements-about-healthcare-artificial-intelligence-product-accuracy

16. AI Fire Daily - Rss, 于2026年2月6日访问, https://media.rss.com/ai-fire-daily/feed.xml

17. Impact Measurement Platforms Market in China | Report - IndexBox - Prices, Size, Forecast, and Companies, 于2026年2月6日访问, https://www.indexbox.io/store/china-impact-measurement-platforms-market-analysis-forecast-size-trends-and-insights/

18. Engaging with artificial intelligence | Cyber.gov.au, 于2026年2月6日访问, https://www.cyber.gov.au/business-government/secure-design/artificial-intelligence/engaging-with-artificial-intelligence

19. Enterprise AI ROI Analysis Report: What Actually Works in 2025 | by Xue Langping, 于2026年2月6日访问, https://ai.plainenglish.io/enterprise-ai-roi-analysis-report-what-actually-works-in-2025-87b6f35a7841

20. Reducing Hallucinations in Large Language Models for Healthcare - Cognome, 于2026年2月6日访问, https://cognome.com/blog/reducing-hallucinations-in-large-language-models-for-healthcare

21. Pieces Technologies Unveils Pieces in Your Pocket, 于2026年2月6日访问, https://www.piecestech.com/products/pieces-in-your-pocket

22. Puzzle Solved: How GenAI Improves Clinical Documentation - Healthcare Huddle, 于2026年2月6日访问, https://www.healthcarehuddle.com/p/puzzle-solved-genai-improves-clinical-documentation

23. The State of AI in the Enterprise - 2026 AI report | Deloitte US, 于2026年2月6日访问, https://www.deloitte.com/us/en/what-we-do/capabilities/applied-artificial-intelligence/content/state-of-ai-in-the-enterprise.html

24. Build vs. Buy: Expert Guidance on Scaling Enterprise AI | Kore.ai + BCG Whitepaper, 于2026年2月6日访问, https://www.kore.ai/whitepaper/bcg-beyond-ai-islands

25. A practical framework for appropriate implementation and review of ..., 于2026年2月6日访问, https://pmc.ncbi.nlm.nih.gov/articles/PMC12340025/

26. AI for IMPACTS Framework for Evaluating the Long-Term Real-World Impacts of AI-Powered Clinician Tools: Systematic Review and Narrative Synthesis - PMC, 于2026年2月6日访问, https://pmc.ncbi.nlm.nih.gov/articles/PMC11840377/

27. Med-HALT: Medical Domain Hallucination Test for Large Language Models - GitHub, 于2026年2月6日访问, https://github.com/medhalt/medhalt

28. Medical Hallucination in Foundation Models and Their Impact on Healthcare - arXiv, 于2026年2月6日访问, https://arxiv.org/html/2503.05777v2

29. MedVH: Toward Systematic Evaluation of Hallucination for Large Vision Language Models in the Medical Context - NIH, 于2026年2月6日访问, https://pmc.ncbi.nlm.nih.gov/articles/PMC12363988/

30. Pieces Technologies Awarded $2M From National Cancer Institute, Part of the National Institutes of Health, to Advance Use of Conversational AI to Improve the Care of Cancer Patients, 于2026年2月6日访问, https://www.piecestech.com/media/pieces-technologies-awarded-2m-from-national-cancer-institute-part-of-the-national-institutes-of-health-to-advance-use-of-conversational-ai-to-improve-the-care-of-cancer-patients

31. AI Safety in Healthcare: Applying the ASL Framework to Responsible Innovation - Netsmart, 于2026年2月6日访问, https://www.ntst.com/blog/2025/ai-safety-in-healthcare

32. Are You Generating Value from AI? The Widening Gap | BCG, 于2026年2月6日访问, https://www.bcg.com/publications/2025/are-you-generating-value-from-ai-the-widening-gap

33. E-Briefings – Volume 22, No. 2, March 2025 - The Governance Institute, 于2026年2月6日访问, https://www.governanceinstitute.com/page/EBriefings_V22N2Mar2025