问题所在
《体育画报》(Sports Illustrated)曾发布由根本不存在的人撰写的产品评测。"Drew Ortiz"——被描述为热爱自然、热衷户外运动的人士——完全是凭空捏造的。"Sora Tanaka"也是如此,这位所谓的健身大师还有一段编造出来的、关于她热爱美食的背景故事。两人都配有从数字市场购买的AI生成头像。据内部消息人士透露,他们"撰写"的内容"完全是AI生成的"。其中一篇关于排球的文章里有一句令人尴尬的、显而易见的观察:"排球入门可能有点难,尤其是手里没有真实的球可以练习的时候。"
当科技媒体 Futurism 于2023年11月曝光此事时,《体育画报》的出版方并没有坦白交代,而是悄悄删除了那些虚假档案,不作任何解释。新闻伦理学教授称这是"一种撒谎行为"。出版方把责任推给了一家名为 AdVon Commerce 的第三方供应商。AdVon声称所有文章"均由人类撰写和编辑"。但AdVon的前员工讲述了截然不同的故事:他们证实该公司使用一款名为"MEL"的内部AI工具大规模生成内容,所谓"人类作者"往往只是把AI输出粘贴进内容管理系统。
如果贵公司使用AI制作任何面向客户的内容,这个故事就是您的警示信号。问题不在于他们使用了AI,而在于他们使用AI的方式——没有核验,没有透明度,也没有护栏。
这对您的业务为何重要
《体育画报》这场灾难不仅仅是令人难堪,更是一场可以量化的金融灾难——它抹去了股东价值,毁掉了一个老牌品牌。
以下是用确凿数字呈现的事实:
- **单日股价崩跌27%。**Futurism 报道发布次日,The Arena Group 的股价应声暴跌27%。该股当年已累计下跌超过80%。投资者看到的是一家连自己的文章出自谁手都无法核实的企业——一家没有可辩护价值的企业。
- **拖欠375万美元款项,出版许可被撤销。**拥有《体育画报》品牌的 Authentic Brands Group 撤销了出版许可。官方给出的理由是一笔375万美元的季度付款逾期未付。但时机已经说明一切:AI丑闻造成的声誉损害令这段合作关系变得有毒。
- **大规模裁员。**SI工会报告称,"相当数量、甚至可能是全部"员工遭裁撤。一个拥有70年历史的新闻编辑室被掏空。那些"以工会形式并肩奋斗、守护这份传奇刊物水准"的人类记者,为管理层的偷工减料付出了代价。
- **1.5%至6.4%的幻觉率。**即使是最好的AI模型,也会以这样的比率产生虚假陈述。如果贵机构每年发布10,000篇文章,4%的错误率就意味着400篇存在重大失实的稿件——每一篇都是一桩潜在的诉讼、一次撤稿或一次声誉打击。
这不仅仅是媒体行业的问题。如果贵企业用AI生成报告、合规文件、客户沟通或营销内容,您承担着同样的风险。您的董事会、监管机构和客户都不会接受"是AI编造的"作为辩护理由。
底层到底发生了什么
要理解这种情况为何反复发生,您需要了解一件事:大型语言模型(LLM)——ChatGPT等工具背后的AI引擎——究竟是如何工作的。它们并不查找事实,而是根据训练数据中的模式,预测下一个最可能出现的词。
可以把它想象成手机上的自动补全,只是扩展到了数十亿参数的规模。您的手机并不知道您想输入什么,它只是根据人们通常接下来输入的内容进行猜测。LLM对句子、段落乃至整篇文章做的事情如出一辙。当"产品评测"的模式通常包含一段作者简介时,LLM就会生成一个看起来像简介的东西。它会用统计上最有可能出现的细节填补空白——姓名、爱好、所在地。对这个模型来说,"Drew Ortiz"并不是谎言,而是一次成功的模式补全。
这被称为幻觉,而且它不是一个打补丁就能修复的缺陷。它根植于这项技术的运作方式之中。模型优化的目标是"看似合理",而非真实。它会自信满满地陈述一些听起来头头是道却纯属虚构的内容。
《体育画报》的技术架构正是专家所说的"LLM Wrapper"——在一个基础AI模型之上套一层单薄的软件,没有事实核查,没有核验数据库,也没有审计追踪。AdVon的内部工具"MEL"摄取关键词和产品规格,送入AI模型运行,再输出结构化的评论。没有任何系统检查作者是否真实存在、产品声明是否准确,或者内容是否与已知事实相矛盾。
您的IT团队可能会告诉您,增加一个人工审核环节就能解决这个问题。但在这些系统运行的规模和速度下,人工审核员会沦为"人类中间件"——给AI输出盖章放行,而不是真正地进行编辑。这正是AdVon内部发生的事情。
什么有效(什么无效)
在投入修复之前,您应该先弄清哪些流行做法其实保护不了您。
**"我们只需加个免责声明。"**告诉读者"可能使用了AI辅助",并不能阻止虚假陈述抵达您的客户或监管机构。这只是转移责任,并未降低风险。
**"我们雇编辑来审核AI输出。"**在高产量下,这种做法会失效。人工审核员无法独立核实每一篇AI生成稿件中的每一个事实性陈述。他们会沦为由AdVon那种只负责粘贴和批准的"人类中间件"。
**"我们会用更好的提示词。"**提示词工程——为AI编写更详细的指令——改变不了模型的架构。一个提示得当的LLM依然会产生幻觉,只不过是幻觉得更有礼貌一些。
真正有效的是改变架构。以下是一个核验优先系统的运行方式:
**输入:结构化事实,而非猜测。**不是让AI根据其内部"记忆"写作,而是构建一个知识图谱(Knowledge Graph)——一个经过核验的数据库,每个事实都以明确的关系存储(例如:"Wilson AVP"→"获得认证"→"AVP Official")。一个专职的研究智能体(Research Agent)查询这个图谱和可信的外部来源,只收集经过核验的事实。它产出的是原始数据,而不是故事。
**处理:将撰写者与核查者分离。*一个撰写智能体(Writer Agent)把这些经过核验的事实转化为可读的文字。关键在于,这个撰写智能体无权访问*开放网络,因而无法发明新的事实或人物传记。随后,另一个独立的审校智能体(Critic Agent)对照知识图谱核查每一项陈述。如果撰写智能体写出"Wilson AVP是2024年奥运会的官方比赛用球",而知识图谱中没有匹配结果,审校智能体就会驳回草稿并将其退回修改。研究表明,与标准方法相比,这种方法可将幻觉减少6%,并将token用量削减80%。在医疗领域,此类系统提取临床数据的精确率达到100%,而独立运行的AI仅为63%–95%。
**输出:每一项陈述皆可追溯。**最终输出中的每一句话都链接回知识图谱或源文档中的特定节点。读者——或审计人员——可以点击任何一项陈述,确切看到它的出处。这就建立起了《体育画报》文章中完全缺失的审计追踪。
这种可追溯性正是对您的合规与法务团队最重要的东西。当监管机构问"你们的AI是如何得出这个结论的",您可以向他们展示确切的逻辑路径。而使用标准的LLM Wrapper,您做不到——推理过程埋藏在数十亿参数之中,无从提取。
您的治理框架应当符合 ISO 42001 以及NIST人工智能风险管理框架。这意味着把限制硬编码进系统——而不是依赖诸如"请务必准确"之类的提示词指令。如果一个AI智能体的职责是检索数据,它就不应拥有撰写叙述内容的权限。限制应由系统架构来强制执行,而不是寄望于运气。
最后,您应定期开展 红队演练 ——也就是在攻击者或记者抢先出手之前,主动用对抗性输入尝试攻破您的AI系统。
关键要点
- 《体育画报》的AI丑闻导致股价暴跌27%、许可被撤销和大规模裁员——全是因为AI生成的内容没有核验层。
- LLM不查找事实,而是预测可能出现的词,这意味着幻觉内置于架构之中,仅靠更好的提示词无法解决。
- 即使是顶尖AI模型,也有1.5%到6.4%的时间在产生幻觉——按发布规模计算,意味着每年数百条虚假陈述。
- 核验优先架构利用知识图谱和独立的审校智能体在发布前核查每一项陈述,从而创建完整的审计追踪。
- 合规团队应要求可追溯性:每一句AI生成的话都必须链接回经核验的来源,而不只是一个概率分数。
总结
《体育画报》的垮塌证明:没有核验的速度会摧毁品牌。任何部署AI进行内容创作、报告或客户沟通的企业,都需要这样一种架构——将每一项陈述对照经核验的事实进行核查,并产出监管者可以循迹审查的审计追踪。请询问您的AI供应商:当您的系统生成一条事实性陈述时,它能向我展示其在经核验数据库中的确切来源吗?还是说它只是在预测下一个最可能出现的词?