红杉资本｜“垃圾输入，垃圾输出”，好应用更需要好数据——以金融客服Agent为例

有效地使用AI，需要一种AI本身尚无法产生的「新型结构化数据」。

“垃圾输入，垃圾输出”，即Garbage In, Garbage Out，简称GIGO。

正如卡尼曼在《噪声》中所说，“在复杂系统中，噪声和垃圾输入的结合，会放大错误，导致系统行为的严重偏离。”

随着模型能力的增强，数据质量、数据安全，如果没有相匹配的进步，带来的影响可能将超乎想象。

8月8日，GPT-4o最新发布的“系统卡”，也将数据安全摆在首位。特别强调了“关键数据集”组件，也着重说明了“幻觉”的问题。

GPT-4o或者未来GPT-5的各项能力，如果不能被验证安全，就也不会公之于众。

坏消息是：我们看到GPT-5的时间大概不会太快。

好消息是：创业者可以有更多时间，在产品、数据等方面积累自己的优势。

在GPT下一轮模型能力释放前，尽情发育成长。

来自OpenAI官网

在数据和输入的话题上，红杉美国有篇文章，Better Agents Need Better Documentation，从企业调用API的应用案例，介绍了数据的重要性。

Klarna是一家位于瑞典的金融科技公司，专注于提供“先买后付”服务，类似海外版“花呗”。

Klarna曾因 API 文档不清晰，而让用户在整合他们的系统时遭遇了困难，带来用户的负面体验，还可能影响业务合作的信心。为了解决这些问题，Klarna 改进文档，增加可读性、提供明确的示例代码，以及确保开发者能够快速上手和使用 API。

通过改善 API 文档，Klarna 提高了其系统的集成效率，增强了开发者的使用体验，并提升了整体客户满意度。

作为一个典型的基于OpenAI能力的应用项目，尤其是在国内也非常有需求的【客服场景】，是非常好的案例参考，介绍给大家。

Better Agents Need Better Documentation.  以下是内容原文👇

《数据和记忆深处》 by Frank with Midjourney

今年2月，Klarna 大胆宣布，其基于OpenAI的新Agent，在第一个月就处理了这家瑞典金融科技公司三分之二的客户服务聊天。

各种“客户满意度指标”都有所提高，但最引人注意的是，该公司通过用AI取代700 名全职的“合同代理人”，使盈利增加了4000万美元。 

从那时起，我们接触的每家公司都想知道，“我们如何获得Klarna的AI客户支持服务？”

在华而不实的演示软件、令人瞠目结舌的「营收前估值」的背景下，Klarna对 GPT-4实际应用的效果令人欣慰。

但正如 Klarna 创始人兼首席执行官 Sebastian Siemiatkowski 在本周的Training Data 播客中解释的那样，这一成就的现实比它最初看起来更平淡无奇，也更深刻。 

为了解释推动这一突破的洞察力，Siemiatkowski 援引了经典的计算机科学概念“垃圾输入，垃圾输出”（GIGO）。

早在巴贝奇时代，科学家们就明白“如果你给机器输入错误的数字”，就不会得到正确的答案。

对于 Klarna 来说，这意味着团队需要特别注意他们为模型提供的语言，作为特定客户服务任务的背景——

换句话说，他们为代理自己制作的文档和培训手册。

“这样思考对我们很有帮助，我们只需要确保文档和手册足够清晰、质量足够高，然后它就可以真正执行，”Siemiatkowski 说。 

除了使用 RAG（检索增强生成）之外，Klarna 尚未透露他们构建助手的“秘诀”，因此尚不清楚其成功表现在多大程度上归功于数据质量，还是归功于适应特定任务的“定制认知架构” 。

无论如何，这是我们所说的“ Goldiocks 代理”的一个典型例子，它既受益于护栏（在这种情况下，即 Klarna 处理客户服务请求的具体方式），也受益于 LLM 以连贯的方式流畅地合并信息的能力。 

《通向未来之路》 by Frank with Midjourney

大型语言模型的需求将一直是小众问题放在了首位。

自2020 年正式确立以来，RAG 已成为行业标准，将 LLM 的表达弹性与可靠执行任务所需的关键事实相结合，尤其是在任务关键型业务环境中。

精心挑选要检索的示例的质量是成功的关键。世界上确实有人喜欢写文档，但数量不多。对于我们大多数人来说，我们只会抱怨糟糕的事情，而不会为改善它做出贡献。

然而，像 Stripe 这样的高绩效公司开创了“写作文化”，其中社会规范鼓励参与。Gitlab 是首批仅远程办公的公司之一，它开发了一种以手册为先的沟通方式，作为其卓越运营的支柱2。 

更广泛地说，就 Klarna 而言，该公司已经构建了一个精心设计的知识图谱，不仅为面向外部的客户服务代表（人工和代理）提供支持，还为其内部聊天机器人 Kiki 提供支持。

Siemiatkowski 解释说，这种对文档质量的关注具有双重好处：“因此，实际上我们的代理如今拥有更好的工具来成功地帮助客户，就像人工智能一样。因此，这两种体验都在因此而得到改善。” 

Siemiatkowski 认为，Klarna 通过试验和内部构建 AI 获得了很多价值。但在他讨论的两种情况下（LLM驱动的内部知识管理系统和面向外部的客户服务代理），购买而不是构建现在是一种非常可行的选择，因为有Glean和Sierra这样的解决方案。

但是，买家要小心，GIGO 仍然适用。 

对高质量数据的关注，是当代人工智能的一个大主题。

微软去年发布了一篇论文Textbooks Are All You Need，该论文展示了使用更优质数据训练的小型模型，如何在编码练习中胜过大型模型。

在大型模型方面，微软首席技术官 Kevin Scott 告诉我们，“数据质量比数据数量更重要，这是件好事，因为它为你提供了一个经济框架，让你可以开展必要的合作，确保为你的人工智能训练算法提供能够产生更智能模型的课程。而且，老实说，不要浪费大量的计算资源去输入一堆根本不智能的东西。”

当涉及到企业用例时，尤其是像 Klarna 这样面向消费者的用例，质量标准很高，因为客户是在与人工代理进行比较。 

Klarna 的经验表明，当人工智能与人类努力相结合以理解其他人时，效果会最好（LLM似乎还远远无法实现这一点）。

这实际上是所有伟大企业的核心——以客户为中心的方法。

https://www.sequoiacap.com/article/better-agents-need-better-documentation/  （原文链接）

新鲜真话，关注一下👆

参考阅读：

1. AI必出海，出海须日本？

2. 2024，小公司的唯一出路｜a16z特别立场

3. 看了40款AI产品的定价模式，我好像发现了营收1000万美元的秘密

4. 对比8家日本顶尖AI公司，中日技术差距多少年？

5. 红杉资本｜最新关于AI的五大预测：从卖铲子的生意，到AI工厂

新鲜真话，关注一下👆

朋友圈会发一些具体的案例和商业化日常～ 

AI交流，欢迎加我本人微信：FrankGPTs

微信扫码关注该文公众号作者