鹅厂造了个AI翻译公司：专攻网络小说，自动适配语言风格，真人和GPT-4看了都说好
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
鹅厂搞了个150多人的“翻译公司”，从老板到员工都是AI智能体！
主营业务是翻译网络小说，质量极高，参与评价的读者认为比真人翻译得还要好。
而且相比于雇佣真人，用它来翻译文学作品，成本降低了近80倍。
公司名为TransAgents，每个岗位都配备了30个不同的职工，能够根据语言、体裁和目标受众适配不同的翻译风格。
相比于传统的翻译，产出的译文更加灵活多样，也更符合目标语言的表达习惯，文学性也更强。
所以，TransAgents虽然在以相似度为基础的自动评估中“失败”，却赢得了读者和专业人士的大力肯定。
这样的表现甚至让人感叹说，或许人类对人工智能生成的内容更加青睐的时代，就要来了。
还有人表示，TransAgents是证明自己错看了人工智能的又一证据——本以为由于模型限制，小说的翻译对AI会极其困难，结果AI智能体把这个任务完成得非常好。
所以，TransAgents到底有没有那么神呢？
真人和GPT-4都说好
为了评估TransAgents的翻译质量，作者选择了WMT2023数据集，需要对其进行篇章级的文学翻译。
该数据集从12部网络小说中各截取了20个连续的章节，涉及如下八种类型：
游戏类（Video Games，VG）
东方玄幻类（Eastern Fantasy，EF）
科幻爱情类（Sci-fi Romance，SR）
当代爱情类（Contemporary Romance，CR）
玄幻类（Fantasy，F）
科幻类（Science Fiction，SF）
恐怖惊悚类（Horror & Thriller，HT）
玄幻爱情类（Fantasy Romance，FR）
起初，作者使用d-BLEU进行了自动评估，该方法会与参考样本进行相似度计算，相似度越高得分也就越高。
具体到本项目当中，参考样本一共有两组，样本一是人工给出的翻译结果，样本二是对网络中的双语文本进行对齐后得到。
结果，TransAgents的得分并不理想，只有25分，连SOTA的一半都不到。
但这并不意味着TransAgents的翻译质量不行，而是因为用相似度来衡量文学作品翻译的表现，本身就有失偏颇。
文学翻译不是逐字对照，而是需要在语义、语气、风格等方面进行创造性的转换，这些转换可能导致译文与参考译文在表面上差异较大，相似度不高自然就不意外了。
所以，作者干脆直接让真人（至少10人）来评价翻译的质量，顺便也让GPT-4（0125-Preview）来看了看，在TransAgents、GPT-4（1106-Preview）和真人当中，谁的翻译最好。
测评者会看到针对同一段原文的不同翻译，其中真人只看译文，GPT-4则是原文译文都看。
结果，真人测评者有超过一半都认为TransAgents比人类翻译得更好，8.4%认为两者质量相当，GPT-4也认为TransAgents比自己（和人类）的翻译质量高。
除了这些大众评审之外，两名专业的翻译也认为，虽然人工翻译更加忠实于原文，但TransAgents给出的翻译明显更有文学色彩，更加简洁、在遣词用句上体现出了语言天赋和深厚的文学表现力。
MATTR和MTLD测试指标也证明了这一点，尤其是在MTLD上，TransAgents的语言多样性比真人和GPT-4高出了三分之一左右。
在作者展示的案例中，TransAgents会根据目标语言的习惯对翻译内容做出调整，真人（Ref1）和GPT-4虽然翻的也没错，但相比之下不如TransAgents符合语言习惯。
另外在前后一致性上，TransAgents也超过了单纯使用GPT-4，对相同的原文保持使用一样的译文。
当然，也不是说所有类型它都擅长，在前面提到的8种类型中，TransAgents在游戏、科幻爱情等类型上的表现突出，而在恐怖惊悚等类型上就比较平庸了。
△图中虚线代表50%Win rate
同时作者也发现，TransAgents在翻译时并非“照单全收”，而是会出现一定程度的遗漏现象。
不过从测试中未看过原文的读者给出的评分来看，这样的遗漏似乎没有影响到他们的阅读体验。
所以，这家“翻译公司”是如何运行的呢？
多智能体分工协作
在这个公司当中，不同的智能体分别扮演着CEO、初/高级编辑、真·翻译、本地化专家和校对（Proofreader）这些不同的职位，除CEO外每个职位各有30人，每个人擅长的领域也有所不同，另外还有一个Ghost Agent。
这些智能体由GPT-4-Turbo驱动，每个角色都包含姓名、年龄、职位、工作年限及掌握的语言等多维度的设定。
接到“客户”的翻译要求后，CEO会综合分析原文和目标语言、体裁、目标受众等信息，从几位高级编辑中选择擅长领域最匹配的一位。
此时，Ghost Agent会对CEO的选择进行评估，告知其人选是否合适，从而减少选择失当的现象。
被选定的高级编辑会与CEO合作，再次结合任务需求和个人特点，从公司人才库中进一步选择初级编辑、翻译、本地化专家和校对等团队成员。
团队组建好后，首先由初级编辑逐章节识别所有潜在的关键术语，生成初始术语表，交由高级编辑审查，删除其中的通用术语，生成修订后的术语表，反复迭代直到不需要进一步修改。
然后，结合术语在不同语境下的意义，高级编辑会将术语表中的关键术语翻译为目标语言。
有了术语表后，初级编辑会为每一章生成详细的章节摘要，尽可能保留关键信息和细节，然后还是让高级编辑来审查，并删除冗余或不必要的信息，让章节摘要更加简明扼要。
接着，高级编辑根据修订后的章节摘要编写全书的摘要，概括主要情节、人物和主题，并随机选择书中的一章，分析其语气、风格和目标受众，制定翻译风格指南。
翻译风格指南会发送给项目团队所有成员，以确保译文风格的一致性。
根据风格指南，公司中的真·译员会逐章节进行初步翻译，把初稿交给初级编辑审查，检查是否遵循翻译风格指南，并提出改进意见。
在此基础之上，高级编辑会评估经过修改的译文质量，决定是否需要进一步修改，译员、初级编辑和高级编辑反复迭代，直到译文质量满足要求。
但此时得到的翻译文本并不是终稿，还要交给本地化专家进行调整。专家会识别可能需要文化调适的内容，如习语、隐喻等等，并对这些内容进行调整，使其在保留原文意图的基础之上更贴近目标语言和文化。
调整后的文本会让初级编辑和高级编辑再次审查，确保译文在文化适应性和忠实度之间取得平衡。
这之后，还有校对人员再次检查语法、拼写、标点和格式错误，如果有修改，还要再让编辑进一步审核。
这些流程都走完后，高级编辑会进行最后的终审，重点关注相邻章节之间的连贯性，确保情节、人物、主题等元素在全书范围内保持一致，一旦发现问题则发回给前面的团队成员进行修改，直到形成最终的译本。
如果客户对译本有修改意见，则会再次由高级编辑牵头，组织相关人员进行修改，直到定稿。
不仅是在工作流程上极其严格规范，在客户对译本满意后，高级编辑还会组织项目团队“开会”进行项目总结，分享经验教训。
过程中积累的有价值的术语、翻译技巧、文化调适策略等知识会被整理归纳，上传至公司的知识库，供后续项目参考。
One More Thing
TransAgents已经不是第一个由智能体组成的“公司”了，去年就有来自清华的“游戏公司”ChatDev爆红网络，背后所运用的核心技术就是多智能体。
如果把视线放宽，不只看“公司”，还有斯坦福的AI小镇、清华的AI狼人杀游戏，都在使用多智能体进行着真实人类社会的模拟。
总之随着大模型研究的深入，智能体和群体智能实验已成AI研究最热门方向之一，而且从这次的TransAgents来看，多智能体协同已经开始显现出了实际效益。
（顺便提一句，有网友发现，从斯坦福小镇到ChatDev，再到这次的TransAgents，多智能体研究的作者是真的喜欢《星露谷物语》式的绘画风格。）
当然，也有人对此表示了担忧，认为由AI来主导翻译，会导致语言的同质化，让各种语言中独特的表达消失。
更有甚者，已经跳出TransAgents本身，想到Ilya对大规模Agent合作的恐惧了……
那么你认为在群体智能这条路上还能创造出什么新奇的成果呢？欢迎在评论区晒出你的脑洞。
论文地址：
https://arxiv.org/abs/2405.11804
— 完 —
量子位年度AI主题策划正在征集中！
欢迎投稿专题 一千零一个AI应用，365行AI落地方案
或与我们分享你在寻找的AI产品，或发现的AI新动向
点这里👇关注我，记得标星哦～
微信扫码关注该文公众号作者