Bendi新闻
>
微软TaskWeaver开源框架:携手数据分析与行业定制,打造顶级Agent解决方案

微软TaskWeaver开源框架:携手数据分析与行业定制,打造顶级Agent解决方案

9月前
机器之心专栏
机器之心编辑部

数据分析一直是现代社会中的重要工具,它帮助我们洞察本质、发现规律并指导决策。然而,数据分析过程往往复杂且费时,因此我们期望存在一个智能助手助力用户直接 “与数据对话 “。得益于大语言模型(LLM)的发展,虚拟助手和 Copilot 等智能 Agent 纷纷涌现,它们在自然语言理解和生成方面的表现令人叹为观止。但遗憾的是,在处理复杂数据结构(如 DataFrame, ndarray 等)和引入领域知识方面,现有的 Agent 框架仍然举步维艰,而这恰恰是数据分析和专业领域中的核心需求。

为了突破这一瓶颈,微软推出了 TaskWeaver—— 一款代码优先的 Agent 框架。TaskWeaver 能够将用户的自然语言请求巧妙地转化为可执行代码,并支持丰富的数据结构、动态插件选择以及专业领域适应的规划过程。作为开源框架,TaskWeaver 充分发挥了大语言模型的潜力,通过可定制的示例和插件融入特定领域知识,让用户能够轻松打造个性化虚拟助手。



  • 论文:TaskWeaver: A Code-First Agent Framework
  • 论文地址:https://export.arxiv.org/abs/2311.17541

TaskWeaver 项目已在 GitHub上开源,并于发布当日登上 GitHub 趋势榜,目前已收获 2.9k 个 star,在领英等社交平台上也有一些实用案例(例如用 TaskWeaver 进行 SAP 数据分析)。



  • 项目主页:https://microsoft.github.io/TaskWeaver/
  • 项目地址:https://github.com/microsoft/TaskWeaver

故事示例

追踪销售数据中的隐藏秘密

作为商业分析师的小雅,她的日常工作之一就是从近期的销售数据中找出异常现象,从而指导公司调整销售策略。所有销售数据都安全地存储在一个 SQL 数据库中。她渴望通过与 AI 助手的自然语言交流来轻松提取和分析数据。更重要的是,在销售领域,异常现象有其独特性,因此她希望 AI 助手能采用定制的异常检测算法来解决问题。图 1 生动地展示了小雅与 AI 助手的聊天实录。在收到小雅的求助信息后,AI 助手首先从数据库中提取出相应数据,并汇报给小雅进行确认。随后,该 AI 助手运用专属异常检测算法进行分析,并最终向小雅展示出一份直观的可视化结果。

图 1. 故事示例中的对话实录

Agent 框架需要具备哪些技能?

通过上述小雅的故事,我们梳理了 Agent 框架应具备的几大核心能力:

1. 插件支持:在上面的故事中,Agent 需要从数据库中获取数据,然后使用指定的异常检测算法。为了完成这些任务,智能助手需要能够定义和调用自定义插件,如 “query_database” 插件和 “anomaly_detection” 插件。

2. 丰富的数据结构支持:Agent 需要处理复杂的数据结构,如数组、矩阵、表格数据等,从而顺利进行高级数据处理,如预测、聚类等。此外,这些数据应能在不同插件间无缝传递。然而,现有的大多数 Agent 框架会将数据分析的中间结果转换为 Prompt 中的文本,或者先将它们保存为本地文件,然后需要时再读取。然而,这些做法容易出错和超过 Prompt 的字数限制。

3. 有状态执行:Agent 往往需要与用户进行多轮迭代交互,并根据用户输入,生成并执行代码。因此,这些代码的执行状态应在整个会话期间保留,直到会话结束。

4. 先推理后行动(ReAct):Agent 应该拥有 ReAct 的能力,即先观察推理后再采取行动,这在一些存在有不确定性的场景中非常有必要。例如,在上述样例中,由于数据库中的数据模式(schema)通常比较多样,因而 Agent 必须首先获取数据模式信息并了解哪些列是合适的(且与用户确认),然后才可以将相应的列名输入到异常检测算法中。

5. 生成任意代码:有时候,预定义的插件无法满足用户的请求,Agent 应能够生成代码以应对用户的临时需求。在上述示例中,Agent 需要生成代码来可视化检测到的异常,而这个过程是不借助于任何插件来实现的。

6. 融入领域知识:Agent 应提供一种系统性的方案来融入特定领域的知识。这将帮助 LLM 进行更好的规划和准确地调用工具,从而产生可靠的结果,尤其是在行业定制的场景中。

揭秘 TaskWeaver 的核心架构

图 2 展示了 TaskWeaver 的总体架构,包括规划器(Planner),代码解释器(Code Interpreter),以及记忆模块(Memory)。

规划器就像是系统的大脑,它有两个核心职责:1)制定计划,即把用户的需求拆分成子任务,将这些子任务逐个发送给代码解释器,并在整个计划执行过程中根据需要自我调整计划方案;2)回应用户,它会将代码解释器的反馈结果转换成用户容易理解的答案并发送给用户。

代码解释器主要由两个组件组成:代码生成器(Code Generator)会收到规划器发送的子任务,结合现有可用的插件以及领域特有的任务示例,来生成相应的代码块;代码执行器(Code Executor)则负责执行生成的代码,并在整个会话过程中保持执行状态。正因为此,复杂数据结构可以在内存中传递而无需通过 Prompt 或者文件系统。这就像在 Jupyter Notebook 中用 Python 编程,用户在单元格中输入代码片段,程序的内部状态会按顺序执行保留下来并且可被后续过程被引用。在实现上,每个会话中,代码执行器都会有一个独立的 Python 进程来执行代码,从而支持同时服务多用户。

记忆模块主要存储了整个系统运行过程中的有用信息,如执行结果等,可以被不同的模块写入和读取。短期记忆主要包括当前会话中用户和 TaskWeaver 之间的通信记录,以及各模块之间的通信记录。长期记忆则包括了用户可预先定制的领域知识,以及在交互过程中总结出的一些经验等等。

图 2. TaskWeaver 整体架构示意图

除了基本架构之外,TaskWeaver 还具有许多独特的设计。例如,会话压缩功能可以减小文本大小,从而允许更多的对话轮数;动态插件选择功能能够根据用户请求自动挑选合适的插件,从而允许集成更多的定制插件。此外,TaskWeaver 还支持经验保存功能,用户在使用过程中通过输入命令即可触发该功能,它将总结用户在当前会话中的经验教训,避免在下次会话中重复错误,实现真正的个性化。在安全性方面,TaskWeaver 也进行了精心设计,例如用户可以指定一个 Python 模块的白名单列表,如果生成的代码中引用了白名单之外的模块,将触发错误,从而降低安全风险。

TaskWeaver 的具体流程

图 3 向我们展示了 TaskWeaver 在完成前述样例任务的部分流程。

首先,规划器接收用户的输入,结合各模块功能描述和规划示例生成具体规划。该规划包含四个子任务,而其中第一个子任务是从数据库中提取数据并描述数据模式。

然后,代码生成器根据其能力描述和所有相关插件的定义生成一段代码。这段代码调用了 sql_pull_data 插件,将数据保存到 DataFrame 中,并提供数据模式的描述。

最后,生成的代码会被发送到代码执行器中执行,完成后的结果将被发送到规划器中以更新规划或者进行下一个子任务。图中执行结果显示 DataFrame 中有两个列,即日期和数值。规划器可以进一步与用户确认这些列是否正确,或者直接进行下一步的 anomaly_detection 插件的调用。

图 3. TaskWeaver 内部工作流

TaskWeaver 中如何注入领域知识?

在大模型应用中,整合特定领域知识的主要目的是提高 LLM 在行业定制中的泛化性能。TaskWeaver 提供了三种将领域知识注入模型的方法:

  • 使用插件进行定制:用户可以通过自定义插件的形式整合领域知识。插件可以有多种形式,如调用 API,从特定数据库中抓取数据,或运行特定的机器学习算法或模型等。插件定制相对直观,只需提供插件的基本信息(包括插件名称、功能描述、输入参数和返回值)以及 Python 实现。

  • 使用示例进行定制:TaskWeaver 还为用户提供了一个系统化的接口(以 YAML 格式)来配置示例,从而教导 LLM 如何响应用户请求。具体而言,示例可以分为两种类型,分别用于规划器中的规划制定和代码生成器中的代码编程。

  • 进行经验保存:TaskWeaver 支持用户将当前会话过程总结并存储为长期记忆。用户可以将专业领域知识作为对话内容对 TaskWeaver 进行 “教学”,随后保存对话为经验。在后续的使用过程中就可以通过动态加载经验,更好地完成专业领域问题。

如何使用  TaskWeaver?

TaskWeaver 的完整代码目前已在 GitHub 上开源。目前支持三种方案进行使用,分别是命令行启动,网页服务,以及以 Python 库的形式导入。在简单安装后,用户只需要配置几项关键参数,如 LLM API 地址、密钥和模型名称,即可轻松启动 TaskWeaver 服务。

图 4. 命令行启动界面

图 5. TaskWeaver 运行样例

TaskWeaver 是一款全新的 Agent 框架方案,其设计符合数据分析和行业定制场景的需要。通过将用户语言转成程序语言,「与数据对话」将不再是梦想,而是现实。




© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

来源:机器之心

相关新闻

下一代 RAG 技术来了!微软正式开源 GraphRAG:大模型行业将迎来新的升级?安远AI&北京大学:2024基础模型的负责任开源-超越开源闭源的二元对立:负责任开源的内涵、实践与方案报告传微软组建新团队开发更小、更便宜AI模型;Pika联手北大斯坦福开源文生图框架;传和硕独家拿下Ai Pin代工订单丨AIGC日报仅靠开源数据复刻出LLaMA3指令学习效果,在线迭代RLHF全流程解决方案来了GAITC智能传媒专题:新浪新闻携手产学专家共探媒体智能化之路;虽节能潜力巨大,但微软已停止水下数据中心实验项目....微软Florence-2官宣开源,一统视觉基础模型!华人团队联手打造携手全球儿童专注力权威专家“哈洛韦尔”创立,思欣跃打造闭环式数字化注意力解决方案最适合写代码的等宽字体Cascadia Code——三年来首次大版本更新:由微软开源、新增两款Nerd字体物流行业压力解决方案:灵活用工是最优选择微软正式开源专为Windows打造的sudo微软正式开源专为Windows打造的Sudo彭博推出数据扩充工具优化交易成本分析解决方案连续三年实现50%业务增长,云准医药如何打造单细胞与空间多组学联合分析方案?半数肿瘤患者存在营养不良!康爱医疗打造数字化肿瘤支持治疗与全程管理解决方案1000亿美元!微软和OpenAI又有大动作:欲联手打造AI超算微软蓝屏至今仍未完全恢复,官方给出重启 15 次奇葩解决方案!网友:下一步会建议我检查是否插好电源微软决定不为Linux和macOS开源WebView2组件,开发者:白等了四年还是用Electron抢滩医疗器械上游,已获千万级订单,银柯控股打造高性能医用材料全流程解决方案微软开抢年收入上亿美元的 Redis 饭碗?开源性能遥遥领先的 Garnet:无需修改,Redis 客户端可直接接入著名毒品研究专家与华人社区对话:加拿大毒品泛滥及危害现状及解决方案微软秒删堪比 GPT-4 的开源大模型!研发总部还被爆在北京?官方:我们只是忘了测试微软秒删堪比GPT-4的开源大模型!研发总部还被爆在北京?官方:我们只是忘了测试德国大陆集团子公司 Elektrobit 开源基于 Ubuntu 的 Linux 车载操作系统解决方案创业黑马携手华为云发布“中小企业服务大模型解决方案” 共促企业数智化升级
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。