南大周志华团队8年力作！「学件」系统解决机器学习复用难题，「模型融合」涌现科研新范式

---

  新智元报道  

HuggingFace是目前最火热的机器学习开源社区，汇集30万个不同的机器学习模型，有超过10万个应用可供用户访问和使用。

如果HuggingFace上这30万个模型，可以自由组合，共同完成新的学习任务，那会是一种什么样的画面？

其实在HuggingFace问世的2016年，南京大学周志华教授就提出了「学件」（Learnware）概念，描绘了这样的蓝图。

最近，南京大学周志华教授团队推出了一个这样的平台——北冥坞。

地址：https://bmwu.cloud/

论文地址：https://arxiv.org/abs/2401.14427

学件由机器学习模型和描述模型的规约构成，即「学件 = 模型 + 规约」。

学件的规约由「语义规约」和「统计规约」两部分组成：

• 语义规约通过文本对模型的类型及功能进行描述；
• 统计规约则通过各类机器学习技术，刻画模型所蕴含的统计信息。
  
  

机器学习在很多领域取得了巨大成功，但依然面临着诸多问题，例如需要大量的训练数据和高超的训练技巧、持续学习的困难、灾难性遗忘的风险以及数据隐私/所有权的泄漏等。

• 缺乏训练数据/技能：即使对于缺乏训练技能或数据量较小的普通用户，也可以获得强大的机器学习模型，因为用户可以从学件基座系统中获取性能优良的学件，并进一步调整或改进，而不是自己从头开始构建模型。
  
  
• 持续学习：随着在各种不同任务上训练得到的、性能优良的学件被不断提交，学件基座系统中的知识将不断丰富，进而自然地实现持续和终身学习。
  
  
• 灾难性遗忘：一旦学件被接收，它将永远被容纳在学件基座系统中，除非其各方面功能都可以被其他学件所替代。因此，学件基座系统中的旧知识总是会被保留，而不会被遗忘。
  
  
• 数据隐私/所有权：开发者只提交模型而不共享私有数据，因此数据隐私/所有权可以得到很好的保护。尽管无法完全排除对模型进行逆向工程的可能性，但与许多其它隐私保护方案相比，学件基座系统泄露隐私的风险非常小。
  
  

学件基座系统的构成

如下图所示，系统工作流程分为以下两个阶段：

• 提交阶段：开发者自发地提交各式各样的学件到学件基座系统，而系统会对这些学件进行质量检查和进一步的组织。
• 部署阶段：当用户提交任务需求后，学件基座系统会根据学件规约推荐对用户任务有帮助的学件并指导用户进行部署和复用。
  
  

规约世界

规约是学件基座系统的核心组件，串联了系统中关于学件的全部流程，包括学件上传、组织、查搜、部署与复用。

如下图所示，北冥坞的系统架构包含四个层次，从学件存储层至用户交互层，首次自底向上系统性地实现了学件范式。四个层次的具体功能如下：

• 学件存储层：管理以zip包格式存储的学件，并通过学件数据库提供相关信息的获取方式；
  
  
• 系统引擎层：囊括了学件范式中的所有流程，包括学件上传、检测、组织、查搜、部署和复用，并以learnware Python包的形式独立于后端和前端运行，为学件相关任务和科研探索提供了丰富的算法接口；
  
  
• 系统后端层：实现了北冥坞的工业级部署，提供了稳定的系统在线服务，并通过提供丰富的后端API支撑了前端和客户端的用户交互；
  
  
• 用户交互层：实现了基于网页的前端和基于命令行的客户端，为用户交互提供了丰富且便捷的方式。

不同的任务场景：