Bendi新闻
>
月之暗面 Kimi 智能助手实现 200 万字长上下文,火山引擎提供云服务支持

月之暗面 Kimi 智能助手实现 200 万字长上下文,火山引擎提供云服务支持

7月前

2023年10月,Kimi智能助手初次亮相便凭借20万汉字的无损上下文能力,帮助用户解锁很多新的使用场景,包括专业学术论文的翻译和理解、辅助分析法律问题、快速理解API开发文档等,获得用户口碑和业务量的双增长。

2024年3月,月之暗面(Moonshot AI)宣布Kimi在长上下文窗口技术上取得新突破,无损上下文长度提升了一个数量级到200万字。月之暗面相信,大模型无损上下文长度的数量级提升,会进一步帮助大家打开对AI应用场景的想象力,包括完整代码库的分析理解、可以自主帮人类完成多步骤复杂任务的智能体Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等。

过去要10000小时才能成为专家的领域,现在只需10 分钟,Kimi 就能接近任何一个新领域的初级专家水平。支持200万字超长无损,Kimi让用户更加轻松的快速学习新领域。比如,上传一份完整的近百万字中医诊疗手册,Kimi可以针对用户问题给出诊疗建议。

快速整理大量的资料也是不少用户在工作当中所遇到的挑战,以简历筛选为例,公司HR可以基于企业业务需求,通过Kimi精读500份简历,速找出有某个行业从业经历,同时从计算机类专业毕业的求职者,更加高效地筛选和识别合适的候选人。

从20万字到200万字,由于没有采用常规的渐进式提升路线,月之暗面团队遇到的技术难度也呈指数级增加。为了达到更好的长窗口无损压缩性能,研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发,不走“滑动窗口”、“降采样”等技术捷径,攻克了很多底层技术难点。
在产品研发和推广过程中,月之暗面与火山引擎展开深度合作,进行联合技术创新,共同推进大型语言模型在垂直领域和通用场景的应用落地。



1

超大规模多模态大模型

预训练快、稳、省
在大规模的训练过程中,GPU资源利用损耗、千卡任务故障概率指数增长、模型梯度爆炸、训练效果缺少及时反馈等困难常常影响模型的训练效率,导致数据和算力的价值难以充分发挥。
火山引擎机器学习平台沉淀形成全栈AI开发工程优化、任务故障自愈、实验可观测性等解决方案和最佳实践,为月之暗面提供了高效率、稳定、可观测的一站式AI算法开发和迭代服务。在Kimi的打磨和发布过程中,月之暗面基于火山引擎提供的超大规模AI训练和推理加速解决方案实现了数千卡单一大集群规模常态化训练,帮助团队快速完成大型语言模型的持续训练迭代、精调和推理。
大模型训练过程中自定义任务与开发机繁多,由于任务的启停时间不一致,不可避免会出现GPU碎片问题导致任务调度不上。火山引擎机器学习平台通过Binpack背包算法汇聚降低碎片,并使用调度器定期驱逐,大大提高GPU资源利用率,保障任务快速执行。同时,GPU弹性计算实例可灵活调度资源,随用随取,最高可以为月之暗面节省70%的算力成本
大模型训练是一个迭代的过程,需要进行海量实验。火山引擎机器学习平台支持交互式调试,集成了JupyterLab、TensorBoard、VSCode、实验管理工具等,帮助观测实验各类指标。同时,大规模分布式训练任务很可能会出现软硬件、网络等问题,火山引擎提供了一系列自动化故障自愈流程机制,如慢节点自动巡检、故障自动检测、故障注入演练等,帮助大幅减少故障对任务的影响。



2

数据飞轮加持模型训练,

实现全面降本增效
在与火山引擎的合作中,月之暗面团队应用了火山引擎数智平台VeDI旗下云原生大数据平台E-MapReduce和增长分析DataFinder两大产品,并结合数据飞轮方法论,在数据资产层面大大降低了模型预处理的成本,在业务应用层面则为Kimi的精准投放、高效拉新保驾护航。
火山引擎数据飞轮是企业数智化升级的新范式,其强调以数据消费为核心驱动力,使企业数据流充分融入业务流,实现数据资产和业务应用的飞轮效应。
大模型的训练以海量数据为基础,其训练过程本身可视为一种大规模的数据消费。在多模态模型数据预处理过程中,非结构化数据量级庞大、数据种类及格式多样、数据处理过程复杂,对集群的计算调度、存储吞吐都提出了非常大的挑战。
火山引擎通过E-MapReduce产品及相关解决方案,将Spark与Ray计算框架统一调度,共享集群资源,大大提升了数据清洗的复杂度和效率,实现了对海量数据的快速和规模化的处理,集群成本降低30%,并能应对突发任务需求,加速Kimi上线时间。
在业务层面,为了进一步推广Kimi应用,月之暗面需要在保障广告ROI健康水平的情况下快速拓展新客户,一方面促进Kimi DAU的快速攀升,同时兼顾新用户留存率,保障业务健康度。这一方面需要数据的支撑,同时也需要便捷高效的数据工具辅助业务决策。
结合火山引擎增长分析DataFinder的能力,月之暗面对产品用户路径优化进行了全链路优化,寻找转化卡点、流失高点,结合各节点数据快速发现问题、定位问题、解决问题,确保用户体验,提升整体留存。于此同时,借助DataFinder的广告投放渠道监测功能,月之暗面团队对广告投放效果进行了精准分析,进一步优化了推广素材和相关活动,确保拉新效率。

月之暗面应用DataFinder方案框架

未来,火山引擎与月之暗面将持续深化合作,共同攻克技术难题,进一步帮助用户加速AI进程。火山引擎也将不断提升自身技术实力和服务水平,携手伙伴共同为用户提供更加优质、智能的AI体验,助力 AI 应用的创新与发展。

更多内容,点击下方关注:

微信扫码关注该文公众号作者

来源:AI科技评论

相关新闻

一次性支持 200 万字无损上下文!Kimi智能助手玩了个大的——月之暗面「登月」最新进展!一口气读完甄嬛传剧本、大部头医书:月之暗面200万字上下文Kimi开启内测月之暗面Kimi正被大厂“围剿”:90后清华学霸带队“卷”长文本,不到一年估值破百亿早鸟报|京东支付与微信支付实现互联互通​;辛选官方向快手致歉;月之暗面回应Kimi推出付费方案...AI早知道|月之暗面回应Kimi推出付费方案;面壁智能推出多模态模型Stability CEO自己跑路:没董事会控制权;月之暗面Kimi火爆至宕机,已扩容5次;王小川怼李彦宏:活在幻觉中|AI周报“萝卜快跑”被曝是真人在屏幕前操作;阿里云宣布与月之暗面“联姻”;去哪儿宣布每周两天自选办公地 |AI 周报强力覆盖导购、本地生活,月之暗面推出多个“Kimi分身”,大模型应用元年加速到来?全球独角兽新增31家,月之暗面等8家人工智能企业入选丨2024Q1全球独角兽企业观察Kimi推出付费方案?月之暗面:小范围灰度测试;OpenAI回应ChatGPT声音像斯嘉丽丨AIGC日报月之暗面新一轮估值达 30 亿美元,腾讯入局,微信未来或与 kimi 合作争算力,争数据,争用户!零一万物、月之暗面再掀国产大模型资本战:年内亿元级融资已有20起月之暗面估值达到33亿美元意味着什么MiniMax、月之暗面、智谱AI为什么选择飞书?StabilityAI获超1亿美元投资并任命新CEO;月之暗面称没有开发海外产品计划;GPT-5将在一年半后发布丨AI情报局马斯克第12个孩子曝光:母亲是Neuralink女下属;月之暗面回应进军美国市场;北京预计2031年进入重度老龄化社会|邦早报月之暗面被曝进军美国,产品、人才筹备中!阿里腾讯捧出的 30 亿美元独角兽终于要出海了腾讯参投月之暗面;太平养老获10亿融资;地平线参投一机器人3000万美金丨投融资周报AI大牛杨红霞离职创业,曾为字节和阿里大模型研发主力;阿里披露对月之暗面投资详情:8亿美元购入约36%股权丨AIGC日报微软开发者大会发布50多项更新;阿里披露对月之暗面的投资详情;通义千问主力模型降价97%|AIGC周观察第四十四期为何8亿美元入股月之暗面?阿里巴巴这样回应月之暗面最新估值217亿+!创始人杨植麟最新演讲曝光消息称月之暗面新一轮估值已达30亿美元,投资方有二十余家;余承东:新车型对标远超迈巴赫...56家出版机构抵制京东618大促;微软近50项AI功能上新;小米SU7智驾在高速两次失灵;月之暗面最新估值达30亿美元丨邦早报
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。