Bendi新闻
>
参战万亿MoE模型!上海大模型独角兽出手,腾讯阿里米哈游参投

参战万亿MoE模型!上海大模型独角兽出手,腾讯阿里米哈游参投

2月前

abab 6.5系列模型会滚动更新到MiniMax旗下的产品中。
编辑 |  ZeR0
智东西4月17日消息,今日,上海多模态大模型独角兽MiniMax正式推出abab 6.5系列模型,包含abab 6.5和abab 6.5s两个模型。
MiniMax成立于2023年1月,是当前国内估值最高的大模型公司之一。今年3月,MiniMax完成阿里参投的新一轮融资,投后估值超过25亿美元。此前米哈游、腾讯均有投资MiniMax。
在MoE尚未成为行业共识时,MiniMax已经押注MoE路线,今年1月发布其首款基于MoE架构的abab 6,并在过去3个月潜心研发出性能更强的万亿参数MoE模型abab 6.5,在核心能力测试中接近GPT-4、Claude 3 Opus、Gemini 1.5 Pro等顶尖大语言模型。

标注星号的是MiniMax调用API测试得到的结果,其余分数来自对应的技术报告。

abab 6.5abab 6.5s采用相同的训练技术、数据,支持200k tokens上下文长度。abab 6.5s更高效,1秒能处理近3万字的文本。

MiniMax在200k tokens内进行了业界常用的“大海捞针”测试。在891次测试中,abab 6.5均能正确回答。

MiniMax团队称找到了越来越多加速实现Scaling Laws的途径,包括改进模型架构、重构数据pipeline、训练算法及并行训练策略优化等。今天发布的abab 6.5和abab 6.5s是其加速Scaling Laws过程的阶段性成果。

abab 6.5系列模型会滚动更新到MiniMax旗下的产品中,包括生产力产品海螺AI和MiniMax开放平台上。



2024年中国生成式AI大会预告




微信扫码关注该文公众号作者

来源:智东西

相关新闻

米哈游参战!《绝区零》官宣定档7月4日,社区考验下渡劫还是升天?腾讯参投月之暗面;太平养老获10亿融资;地平线参投一机器人3000万美金丨投融资周报财经早参丨上海:买这些家电可享受最高千元补贴;万达获600亿元投资;余承东发声!智界S7大规模交付;对俄和谈泽连斯基松口OpenAI推出在线商店GPT Store;百川智能发布角色大模型;王慧文参投老友AI公司|AIGC周观察第三十期18亿融资!谷歌前CEO参投的神秘公司揭开面纱,估值直逼独角兽AI编程创企获2.52亿美元融资!谷歌前CEO参投,距独角兽一步之遥百度VS清华系独角兽对决IPO!估值数百亿,小米腾讯比亚迪都投了AI大牛杨红霞离职创业,曾为字节和阿里大模型研发主力;阿里披露对月之暗面投资详情:8亿美元购入约36%股权丨AIGC日报苹果将在WWDC公布AI战略;曝智谱AI参投清华系AI创企;百度升级7款大模型应用丨AIGC大事日报财经早参 | 道指涨450点,苹果市值一夜大涨约1.1万亿元;河南大学大礼堂火灾提级调查;嫦娥“奔月” !挑战人类首次月背采样突发!680亿独角兽上市:张一鸣没买成、腾讯投了发布几小时,微软秒删媲美GPT-4开源大模型!竟因忘记投毒测试今日arXiv最热大模型论文:AI"参审",论文评审迎来"神助攻"?红杉参投上海医疗公司9亿元融资;极兔速递获中东财团投资;泽纳仕融资2亿美元丨投融资周报连大学生都送上战场!参战俄军超60万,退役俄军对俄罗斯威胁更大财经早参|AI巨头市值大涨1.4万亿元;张家港各类政务新媒体号正集中关停;日元对美元汇率跌破158;格力集团换帅完成工商变更智谱再投AI Infra清华系公司!已在大模型生态投资超13家企业阿里云欧阳欣:阿里云安全大模型正式投入使用比亚迪参投一苏州企业;上海一车企融资15亿;本周融资额上升234%|硬氪纪76亿!孙正义再出手,领投比尔·盖茨狂赞的自动驾驶独角兽1年狂吸4亿融资,LVMH、资生堂参投,国内重组胶原蛋白独角兽冲击IPO财经早参丨预制菜大消息!六部门发文;世预赛国足2比2被新加坡逼平;李想承认“误判了”;段永平捐赠价值1亿元证券给一高校「联想系」大模型公司「诺谛智能」完成近亿元Pre-A轮融资,武岳峰科创领投|早起看早期「联想系」大模型公司「诺谛智能」完成近亿元Pre-A轮融资,武岳峰科创领投|36氪首发
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。