Bendi新闻
>
MoE架构,全量上线,MiniMax的abab6跨过玫瑰三段论了吗?

MoE架构,全量上线,MiniMax的abab6跨过玫瑰三段论了吗?

10月前

好像这年份从2023跨到2024之后,大模型的追随标杆也纷纷从GPT-3.5变成了GPT-4。GLM-4拿出了到目前为止最接近GPT-4的表现,然后又冒出了个新的竞争者。
——MiniMax新的大语言模型abab6。
“沉默寡言”的MiniMax前段时间难得发声。副总裁魏伟在12月末透露MiniMax将会发布一个对标GPT-4的大模型。而在经过了半个月的部分客户的内测和反馈后,全新的大语言模型abab6终于全量发布。性能上弱于GPT-4,但有些能力已经大幅超过 GPT-3.5。
MiniMax展示了abab6在三个复杂任务测试基准上的表现。
IFEval:这个评测主要测试模型遵守用户指令的能力。我们会问模型一些带有约束条件的问题,例如“以XX为标题,列出三个具体对方法,每个方法的描述不超过两句话”,然后统计有多少回答严格满足了约束条件。
MT-Bench:这个评测衡量模型的英文综合能力。我们会问模型多个类别的问题,包括角色扮演、写作、信息提取、推理、数学、代码、知识问答。我们会用另一个大模型(GPT-4)对模型的回答打分,并统计平均分。
AlignBench:该评测反映了模型的中文综合能力测试,测试形式与 MT-Bench 类似。
结果如下。看上去离GPT-4还有距离,但有些能力已经超过 GPT-3.5和Claude 2.1不少:

图源:MiniMax
这个成绩单里最陌生的就是Mistral,但abab6有趣的地方也在这里——它用上了最近很火的MoE架构,而MoE正是Mistral不久前带火的。
简单来说,MoE (Mixture of Experts 混合专家模型)架构会把模型参数划分为多组“专家”,每次推理时只有一部分专家参与计算。这种架构可以让模型在小参数的情况下把计算变得更精细,然后拥有大参数才有的处理复杂任务的能力,同时模型在单位时间内能够训练足够多的数据,计算效率也可以得到大幅提升。
一个月前,法国 AI 初创公司Mistral AI发布了首个开源MoE大模型Mixtral 8x7B——一个只有87GB的,8个7B模型的组合——清理下内存就能下载到自己电脑上,性能上直接击倒了700亿参数的Llama 2。之前Dylan Patel爆料的GPT-4模型架构里,16个1110亿参数组成的MoE是最重大的信息之一。
现在abab6也采用了MoE架构。并且为了训练 abab6,MiniMax自研了高效的MoE训练和推理框架,并且发明了一些 MoE 模型的训练技巧。到目前为止,abab6是国内第一个千亿参数量以上的基于MoE架构的大语言模型。
既然是概念如此新鲜的大模型,那我们不如自己上手浅测一下,当然,都2024年了,简单的问题就不问了。
咱看看给外国人做的中文八级考试 ,abab6行不行:
中国有俩体育项目根本不用看:一个是乒乓球,一个是足球。
前者是谁也赢不了。
后者是谁也赢不了。
提问:分别解释两句话的意思。
中文语义理解上,abab6的能力无懈可击,甚至能读懂幽默:

图源:硅星人
英文能力上,MiniMax自己展示了一个例子——用“ABAB6”作为句首写一首英文藏头诗,主旨是MiniMax的ABAB6文本大模型。那我们取个巧,看看同样的问题,MiniMax换一个提问对象会给出什么答案:

图源:硅星人
写的没问题,问题在于,这跟MiniMax自己展示的答案也太像了。

图源:硅星人
然后我刻意离开了这个问题一会儿,聊了些别的话题之后,再一次回到这个问题。结果让人失望,abab6给出了一首几乎一样的藏头诗。这个问题在我把题目里的“ABAB6”换成“LLAMA”,“MiniMax”换成“Meta”之后仍然没有变化。
它好像有一个固定答案,并且从“LLAMA”的案例来看,这个答案也没有写“ABAB6”时候那么好。而在GPT-3.5和GPT-4里,没有这种情况。

图源:硅星人
同样的问题出现在MiniMax自己展示的另一道题上:
为我创造一款虚构的桌游,这款游戏的主题围绕着上海展开,游戏中需包括上海市的主要旅游景点、历史文化以及独特美食。请将回答格式化为一个清晰的游戏规则说明书,其中每个游戏组件的描述必须用有序列表来组织。
对于这个问题,abab6无法像演示的那样顺畅的做出完整回答:

图源:硅星人

图源:硅星人
前面说abab6的语义理解能力没问题,那最后我们试试它逻辑推理的能力。
有一个经典的逻辑题叫“玫瑰三段论”:
所有玫瑰都是花。
有些花很快就凋谢。
所以有些玫瑰很快就凋谢。
看着每一句话都对,但仔细想想这个推理逻辑是错的。但对于大模型来说这足够有迷惑性了。不过“玫瑰三段论”太有名,为了防止这道原题已经进入钻进大模型语料的可能性,我们把题包装一下:
所有的苹果都是水果。
有的水果是红色的。
所以有些苹果是红色的。
这个三段论对吗?这次比较对象是abab6,和它的对标对象GPT-4。GPT-4一开始被迷惑住了,但它在一次提醒之后理清了思路:

图源:硅星人

图源:硅星人
abab6的答案让人惊喜,它一次就给出了正确的答案:

图源:硅星人
但随着对话继续,abab6在逻辑上出现了点问题:

图源:硅星人
但这样的理解和推理能力已经非常不错。
现在abab6已经上线MiniMax的开放平台,开放平台上线半年多的时间里,MiniMax 陆续服务了近千家客户,包括金山办公、小红书、腾讯、小米和阅文在内的多家头部互联网公司,MiniMax 开放平台平均单日的 token 处理量也已经达到了数百亿。
目前大部分大语言模型开源和学术工作都没有使用 MoE 架构。MoE路线下的MiniMax大模型会在2024年取得什么样的进展,abab6只是开始。

*参考资料:

https://mp.weixin.qq.com/s/2aFhRUu_cg4QFdqgX1A7Jg


欢迎加入这个星球,见证硅基时代发展↓

点个在看,再走吧👀

微信扫码关注该文公众号作者

来源:硅星人Pro

相关新闻

离开大厂去国企,他们过上想要的生活了吗?「越长大,越难交到真心朋友?」是真的吗?看过他们的答案,我悟了……美国变天!拜登退选,川普稳了?中国留学生的日子还能好过吗?剑灵偷偷上线了怀旧服,油腻的师姐还能原地复活吗?架构师如何不错过大模型技术革命?一线实践都在这了|ArchSummit深圳 2024 议程上线抵制!被骂惨了的澳洲内衣品牌!只因为用跨性别模特展示女性内衣…网友:我们不都是人吗?你吃过了吗?湾区5家异国风餐厅 入选米其林指南美国执法人员突击搜查,福耀真的很危险了吗?真正的问题是这个“她一出场我就恋爱了”,刘亦菲新剧热搜刷屏!这家公司又赢麻了?《玫瑰的故事》背后又有哪些公司布局?准备在机场开始过日子了吗?大语言模型加持,是智能运维架构的未来吗?520,你收到大A的爱了吗?万万没想到!这只“520概念股”直接涨停!股民:以为只是玩笑话,居然真有!你年收入过10w了吗?洛杉矶房租高涨,成全美生活压力最大地区每天一则英语笑话:劫匪抢指职员问,看到我抢钱了吗?职员的回答你想不到!聊一聊:你抢到回程的票了吗?聊一聊:你抢到五一出行的票了吗?9块9的咖啡新鄙视链,拴住“消费降级”的中产了吗?今年的performance review,你拿到满意的rating了吗?一线经理为你揭秘业绩考核机制「 云集 | 职挂云帆 」聊一聊:你抢到回家的票了吗?联合航空大规模削减中国航班,你抢到了今年往返家的票了吗?太强了!6500亿“迪王”飙升8%,带动汽车产业链集体拉升!又有医药公司闪崩大跌48%,创新药的鬼故事结束了吗?那些跟原生家庭断绝关系的人,后悔了吗?加州| 四个城市入选“美国宜居100中小城”!你居住的城市上榜了吗?认真的吗?$1买到了北加州市中心空置大楼?
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。