Bendi新闻
>
吊打一切开源模型!DBRX真的有那么神奇吗?

吊打一切开源模型!DBRX真的有那么神奇吗?

作者苗正
邮箱[email protected]
自从Grok-1公开发布后,越来越多的人坐不住了。比如这家成立了11年的数据公司Databricks,他们就在Grok-1公开后的一个多礼拜,发布了自己的大模型DBRX。Databricks官方对DBRX的评价原话是“DBRX surpasses open source models across industry benchmarks.”那么翻译过来是DBRX在标准行业基准上,超越了所有开源模型,包括刚刚发布的Grok-1。这里稍微补充一下,所谓行业基准,指的是大模型的语言理解、编程、数学和逻辑这些常见的业务,那些让大模型整活的内容是不算在内的。
根据Databrick在Hugging face上传的模型来看,DBRX总参数量为1320亿,其中在处理任何输入时有360亿参数处于激活状态。同时,DBRX已经在1.2万亿个文本和代码数据tokens上进行了预训练。虽然参数量远不及Grok-1那3000多亿的参数,但是放在开源模型这个圈子里依然是大哥大级别。      
Databricks在Hugging face上这样写到,“相较于其他公开的MoE模型如Mixtral-8x7B和Grok-1,DBRX具有细粒度特性”那什么是所谓的“细粒度特性”呢?简单来说,就是把事物或任务分解得非常详细、具体,就像用放大镜去看一样,关注每一个微小的部分或细节。DBRX用的是混合专家(MoE)架构,它的细粒度主要表现在把这些专家变成了多个不同的小专家,每个专家处理更专业化的子任务,且可以根据输入灵活选择不同组合。因此,细粒度越高,代表分派任务的过程越细致,直白点说,它就能更精准地应对复杂情况,提高模型表现。   
从Databricks给出来的数据看,DBRX拥有16个专家并从中选择4个参与运算,而Mixtral-8x7B和Grok-1是各有8个专家,每次选择2个。Databricks在Hugging face上写到,这种设计提供了高达65倍的专家组合可能性,还有助于提升模型性能。
说到MoE就不得不提及MegaBlocks,这也是DBRX的立足之本。MegaBlocks是一个专为在GPU上高效训练MoE模型而设计的系统。说白了,MegaBlocks是一次对MoE计算的重构。为什么这么说呢,传统MoE有个大问题,那就是用户必须得取舍。此前的框架在处理MoE层动态路由时存在一定的局限性,这种局限性它来源于古早设计缺陷,毕竟过去没有像现在一样那么强大的GPU。因此这种局限性就迫使用户在牺牲模型质量或硬件效率之间做出权衡。等于说,用户必须选择要么丢弃计算中的部分输入token,要么浪费计算资源和内存用于填充以适应硬件要求。
MegaBlocks系统是将MoE层的计算表述为基于块稀疏操作的形式,并开发了新的块稀疏GPU内核,能够有效地应对MoE中存在的动态特性。这种方法确保不丢弃任何token,并能高效地映射到现代硬件加速器上,从而实现相对于使用最先进Tutel库训练的MoE模型高达40%的端到端训练速度提升,以及相较于使用高度优化的Megatron-LM框架训练的深度神经网络(DNNs)达到2.4倍的速度提升。
拼过拼图的朋友一定有这种经历:在拼图的过程中,会先找上面颜色比较丰富的或者有特殊图案的。因为这些拼图比那些上面只有单色的信息量要大得多。块稀疏操作也是如此,我们把信息丰富的拼图想象成非零值,单色的则是零值,进而只关注非零值,忽略零值。
这样做的好处是减少了不必要的计算量,因为不需要对明显没有信息的零值进行处理。对于机器学习中的大型模型,尤其是像MoE这样的复杂结构,其中像是专家网络这样的部分,可能只对输入数据的特定部分有响应,其余部分则保持“沉默”(输出为零)。块稀疏操作可以捕捉这种局部活跃、全局稀疏的特性,使得计算集中在真正产生影响的部分,极大地提高了计算效率。DBRX的核心技术便是如此。   
不过这还没完,刚才咱们说了,MegaBlocks是对MoE的重构,所以这个系统也包含了在GPU上执行块稀疏矩阵乘法而设计的高性能计算程序组件,也就是所谓的“高效率块稀疏矩阵乘法内核”。这些内核针对含有大量零值且这些零值以块状而非散乱方式分布的矩阵,实现了高效的乘法运算。内核专门处理块稀疏矩阵,这意味着它们仅对矩阵中非零(就是咱们刚才聊的有信息量的拼图)元素所在的“块”进行实际计算,而忽略由零值构成的大片空白区域。高效率块稀疏矩阵乘法内核可以说是是MegaBlocks系统的核心组成部分,它们利用块稀疏表示和针对性的算法优化,实现了对MoE模型训练过程中大规模稀疏矩阵乘法的有效处理,确保了在GPU上进行模型训练时的高效计算和资源利用。         
别看又是优化,又是针对的,可DBRX跟Grok-1一个“病”,普通计算机跑根本不动。在DBRX的标准配置中,需要300多G显存才能带得起来,相当于4块英伟达H100。我实在没那个家庭条件对其进行测试,抱一丝。即便是在第三方云上运行,它的硬件要求也非常高,谷歌云上有一个DBRX实例,使用的是完整的一颗英伟达H100。
另外提一嘴,严格意义上来说,所谓“开源”是指软件在开发与分发过程中,其中包括软件产品的源代码、训练数据等事物在内对公众完全开放。换句话说,DBRX并不是真正的开源。
实际上我们如果想完全理解DBRX,得先了解Darabricks。这个公司是做数据服务的,比如数据管理、清洗、分析等等。本来这些业务和现在以神经网络为主的人工智能是不沾边的,它是古典人工智能那套逻辑。但是23年11月的时候,Databricks发布了一个产品叫做Lakehouse,是一种结合了数据湖和数据仓库优势的数据管理平台,旨在提供一个统一的数据存储与分析环境,既能实现大规模、低成本的数据存储,又能支持高级分析、事务处理以及数据治理等传统数据仓库功能。
所谓数据湖是一种数据存储架构,能够容纳来自不同源头、格式各异的数据,包括结构化数据、半结构化数据、非结构化数据以及二进制数据。还能以原始或近似原始格式保存,无需预先进行复杂的结构化处理或转换。数据仓库则是一种专为支持决策分析而设计的集成化数据存储系统。从这个事的逻辑来讲,Lakehouse就是京东的仓库+配送一条龙服务。   
你在了解这么个大前提后回来看DBRX。Databricks只花费了两个月就开发出了这么个性能还算优异的大模型,它训练模型的基地就是Lakehouse,也能透过MegaBlocks系统的应用来反哺Lakehouse。   

点个在看,再走吧👀

微信扫码关注该文公众号作者

来源:硅星人Pro

相关新闻

真的存在好吃又不(那么)罪恶的零食吗?有的!而且可以按斤囤!首个开源世界模型!百万级上下文,长视频理解吊打GPT-4,UC伯克利华人一作一个没油了、一个没电了、还有二个推迟了,登月真的有那么难吗?黄仁勋扔出的算力核弹​是堆叠吗?马斯克开源的大模型Grok才是全球最大吗?深度|大模型真的在吞噬人类的一切数据吗?开源大模型,真的是“智商税”吗?Llama 3 超大杯有何惊喜?Meta 会一直开源吗?当初为何笃信元宇宙?扎克伯格新访谈回应一切马斯克发全球最大开源模型!3140亿参数的Grok真打脸OpenAI了?微软秒删堪比 GPT-4 的开源大模型!研发总部还被爆在北京?官方:我们只是忘了测试微软秒删堪比GPT-4的开源大模型!研发总部还被爆在北京?官方:我们只是忘了测试带房私 | 快来看看你要转租的房源适合他们吗?有帅哥在求租哟! (每日更新)温哥华春天来啦!满城尽是樱花开,樱花树上长满了大妈…哦不这次是大爷!这样真的好吗?体彩开出“55555”,奖池被清空!真的没有内幕吗?美国封锁开源AI!国产大模型还能卷多久?散步真的对血管有好处吗?专家提议,做好这5件事效果比运动更好!下一代 RAG 技术来了!微软正式开源 GraphRAG:大模型行业将迎来新的升级?“1秒消失的内衣”?真的太神奇了,穿内衣不再有“内衣印”!!!“会隐身的内衣”?真的太神奇了,穿内衣不再有“内衣印”!!!什么!?江西真的把高彩礼打趴下了!会全国推广吗直逼GPT-4开源模型大泄漏,AI社区炸锅!Mistral CEO自曝是旧模型,OpenAI再败一局?你会买吗?Costco“末日全家桶”开卖!里面有150份冻干食品!可吃一个月!保质期可长达25年.....帝国终有落幕时!美国彻底衰落,世界真的会变得更好吗?霸权的丧钟正在敲响......“国外一开源,国内就创新”!面对中美大模型差异,我们该突破还是继续模仿?曼城、格拉、爱丁堡、布里斯托租房真的贵吗?那是你没有选择转租房源!全英转租房源£175/周起....(1月19日更新)
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。