黄仁勋扔出的算力核弹是堆叠吗？马斯克开源的大模型Grok才是全球最大吗？
来源：制造界
作者：秀二
图源：截图
1/黄仁勋的算力核弹：GB200
北京时间3月19日凌晨，黄仁勋扔出了一个“算力核弹”，基于英伟达Blackwell架构的B200芯片。据介绍，Blackwell平台能够在万亿参数级的大型语言模型（LLM）上构建和运行实时生成式AI，而成本和能耗比前身低25倍。
黄仁勋现场展示Grace-Blackwell系统（两个Blackwell GPU、四个die与一个Grace Cpu连接在一起）。GB200将两个B200 Blackwell GPU与一个基于Arm的Grace CPU进行配对。新芯片拥有2080亿个晶体管，所有这些晶体管几乎同时访问与芯片连接的内存。将成为亚马逊、微软、谷歌这类全球最大数据中心运营商部署新电脑和其他产品的基础。
黄仁勋举例称，如果要训练一个1.8万亿参数量的GPT模型，需要8000张Hopper GPU，消耗15兆瓦的电力，连续跑上90天。但如果使用Blackwell GPU，只需要2000张，同样跑90天只要消耗四分之一的电力。
英伟达表示，基于Blackwell的处理器，如GB200，为人工智能公司提供了巨大的性能升级，其AI性能为每秒20千万亿次浮点运算，而H100为每秒4千万亿次浮点运算。该系统可以部署一个27万亿参数的模型。黄仁勋称，毫无疑问，微软Azure、AWS、谷歌云等一众科技巨头都是Blackwell架构的首批用户。
黄仁勋说，“三十年来，我们一直在追求加速计算，目标是实现深度学习和AI这方面的变革性突破。生成式AI是我们这个时代的决定性技术。Blackwell是推动这场新工业革命的引擎。通过与世界上最具活力的公司合作，我们将实现AI在各行各业的承诺。”
英伟达在公告通稿中列举了将采用Blackwell的一些组织，比如微软、亚马逊、谷歌、Meta、戴尔、OpenAI、甲骨文、马斯克领导的特斯拉和xAI。黄仁勋介绍了包括这些公司在内的更多合作伙伴。
黄仁勋在演讲中还官宣了一系列合作。其中提到，全球最大电动车公司比亚迪将采用英伟达下一代智能汽车芯片Thor，比亚迪同时将使用英伟达基础设施进行自动驾驶模型训练，以及英伟达Isaac来设计/模拟智能工厂机器人。
业内人士仔细剖析一下英伟达Blackwell架构的B200芯片，B200芯片并不是单一的GPU，而是通过互联和堆叠技术，将多个GPU集成在一起。黄仁勋说过，创新不仅仅是芯片，而是整个堆叠 ，就是这个道理。
2/华为最擅长的，就是联接和堆叠
华为最擅长的就是联接和堆叠、是华为，因为华为是通讯巨头，利用通讯领域的数据技术打通了芯片和芯片之间的通讯，华为早在6年前就开始在算力集群上发力。在2023年7月举行的昇腾人工智能产业高峰论坛上，华为宣布昇腾AI集群全面升级，集群规模从最初的4000卡集群扩展至16000卡，是业界首个万卡AI集群，拥有更快的训练速度和30天以上的稳定训练周期，十倍领先业界。
去年9月，华为推出全新架构的昇腾AI计算集群——Atlas 900 SuperCluster，可支持超万亿参数的大模型训练。新集群采用了全新的华为星河AI智算交换机CloudEngine XH16800，借助其高密的800GE端口能力，两层交换网络即可实现2250节点（等效于18000张卡）超大规模无收敛集群组网。
按照昇腾的指标，1000卡的算力约300P，千卡就能提升约30P，万卡就能提升约300P。
想象一下，18000张GPU卡高速互联在一起，是什么景象？这才是史诗级的超级AI计算机！
据了解，目前国产大模型有超过一半都是基于昇腾AI孵化出来的。
科大讯飞创始人刘庆峰摸着华为的算力底座，激动地说，讯飞的星火认知大模型全部用国产算力训练出来的，我们国产算力在战略环节上站住了！
3/全球最大，马斯克收获3.5万个星标
央视财经最新报道，马斯克的XAI公司亲自开发的大模型Grok，已于17日开源，不到三天就在托管网站（Github）收获超过35000个星标。不少人工智能行业内的企业都表达了高度关注，称将对Grok进行进一步的研究和开发。
据官网介绍，本次开源的Grok第一代产品Grok-1拥有3140亿参数，是迄今全球参数量最大的开源大语言模型。相比之下，Meta公司旗下的开源模型Llama 2参数规模为70亿到700亿，而OpenAI的GPT-3.5参数规模为1750亿。有分析认为，由于模型规模庞大，许多小型开发者实际上难以真正将Grok运行起来。业内人士估计，大约需要8张H100计算卡才能满足要求。
根据Grok-1遵循的开源协议，个人或企业可以自由使用、修改和发布软件，包括商业用途。因此有分析认为，Grok-1的开源也为许多AI初创公司提供了另一个选择。一些人工智能初创公司已经表示，将会基于Grok模型进行对话式搜索和推理的微调。
奥尔特曼日前接受美国知名播客Lex Friedman的专访，谈及与马斯克（Elon Musk）之间的法律纷争,奥尔特曼在对话表示，当年是马斯克选择分道扬镳，尤其他希望OpenAI被特斯拉收购，并让特斯拉完全控制OpenAI。
奥尔特曼还表示，“他认为OpenAI将会失败，他希望能够完全掌控并扭转局势。而我们则希望继续朝着现在OpenAI的方向前进。他还希望特斯拉能够开展AGI项目。在不同时期，他都想把OpenAI变成一家盈利公司，由他掌控，或者与特斯拉合并。但我们不想这么做，于是他决定离开，这其实挺好的。”
马斯克和奥尔特曼谁是谁非并不重要。重要的是胸怀和格局，真正推动人工智能发展造福人类。
联系我们：txm176（值班微信）广告及商务合作：电话18660411611投稿及采访约谈：邮箱[email protected]
版权声明：制造界除发布原创文章外，亦致力于优秀文章的交流分享。转载须注明文章来源和作者；申请转载授权请在文末或后台留言。版权所有，违者必究。
微信扫码关注该文公众号作者