Bendi新闻
>
中国大模型算力到底够不够?Scaling Law不是唯一增长曲线
中国大模型算力到底够不够?Scaling Law不是唯一增长曲线
6月前
摩尔定律的前提假设是,底层构建电路和芯片的时候一直采用 CMOS器件,就像用砖头盖楼或者搭积木,通过缩小晶体管尺寸来实现更高的集成度和更好的性能。而我的研究中有一部分是探索,除了基于这种传统的CMOS工艺去做领域的定制加速,还可以做什么?如果我把底层器件换掉,比如说不是用CMOS器件,而是用一种存算一体或者模拟域的计算,是不是也可以?
这是第三条线,在摩尔定律的通用计算曲线和专用芯片性能曲线之后的一条线:新型器件与新型系统的协同设计。这一技术路线具有极高的能效潜力,起步的时间点可能稍微晚一些,但它的上升曲线是非常陡峭的。现在大家的目光都放在怎么把参数量堆上去,以实现更好的智能表现。而我们觉得,拿芯片层的摩尔定律去类比,模型层一定也会发生能力发展趋缓的问题。
腾讯科技:摩尔定律发展了几十年,我们才去想第二曲线,现在已经到了大模型要找第二、第三曲线的时候了吗?
腾讯科技:这条路像有资源和技术优势的OpenAI,一定会继续走下去吧?
英伟达(NVIDIA)在2019年收购了一家名为Mellanox Technologies的公司,后者是一家专注于高性能网络互联解决方案的供应商。收购Mellanox后,英伟达将其技术整合到了自己的产品线中,并在此基础上继续发展。其中包括NVLink,这是一种高速点对点数据传输技术,允许多个GPU或其他处理器之间进行快速直接的通信。
戴国浩:成本是落地时极为重要的因素。一个好的商业闭环是能够形成快速迭代的,并且把落地部署的效率和成本做到极致。
再加上底层芯片层,每一层都有很多优化的空间。比如说在平台层可以做调度优化,算子层可以写更好的算子,芯片层可以去做专用的芯片,算法层可以去做量化压缩,应用层又可以去做高效的应用设计。市面上很多公司在做具体某一层的优化,我们的重点是打通来做每一层,我们在每一层大概都能做到10倍,最后乘在一起会是1万倍成本下降的效果。
供需错配,算力市场的长期痛点
微信扫码关注该文公众号作者
来源:投资银行在线
相关新闻
大模型“暴力计算”时代,中国如何突围算力之困?中国生成式AI大会再揭晓15位嘉宾!大模型及应用技术大咖、算力专家和青年学者都来了为什么斯坦福大学生要抄袭中国大模型?美国顶级学府抄袭中国大模型?斯坦福紧急道歉!辉羲智能联合创始人领衔,联想博泰映驰大咖出席!中国智能汽车算力峰会首批嘉宾公布暴力计算时代,中国如何突围算力之困?大模型“国家队”发力了 ,中国移动发布“万百千”苹果发M4芯片,疯狂加了AI算力!对中国AI是好是坏?中国人口加速负增长,到底好事还是坏事?200 亿估值之后,中国大模型公司还能拿谁的钱?过去一年,中国车企“上车”大模型进展如何?咦?我从GPT-4o mini身上看到了两家中国大模型厂商的影子美国AI战争再升级,全力阻止中国获得算力!或将禁止中国企业用云计算训模型中国 VC 谈大模型:AGI 是「理想国」,还是「乌托邦」?中国移动回应资费套餐降级难:降档较复杂,需专人办理/传微软中国员工禁用 Android 手机/周鸿祎称大模型是风口不是泡沫特供中国的英伟达算力芯片,为什么卖不动?阿里林俊旸:大模型对很多人来说不够用,打造多模态Agent是关键 | 中国AIGC产业峰会On昂跑如何延续高增长?高管解读两大关键词:“服装”和“中国市场”八卦镇:中国版“巴塞罗那”!全城没有红绿灯!这么大的封印,地下到底镇着什么?OpenAI 联创 Ilya 离职内幕曝光;微软中国AI团队集体打包去美国?最新回应;华为回应大模型发布会演示造假 | AI周报BCG大咖谈 | 中国新能源汽车迎来增长期,消费者更看重哪些因素?趋势不可逆,潮玩成母婴店第二增长曲线?中国算力网络市场发展现状(2024)从 CLM 启航:中国大模型的探索与未来