Bendi新闻
>
讯飞星火V3.5整体接近GPT-4 Turbo!首个13B开源大模型发布,深度适配国产算力

讯飞星火V3.5整体接近GPT-4 Turbo!首个13B开源大模型发布,深度适配国产算力



  新智元报道  

编辑:编辑部
【新智元导读】首个基于全国产化算力平台「飞星一号」的大模型,正式开源!

1月26日,美国商务部长雷蒙多表示,拜登政府正在尽全力阻止中国获得训练AI模型所需的算力资源。
美国的云计算公司,都被要求确定是否有外国实体正在访问美国数据中心以训练AI模型。
雷蒙多表示:「我们不能让非国家主体、中国或我们不希望访问我们的云计算系统的人,来训练他们的模型。」
显然,在被算力卡脖子的当下,深度适配国产算力的开源大模型,意义格外重大。
就在1月30日,科大讯飞重磅发布首个全国产算力训练的全民开放大模型——讯飞星火V3.5。
实测结果显示,讯飞星火V3.5在七大核心能力上都获得了全面提升。甚至,在数学、语言理解和语音交互能力上还超越了GPT-4 Turbo。
而同时发布的星火语音大模型,也在首批的37个主流语种上,实现了对OpenAI Whisper V3的超越。
此外,科大讯飞还首次开源了深度适配国产算力,拥有130亿参数的iFlytekSpark-13B模型(星火开源-13B)。不仅场景应用效果领先,而且还对学术和企业研究完全免费。

昇思MindSpore开源社区:https://xihe.mindspore.cn/modelzoo/iflytek/introduce

启智社区:https://openi.pcl.ac.cn/iflytek/iFlytekSpark-13B

Gitee地址:https://gitee.com/iflytekopensource/iFlytekSpark-13B

首个「全栈国产化」开源模型来了

具体来说,此次开源不仅包括基础模型iFlytekSpark-13B-base、精调模型iFlytekSpark-13B-chat,还有微调工具iFlytekSpark-13B-Lora,以及人设定制工具iFlytekSpark-13B-Charater。
基于这些全栈自主创新的套件,企业和机构可以方便地训练自己的大模型了。
那么,基础模型和精调模型性能如何?
可以看到,在C-EVAL、MMLU、CMMLU、AGIEVAL、FinancelQ等多项榜单测试中,与同尺寸开源模型相比,iFlytekSpark-13B更胜一筹。
而针对典型的应用场景,iFlytekSpark-13B在文本生成上提升23%,在语言理解上提升13%,文本改写提升25%,行业问答提升50%,机器翻译提升17%,头脑风暴提升29%。
正是科大讯飞团队对学习辅助、语言理解等领域的深入研究和优化,大幅提升了模型实用性,使得处理复杂任务时更得心应手。
这种优化不仅提高了模型的理解能力和生成质量,还确保了其在面对多样化和专业化的应用场景时能够保持高效和准确。
这对于追求高性能、低成本的企业来说,无疑有着巨大的吸引力,同时为各行各业的企业提供了一种性价比高的解决方案。

深度适配国产算力

面对算力的紧缺,只有国产算力取得突破,才能为大模型行业的发展提供强有力的支撑。
为此,讯飞星火与昇腾强强联合,打造了全国产的通用智能新底座,和基于自主创新的算力平台。
2023年8月15日,「星火一体机」正式发布——不仅可以为大模型提供源源不断的算力,还能提供大模型的训练、推理、优化、部署等全流程能力。
紧接着,在2023年10月24日又发布了国内首个可以训练万亿浮点参数大模型的大规模算力平台「飞星一号」。
合作期间,科大讯飞发挥多年积累的算法优势,深度参与大模型底层算子库开发和优化、大模型算法迁移和超大规模集群智能化运维软件开发等工作。
而攻关团队也放弃了中秋等节日的休息,才加班加点地推出了「飞星一号」平台。
具体来说,「飞星一号」平台采用的是昇腾AI集群和大容量交换机构建无损ROCE组网,以及高空间的全闪和混闪并行文件系统。
模型通过昇思MindSpore AI框架的训练效率提升了40%,与昇腾AI硬件协同实现超强性能。
此外,训练策略针对昇腾算力进行了极致优化,充分展示了国产算力在追赶国际先进水平方面的决心和能力。
有了国产软硬件环境的深度优化,模型的训练效果也直接翻番。
如今星火开源-13B的发布,距离1024「讯飞星火认知大模型」V3.0的升级才刚刚过去三个月。

自主创新开源生态

而开源,则是为了推动人工智能和机器学习领域的协作,在全球范围内促进技术革新。
它可以让更多的做理论研究和学术探索的科研院所、企业和个人加入进来,以此增进学术合作,增进产业探索。
因为,只有当开源有更多的落地场景,才能更好地促进生态合作。
一直站在「开源派」阵列的图灵三巨头之一LeCun曾在AI Native大会上称,「我认为开放是必然之路。因为大模型将成为社会人人依赖的基础设施,所以必须是开放的」。
对于国内的大模型生态来说,亦是如此。
此前,科大讯飞开源的中文预训练模型,成为许多高校和企业打造创新应用的基石,推动了业界在语音和语言处理技术上的快速发展。
而现在,iFlytekSpark-13B的发布,成为中国在自主创新和科技自立自强道路上的重要里程碑。
针对算力安全问题,科大讯飞提出了一种全新的实践方案——「全栈国产化」开源。
自主开发的大模型和算力平台,不仅能促进国内科研人员和企业的创新,还可以推动相关领域科技进步,增强国家技术安全,加速AI技术的社会和经济应用。
为此,科大讯飞还在2023年7月正式成立了星火军团,负责助力客户大模型产品打造和应用落地,赋能千行百业。
未来,在全国产化算力平台的支撑下,星火认知大模型将进一步对标国际先进水平,而星火开源大模型,也将使国内开源生态更加欣欣向荣。

参考连接:

https://openi.pcl.ac.cn/iflytek/iFlytekSpark-13B

https://gitee.com/iflytekopensource/iFlytekSpark-13B

https://xihe.mindspore.cn/modelzoo/iflytek/introduce


微信扫码关注该文公众号作者

来源:新智元

相关新闻

讯飞星火V4.0发布:国产大模型真的很炸裂!首个中文原生DiT架构!腾讯混元文生图大模型全面开源,免费商用AI早知道|科大讯飞星火认知大模型 V3.5发布;Midjourney V6动漫微调模型上线为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新讯飞星火大模型 V3.5,春季上新!国产大模型落地为王!讯飞星火如何快人一步?小扎砸数百亿美元猛攻开源AGI!狂掷60万块H100,爆50倍GPT-4算力原阿里巴巴集团副总裁黄海清加盟上海AI大模型“国家队”;科大讯飞星火大模型4.0发布丨AIGC日报腾讯混元文生图大模型全面开源!Sora同架构,更懂中文,免费商用讯飞医疗递交IPO申请;Meta发开源大模型Code Llama 70B;马化腾称两年内不会有纯原生AI大应用丨AIGC大事日报百亿token免费用!国产平台一键拖拽定制大模型,多元算力极具性价比黄仁勋扔出的算力核弹​是堆叠吗?马斯克开源的大模型Grok才是全球最大吗?国产AI PC处理器来了!6nm制程,45TOPS算力,能跑百亿参数大模型全球最强大模型一夜易主,GPT-4时代终结!Claude 3提前狙击GPT-5,3秒读懂万字论文理解力接近人类|亮马桥小纪严选4家国产芯片领衔,商汤亿咖通在列!智能汽车算力峰会嘉宾阵容大更新,全面拆解算力变局北京算力基建实施方案重磅发布!重点支持采购自主可控GPU,要支撑万亿参数大模型训练晚讯|信达生物开挂了,4个重磅单抗销售大涨、减肥药赛道风起云涌,国产版产品新进展不断GPT-4无法造出生物武器!OpenAI最新实验证明:大模型杀伤力几乎为0争算力,争数据,争用户!零一万物、月之暗面再掀国产大模型资本战:年内亿元级融资已有20起开源仅 1 天就斩获近万星!超越 RAG、让大模型拥有超强记忆力的 Mem0 火了开源仅 1 天就斩获近万星!超越 RAG、让大模型拥有超强记忆力的 Mem0 火了!国产算力训练大模型的经验与教训国产算力和国产大模型,迎来双赢时刻A100算力加持!书生大模型实战营全面升级,趣味闯关等你来|Z Events
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。