Bendi新闻
>
0门槛免费商用!孟子3-13B大模型正式开源,万亿token数据训练

0门槛免费商用!孟子3-13B大模型正式开源,万亿token数据训练

7月前
白交 发自 凹非寺
量子位 | 公众号 QbitAI

澜舟科技官宣:孟子3-13B大模型正式开源!

这一主打高性价比的轻量化大模型,面向学术研究完全开放,并支持免费商用。

在MMLU、GSM8K、HUMAN-EVAL等各项基准测评估中,孟子3-13B都表现出了不错的性能。

尤其在参数量20B以内的轻量化大模型领域,在中英文语言能力方面尤为突出,数学和编程能力也位于前列。

以上结果基于5-shot。

据介绍,孟子3-13B大模型是基于Llama架构,数据集规模高达3T Tokens

语料精选自网页、百科、社交、媒体、新闻,以及高质量的开源数据集。通过在万亿tokens上进行多语言语料的继续训练,模型的中文能力突出并且兼顾多语言能力。

孟子3-13B大模型开源

只需两步,就能使用孟子3-13B大模型了。

首先进行环境配置。

pip install -r requirements.txt

然后快速开始。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Langboat/Mengzi3-13B-Base", use_fast=False, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Langboat/Mengzi3-13B-Base", device_map="auto", trust_remote_code=True)
inputs = tokenizer('指令:回答以下问题。输入:介绍一下孟子。输出:', return_tensors='pt')
if torch.cuda.is_available():
    inputs = inputs.to('cuda')
pred = model.generate(**inputs, max_new_tokens=512, repetition_penalty=1.01, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(pred[0], skip_special_tokens=True))

此外,他们还提供了一个样例代码,可用于基础模型进行单轮交互推理。

cd examples
python examples/base_streaming_gen.py --model model_path --tokenizer tokenizer_path

如果想要进行模型微调,他们也提供了相关文件和代码。

事实上,早在3月18日的澜舟大模型技术和产品发布会现场,就透露了孟子3-13B大模型的诸多细节。

当时他们表示,孟子3-13B大模型训练已经完成。

对于选择13B版本的原因,周明解释道:

首先,澜舟明确以服务ToB场景为主,ToC为辅。

实践发现,ToB场景使用频率最高的大模型参数量多为7B、13B、40B、100B,整体集中在10B-100B之间。

其次,在这个区间范围内,从ROI(投资回报率)角度来讲,既满足场景需求,又最具性价比。

因此,在很长一段时间内,澜舟的目标都是在10B-100B参数规模范围内,打造优质的行业大模型。

作为国内最早一批大模型创业团队,去年3月,澜舟就发布了孟子GPT V1(MChat)。

今年1月,孟子大模型GPT V2(含孟子大模型-标准、孟子大模型-轻量、孟子大模型-金融、孟子大模型-编码)对公众开放。

好了,感兴趣的朋友可戳下方链接体验一下。

GitHub链接:
https://github.com/Langboat/Mengzi3

HuggingFace:
https://huggingface.co/Langboat/Mengzi3-13B-Base

ModelScope:
https://www.modelscope.cn/models/langboat/Mengzi3-13B-Base

Wisemodel:
https://wisemodel.cn/models/Langboat/Mengzi3-13B-Base

【🔥 火热报名中】中国AIGC产业峰会

定档4月17日

峰会已经邀请到数位代表技术、产品、投资、用户等领域嘉宾,共论生成式AI产业最新变革趋势。

目前首批确认参会嘉宾包括:微软陶然昆仑万维方汉美图公司吴欣鸿联想创投宋春雨通义千问林俊旸逐际动力张力人大卢志武北大袁粒小冰公司徐元春金山办公姚冬FusionFund张璐通义大模型徐栋DCM曾振宇澜码科技周健得到快刀青衣实验电影人海辛等。了解更多

欢迎报名峰会 ⬇️

峰会将全程线上下同步直播,欢迎预约直播 ⬇️


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

来源:量子位

相关新闻

最强开源大模型Llama 3来了!4000亿参数狙击GPT-4,训练数据达Llama 2七倍史上首个100%开源大模型重磅登场!破纪录公开代码/权重/数据集/训练全过程,AMD都能训小扎宣布进军AGI!Meta正在训练Llama 3,目标是60万块H100!模型仍会开源苹果开源7B大模型,训练过程数据集一口气全给了,网友:开放得不像苹果北京算力基建实施方案重磅发布!重点支持采购自主可控GPU,要支撑万亿参数大模型训练别等OpenAI了,全球首个类Sora抢先开源!所有训练细节/模型权重全公开,成本仅1万美元苹果一次性开源了8个大模型! 包含模型权重、训练日志和设置,OpenELM全面开源4000万蛋白结构训练,西湖大学开发基于结构词表的蛋白质通用大模型,已开源上海AI lab开源LLaMAX,用3.5万小时的A100训练让大模型掌握上百种语言翻译AI早知道|腾讯混元文生图大模型开源训练代码;知网推出AI学术研究助手4.0Meta首发「变色龙」挑战GPT-4o,34B参数引领多模态革命!10万亿token训练刷新SOTA来自科技进步一等奖的肯定:腾讯破解万亿参数大模型训练难题GPT-4o mini实力霸榜,限时2个月微调不花钱!每天200万训练token免费薅阿里智能体“组装工厂”开源!0经验搞定上万Agent并发预计容纳 35 万颗 H100!训练 Llama 大模型的基础设施是如何搭建的OpenAI否认加入的AI搜索已是一片红海!Stack Overflow 数据用于 AI 训练再次引发争议!| 大模型一周大事全网独一份!AI大模型学习训练资源...(限时免费领)无需训练实现价值观实时动态对齐:上交开源价值观对齐方法,闭源与开源大模型均适用无需训练实现价值观实时动态对齐:上交开源价值观对齐方法OPO,闭源与开源大模型均适用北大计算机学院登国际AI顶刊!张铭教授团队160万数据训练生物活性基础模型,加速癌症药物研发只要千元级,人人可用百亿级多模态大模型!国产「AI模盒」秒级训练推理小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100红杉资本入局,马斯克的AI公司接近达成60亿美元融资;苹果发布基于开源训练和推理框架的语言模型OpenELM丨AIGC日报Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。