Bendi新闻
>
国产黑马砸来百万算力福利,Llama 3微调快去冲!H800点击就送,1.99元玩转4090
国产黑马砸来百万算力福利,Llama 3微调快去冲!H800点击就送,1.99元玩转4090
6月前
新智元报道
新智元报道
【新智元导读】才短短一周,微调Llama 3变体已经井喷了!去哪里微调Llama 3?这家国产黑马早已上架了推理微调预训练教程,更夸张的是,低至5.99元/卡时的H800点击就送!
不仅好用还便宜
手把手教你部署和训练Llama 3
创建云主机
推理
前期准备
推理生成
PRETRAINED_MODEL_PATH="/root/notebook/common_data/Meta-Llama-3-8B" # huggingface or local model path
cd ColossalAI/examples/inference/
colossalai run --nproc_per_node 1 llama_generation.py -m $PRETRAINED_MODEL_PATH --max_length 80
colossalai run --nproc_per_node 2 llama_generation.py -m $PRETRAINED_MODEL_PATH --max_length 80 --tp_size 2
吞吐脚本
PRETRAINED_MODEL_PATH="/root/notebook/common_data/Meta-Llama-3-8B"
git pull # update example benchmark from branch feature/colossal-infer
cd ColossalAI/examples/inference/
python benchmark_llama3.py -m llama3-8b -b 32 -s 128 -o 256 -p $PRETRAINED_MODEL_PATH
微调与继续预训练
前期准备
cd /root/ColossalAI
BUILD_EXT=1 pip install .
mkdir /root/training_outputs
mkdir /root/training_outputs/checkpoints
mkdir /root/training_outputs/configs
mkdir /root/training_outputs/tensorboards
cd /root/ColossalAI/applications/Colossal-LLaMA/
cp hostfile.example hostfile
数据准备
{"source": "", "target": "Lionel Andrés Messi(Spanish pronunciation: [ljoˈnel anˈdɾes ˈmesi] (i); born 24 June 1987), also known as Leo Messi, is an Argentine professional footballer who plays as a forward for and captains both Major League Soccer club Inter Miami and the Argentina national team.", "category": "sports"}
{"source": "猜谜语:一身卷卷细毛,吃的青青野草,过了数九寒冬,无私献出白毛。(打一动物)", "target": "白羊", "category": "riddle"}
python prepare_pretrain_dataset.py \
--data_input_dirs "Directory that contains one or more JSONL file(s)>" \
--tokenizer_dir "Tokenizer directory" \
--data_output_dirs "Spliced tokenized output" \
--max_length 8192 \
--num_spliced_dataset_bins 10
{"messages": [{"from": "human", "content": "What are the three primary colors?"}, {"from": "assistant", "content": "The three primary colors are red, blue, and yellow."}]}
{"messages": [{"from": "human", "content": "解释个人电脑和服务器之间的区别。"}, {"from": "assistant", "content": "个人电脑和服务器是两种不同类型的计算机系统,它们的主要区别在于用途、硬件配置和性能。个人电脑,顾名思义,是为个人使用而设计的计算机。它们通常用于日常的工作、娱乐和学习,可以运行各种各样的应用程序和游戏。个人电脑的硬件配置一般是按照标准配置来设计的,不过也可以根据个人需求进行定制。而服务器是为了满足大量用户的需求而设计的计算机系统,它们通常用于为用户提供各种网络服务,如网站、电子邮件和文件传输等。服务器通常需要高性能的硬件配置,并且可以承受高负载和长时间的运行。由于服务器需要支持大量用户的访问,它们通常配备多核处理器、大容量内存和大容量硬盘驱动器,以提高系统的运行速度和稳定性。总之,个人电脑和服务器之间的主要区别在于它们的用途、硬件配置和性能。个人电脑用于个人使用,而服务器用于支持大量用户的访问。服务器的硬件配置通常比个人电脑更高,以保证系统的性能和稳定性。"}]}
python prepare_sft_dataset.py \
--data_input_dirs "Directory that contains one or more JSONL file(s)>" \
--tokenizer_dir "Tokenizer directory" \
--data_output_dirs "Spliced tokenized output" \
--max_length 8192 \
--num_spliced_dataset_bins 10 \
--llama_version 3
训练脚本
cp train.example.sh train.sh
#更新训练脚本
PROJECT_NAME="LLaMA-3-8B-cpt"
PARENT_SAVE_DIR="/root/training_outputs/checkpoints/" # Path to a folder to save checkpoints
PARENT_TENSORBOARD_DIR="/root/training_outputs/tensorboards/" # Path to a folder to save logs
PARENT_CONFIG_FILE="/root/training_outputs/configs/" # Path to a folder to save training config logs
PRETRAINED_MODEL_PATH="/root/notebook/common_data/Meta-Llama-3-8B" # huggingface or local model path
# 以预置已处理数据集为例
declare -a dataset=(
/root/notebook/common_data/tokenized-cpt-data/arrow/part-00000
/root/notebook/common_data/tokenized-cpt-data/arrow/part-00001
/root/notebook/common_data/tokenized-cpt-data/arrow/part-00002
)
TIMESTAMP=$(date +%Y-%m-%d-%H-%M-%S)
FULL_PROJECT_NAME="${PROJECT_NAME}-${TIMESTAMP}"
SAVE_DIR="${PARENT_SAVE_DIR}${FULL_PROJECT_NAME}"
CONFIG_FILE="${PARENT_CONFIG_FILE}${FULL_PROJECT_NAME}.json"
colossalai run --nproc_per_node 8 --hostfile hostfile --master_port 31312 train.py \
--pretrained $PRETRAINED_MODEL_PATH \
--dataset ${dataset[@]} \
--plugin "zero2" \
--save_interval 400 \
--save_dir $SAVE_DIR \
--tensorboard_dir $TENSORBOARD_DIR \
--config_file $CONFIG_FILE \
--num_epochs 1 \
--micro_batch_size 2 \
--lr 1e-4 \
--mixed_precision "bf16" \
--grad_clip 1.0 \
--weight_decay 0.01 \
--warmup_steps 100 \
--use_grad_checkpoint \
--use_flash_attn \
git clone https://github.com/hpcaitech/ColossalAI
cd ColossalAI/examples/language/llama
BUILD_EXT=1 pip install -U git+https://github.com/hpcaitech/ColossalAI
pip install -r requirements.txt
export PYTHONPATH=$(realpath ..)
colossalai run --nproc_per_node 8 --hostfile HOSTFILE benchmark.py -c Meta-Llama-3-70B -x -g -p 3d --tp 4 --pp 4 --zero 1 -l 8192 --mbs 2 -b 128 --custom-ckpt
欢度五一,百万福利大放送!羊毛速薅
注册即送:新账户注册即送50元代金券,便捷试用多种AI算力。 企业认证:完成企业认证的账户可额外获得1000元代金券,可稳定测试多机H800等稀缺资源。 在线评价:用户在社交媒体和专业论坛(如知乎、小红书、微博、CSDN等)上分享使用体验,有效分享一次可得100元代金券。每月最佳分享可额外再获500元代金券(根据点赞、评论等真实活跃度;每个账号最多每月各计一次;发布24小时后请找小客服核对验证) 加入用户群:不定时发放特价资源、代金券等优惠活动。
微信扫码关注该文公众号作者
来源:新智元
相关新闻
国产AI PC处理器来了!6nm制程,45TOPS算力,能跑百亿参数大模型“满屏中国风”!2小时300万次点击,这部国产游戏预告片刷屏,预售额已经破亿!专家:研发成本至少4亿元英伟达Mistral AI联袂出击!120亿小模型王者强势登场,碾压Llama 3单张4090可跑争算力,争数据,争用户!零一万物、月之暗面再掀国产大模型资本战:年内亿元级融资已有20起国产算力和国产大模型,迎来双赢时刻华为、比亚迪、宁德时代等均已布局!全球共振下,人形机器人商业奇点已来!一文读懂全产业链,国产替代和投资机会在哪?讯飞星火V3.5整体接近GPT-4 Turbo!首个13B开源大模型发布,深度适配国产算力文心一言用户达3亿!文心大模型4.0 Turbo发布,支持API,真GPT-4 Turbo国产来了!免费不限次!智谱清影一上线就被玩疯了,国产AI视频生成卷起来了4家国产芯片领衔,商汤亿咖通在列!智能汽车算力峰会嘉宾阵容大更新,全面拆解算力变局国产Sora来了!清华团队打造,背后公司已融资数亿元真要这么卷?某国产大模型定价下调90%,百万 tokens 只需 1 元!首个国产开源MoE大模型来了!性能媲美Llama 2-7B,计算量降低60%百亿token免费用!国产平台一键拖拽定制大模型,多元算力极具性价比中国版Sora震撼登场,原生16秒直出超清视频!国产黑马火了,世界模型签约多个大客户大模型盲测竞技场放榜!国产黑马冲进世界七强,中文并列第一国产算力训练大模型的经验与教训国产AI算力芯片厂商全景图国产开源Sora上新:全面支持国产AI算力,可用ReVideo视频编辑,北大-兔展团队出品国产AI算力产业分析只需将感知推理能力拆分,2B大模型就能战胜20B!国产新框架高效处理视觉任务国产AI应用再现黑马!千万人在用的秘密我参透了..国产AI搜索的黑马!没有广告,免费使用,科研狗:学术搜索太香了国产GPTs要来了!字节的AI“扣子”上线!小白也能玩儿!