Bendi新闻
>
Karpathy最新四小时视频教程:从零复现GPT-2,通宵运行即搞定
Karpathy最新四小时视频教程:从零复现GPT-2,通宵运行即搞定
5月前
这是Karpathy「Neural Networks:zero to hero」系列视频的最新内容。
首先构建 GPT-2 网络。
然后对其进行优化,以便快速训练。
然后通过参考 GPT-2 和 GPT-3 论文来设置训练运行优化和超参数。
然后进行模型评估。
然后祈祷好运,并去睡觉。
第二天早上,查看结果并享受有趣的模型生成。通宵运行的结果甚至非常接近 GPT-3(124M)模型。
该视频以「Zero To Hero」系列视频为基础,有些地方参考了以往视频。你可以根据该视频构建 nanoGPT 存储库,到最后大约有 90% 相似。
00:13:47 第 1 部分:实现 GPT-2 nn.Module 00:28:08 加载 huggingface/GPT-2 参数 00:31:00 实现前向传递以获取 logits 00:33:31 采样初始化、前缀 token、tokenization 00:37:02 采样循环 00:41:47 采样、自动检测设备 00:45:50 让我们训练:数据批次 (B,T) → logits (B,T,C) 00:52:53 交叉熵损失 00:56:42 优化循环:过度拟合单个批次
01:22:18 第 2 部分:让我们加快速度。GPU、混合精度、1000 毫秒 01:28:14 Tensor Cores、代码计时、TF32 精度、333 毫秒 01:39:38 float16、梯度缩放器、bfloat16、300 毫秒 01:48:15 torch.compile、Python 开销、内核融合、130 毫秒 02:00:18 flash attention 技术、96 毫秒 02:06:54 nice/ugly 数。词汇量 50257 → 50304,93 毫秒
02:14:55 第 3 部分:超参数、AdamW、梯度裁剪 02:21:06 学习率调度器:预热 + 余弦衰减 02:26:21 批大小调度、权重衰减、FusedAdamW、90 毫秒 02:34:09 梯度累积 02:46:52 分布式数据并行 (DDP) 03:10:21 GPT-2、GPT-3、FineWeb (EDU) 中使用的数据集 03:23:10 验证数据拆分、验证损失、采样恢复 03:28:23 评估:HellaSwag,开始运行
03:43:05 第 4 部分:早上出结果!GPT-2、GPT-3 复现成功 03:56:21 向 llm.c 致敬,原始 C/CUDA 中等效但速度更快的代码
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者
来源:机器之心
相关新闻
Karpathy新教程爆火,网友抢着送他H100:从头复现GPT-2训练从零开始,用英伟达T4、A10训练小型文生视频模型,几小时搞定Karpathy又整活儿了!一天训练出GPT-2、成本还骤降100倍,网友:dream老黄把价格再打下来2分钟搞定英国电子签!BRP卡将成历史!移民局手把手教你申请eVisa,最新视频发布!2分钟搞定英国电子签!移民局手把手教你申请eVisa,最新视频发布!BRP卡将成历史!Karpathy称赞,从零实现LLaMa3项目爆火,半天1.5k starApple多模态最新工作4M-21:搞定21种模态!刷新多个SOTA!苹果AI战略曝光:简单指令iPhone搞定,复杂任务云端运行1个小时在家搞定染发!梳个头就能get新发色~第2瓶半价!GPT-4o干掉初创全网实测,马斯克Karpathy等大佬纷表不服:OpenAI不过如此大神Karpathy:我给大模型「SQL注入」攻击,简直不要太轻松小模型狂飙!6家巨头争相发布小模型,Andrej Karpathy:大语言模型的尺寸竞争正在倒退...为什么AI数不清Strawberry里有几个 r?Karpathy:我用表情包给你解释一下Andrej Karpathy:计算的本质正在变化,数字实体和物理实体自动化刚开始1小时搞定5000字文献综述?!学会用AI后,0篇SCI的我打开了科研的大门……拯救租房党! 3小时搞定搬家, 懒人大解放!搞定视频任务泛化,VLM 还有机会吗?20小时搞定SCI真的假的?是真的!用对AI,轻松提速10倍!一步搞定:详解Linux磁盘分区扩容方法20小时搞定一篇综述!中科院博士强推的SCI速写套路,3.72万人都在学~CVPR 2024 | 面部+肢体动画,一个框架搞定从音频生成数字人表情与动作英伟达Jim Fan演讲,Andrej Karpathy最新博文,苹果Vision Pro测评OpenAI联合创始人Andrej Karpathy:以自动驾驶为例,谈谈AGI2分钟搞定英国电子签!明年起BRP卡将作废,快申请!入境英国已开始实施eVisa!