AI在用| 没错,树莓派5也能飙上Llama 3了!
机器之能报道
编辑: 山茶花
以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何使用。
因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能使用案例,来具体介绍AI使用方法,并激发大家思考。
我们也欢迎读者投稿亲自实践的创新型用例。
让 Llama3 向世界打个招呼,Llama3 很快响应:「HEY WORLD!How’s everyone doing today?」,仅用 11.6 秒。对于在树莓派这样的设备上运行大模型来说,这个响应速度已经很不错了,可以满足一些实时应用需求。
案例地址:
https://twitter.com/adamcohenhillel/status/1781490719997526210
如何在树莓派 5 上跑出 Llama 3 8B,@adamcohenhillel 并未给出详细步骤,但他推荐了在树莓派 5 上运行 Mistral 7B 的操作指南,可以如法炮制。
值得注意的是,由于移动设备、嵌入式系统或边缘计算设备的硬件资源有限,4bit 量化可以显著减少模型的大小和计算需求,使得在这些设备上运行大型模型成为可能。这位用户也使用了 4bit 量化推理 Llama3 8B。
以下就是如何在树莓派 5 上运行大语言模型 Mistral 7B 操作指南。
首先请确保你有一台树莓派 5,配备至少 8GB 内存,准备一个 32GB 的 SD 卡。接下来,我们需要给硬件安装操作系统。从官网下载 Raspberry Pi OS,运行后你会看到如下画面:
请选择设备 Raspberry Pi 5、选择最新操作系统镜像(推荐 64 位版本)、选择存储为插入的 SD 卡。点击「next」,系统问你是否要编辑设置,请点击「编辑设置」:
配置设定上,启用主机名并设置为 raspberrypi.local;设置一个你将记住的用户名和密码,稍后会用到;启用 「配置无线局域网」并添加你的 Wi-Fi 名称和密码;保存设置并继续,等待操作系统写入 SD 卡:
将 SD 卡插入树莓派,并连接电源。使用 SSH ( Secure Shell ) 协议远程连接并登录到树莓派设备:
ssh ssh <YOUR_USERNAME>@raspberrypi.local
好了,在树莓派上构建出适合运行大语言模型的环境后,接下来就该将大语言模型装进来啦!怎么装?作者提供了两个办法。
一个是用 Ollama 来运行大语言模型。Ollama 是一个开源工具,透过它提供简单的安装指令和命令行界面,在本地运行大语言模型会变得更加简单和快捷。
另一个就是用 llama.cpp 运行,它是一个用 C++ 编写的高效的推理工具,用于在 CPU 上运行 Meta AI 的 Llama。
先来看第一个办法。用 Ollama 运行大语言模型只需两步。
第一步:安装 Ollama,运行这个命令:
curl -fsSL https://ollama.com/install.sh | sh
这个命令会从 Ollama 的官网下载安装脚本并执行它,在树莓派上安装 Ollama。
第二步:下载并运行 Mistral 模型。使用命令 ollama run mistral 来下载并启动 Mistral 7B 模型。结束。
cd models
wgethttps://huggingface.co/TheBloke/Mistral-7B-v0.1-GGUF/resolve/main/mistral-7b-v0.1.Q4_K_S.gguf
第五步:回到代码库根目录并运行模型,现在可以让它回答「What’s up?」等问题啦。搞定,结束。
cd ..
./main -m models/mistral-7b-v0.1.Q4_K_S.gguf -p "Whatsup?" -n 400 -e
以后我们会通过新专栏带来更多 AIGC 案例演示,也欢迎大家留言评论并给出改进建议。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者