Bendi新闻
>
AI在用| 没错,树莓派5也能飙上Llama 3了!

AI在用| 没错,树莓派5也能飙上Llama 3了!

机器之能报道

编辑: 山茶花

以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何使用。


因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能使用案例,来具体介绍AI使用方法,并激发大家思考。   


我们也欢迎读者投稿亲自实践的创新型用例。

4 月 18 日,Meta 发布了 Llama 3,号称「迄今最强的开源大模型」。根据 Meta 的说法,Llama 3 在多个关键基准测试中超越了业界领先的同类模型,在代码生成等任务上实现了全面领先。该模型能够进行复杂的推理,更加遵循指令,能够可视化想法并解决许多微妙的问题。
开源 Llama 3 系列模型包括 8B(80 亿参数)和 70B(700 亿参数)两种参数规模的版本。作为开源界的「全村希望」,Llama 3 一经发布就吸引不少网友参与「试驾」活动。今天,我们介绍其中一个令人印象深刻的应用 —— 在不到 100 美元的树莓派 5 上跑  Llama 3  8B!
树莓派系列是全球最为知名的袖珍型小巧却又性能强大的迷你电脑,5 代版本配置更强还有新定制的芯片。X 网友 @adamcohenhillel 发现, Llama3 8B 能在树莓派 5 以每秒 1.89 个 token 的速度运行,非常疯狂!支持 8K 上下文窗口。

让 Llama3 向世界打个招呼,Llama3 很快响应:「HEY WORLD!How’s everyone doing today?」,仅用 11.6 秒。对于在树莓派这样的设备上运行大模型来说,这个响应速度已经很不错了,可以满足一些实时应用需求。

  • 案例地址:

https://twitter.com/adamcohenhillel/status/1781490719997526210

如何在树莓派 5 上跑出 Llama 3  8B,@adamcohenhillel 并未给出详细步骤,但他推荐了在树莓派 5 上运行 Mistral 7B 的操作指南,可以如法炮制。

值得注意的是,由于移动设备、嵌入式系统或边缘计算设备的硬件资源有限,4bit 量化可以显著减少模型的大小和计算需求,使得在这些设备上运行大型模型成为可能。这位用户也使用了 4bit 量化推理 Llama3 8B。

以下就是如何在树莓派 5 上运行大语言模型 Mistral 7B 操作指南。

首先请确保你有一台树莓派 5,配备至少 8GB 内存,准备一个 32GB 的 SD 卡。接下来,我们需要给硬件安装操作系统。从官网下载 Raspberry Pi OS,运行后你会看到如下画面:

请选择设备 Raspberry Pi 5、选择最新操作系统镜像(推荐 64 位版本)、选择存储为插入的 SD 卡。点击「next」,系统问你是否要编辑设置,请点击「编辑设置」:

配置设定上,启用主机名并设置为 raspberrypi.local;设置一个你将记住的用户名和密码,稍后会用到;启用 配置无线局域网并添加你的 Wi-Fi 名称和密码;保存设置并继续,等待操作系统写入 SD 卡:

将 SD 卡插入树莓派,并连接电源。使用 SSH ( Secure Shell ) 协议远程连接并登录到树莓派设备:

ssh ssh <YOUR_USERNAME>@raspberrypi.local

好了,在树莓派上构建出适合运行大语言模型的环境后,接下来就该将大语言模型装进来啦!怎么装?作者提供了两个办法。

一个是用 Ollama 来运行大语言模型。Ollama 是一个开源工具,透过它提供简单的安装指令和命令行界面,在本地运行大语言模型会变得更加简单和快捷。

另一个就是用 llama.cpp 运行,它是一个用 C++ 编写的高效的推理工具,用于在 CPU 上运行 Meta AI 的 Llama。

先来看第一个办法。用 Ollama 运行大语言模型只需两步。

第一步:安装 Ollama,运行这个命令:

curl -fsSL https://ollama.com/install.sh | sh

这个命令会从 Ollama 的官网下载安装脚本并执行它,在树莓派上安装 Ollama。

第二步:下载并运行 Mistral 模型。使用命令 ollama run mistral 来下载并启动 Mistral 7B 模型。结束。

相比第一个办法,第二个办法 —— 使用 llama.cpp 来运行大语言模型——稍显复杂。

第一步:安装必要的软件包。打开命令行工具,输入以下命令更新软件包列表并安装一些必需的编程工具和库:

sudo apt update && sudo apt install git g++ wget build-essential

第二步:下载 llama.cpp。使用 Git 控制工具下载 llama.cpp 代码库,这个库是专门用来运行大型语言模型的。命令是:

git clone https://github.com/ggerganov/llama.cpp 
cd llama.cpp

从 GitHub 上克隆代码到本地并切换到下载的目录。

第三步:编译 llama.cpp。

输入 make -j  让 make 工具自动将源代码转换为可执行程序

第四步:找到并下载 Mistral 7B 模型。命令是:

cd models 

wgethttps://huggingface.co/TheBloke/Mistral-7B-v0.1-GGUF/resolve/main/mistral-7b-v0.1.Q4_K_S.gguf

第五步:回到代码库根目录并运行模型,现在可以让它回答「What’s up?」等问题啦。搞定,结束。

cd ..

./main -m models/mistral-7b-v0.1.Q4_K_S.gguf -p "Whatsup?" -n 400 -e

以后我们会通过新专栏带来更多 AIGC 案例演示,也欢迎大家留言评论并给出改进建议。




© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]


微信扫码关注该文公众号作者

来源:机器之能

相关新闻

AI在用 | 穿越了!3款AI工具让梵高、莫扎特们「活」在当下Meta智能眼镜用上多模态Llama 3!国内AR眼镜机会来了有种父母表面摆烂, 其实是把力气用在了刀刃上!这样的父母最厉害!有一种父母,表面摆烂,其实是把力气用在了刀刃上!这样的父母最厉害!AI 在用 | 5分钟搞定宫崎骏风格治愈动画,涨粉涨麻了上线5天捞金13亿!没听过《幻兽帕鲁》就OUT了!却被批用了AI!卷起来了!用好这3个常用MR分析数据库,0实验0病例也能发一区!(送免费资料)诈骗上千万美元!5华人涉嫌用盗版苹果产品假冒正版苹果产品退货骗钱!他们做的「太逼真了」......苹果开源大模型OpenELM来了,或将用在下一代iPhone上;红杉入局,传马斯克AI公司将获60亿美元投资丨AI周报国产AI应用再现黑马!千万人在用的秘密我参透了..5天不换抹布,比马桶脏100倍!认准这种,3秒像换了新碗筷,太好用了!AI 在用 | 有了这个超级提示和Claude 3,不听播客也能搞定节目内容“再跌就是空头陷阱!”午后加速下杀,港股跌超5%,上证跌2%,创业板跌3%!AH溢价指数创新高!底在哪里?炸裂!先进的创作者已经在用飞书AI写小红书笔记了!OpenAI大招要来了!AI语音助手狙击谷歌苹果,官宣下周二上新,GPT-5年前见Llama 3 上线4天,井喷1000多个变种!中文版也有了!Groq上推理速度800token每秒Coles摊上事了!遭澳男视频怒骂!称用自助结账就是在给Coles打工!网友怒赞!疯了!纽约史丹顿岛这3所游民所已偷偷开放了,全在华裔聚居区!未来更多在岛上设立..反建86街游民所已超1周!约300民众仍“动态清零”四个字用在解决就业问题上,可见形势严峻,政府要动真格了!Llama 3加持,用户实测Meta AI还是弱爆了!小扎弯道超车的策略竟是「免费+不限量」?昨夜霸屏,股价飙升!小米汽车F码在二手平台最高涨至5万元!小米内部人士:昨晚要的都来不及了!港股暴涨!进入技术性牛市!5天涨超80%!股价创3个月新高,商汤AI大模型瞩目!中概股跑赢大盘,市场回暖了?Code Llama 70B霸榜3连发,练习5个月击败GPT-4!小扎LeCun亲自官宣上新终于看不下去了?州长纽森宣布在这城安装5千个高科技摄像头,用来打击犯罪!
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。