奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快
12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。
这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
(责任编辑:百科)
- ·[流言板]失准!希尔德全场三分7投0中,得到1助攻1抢断,无得分进账
- ·[流言板]沃西谈詹姆斯:你不能要求一个40岁的球员每晚都发挥出色
- ·小蜘蛛发威阿尔瓦雷斯共在欧冠首发12次,已经直接参与16球
- ·这Godv直播扫号扫到个17的粉丝号
- ·太TM快了!博主统计李学鹏生涯数据:俱乐部305场4球,国家队32场
- ·[流言板]晋级四强,妖刀发自拍:三连拍找不同,2024最后一天,胜利
- ·苹果三星谁能更胜一筹:iPhone 17Air、S25 Slim薄度细节曝光
- ·媒体人谈申花潜在新援米内罗:追踪半年,主教练在候选人一眼看中
- ·华为2025年第一款麒麟手机!畅享70X 1月3日预售
- ·还信他吗拉什福德3月长文独白:不能质疑我对曼联的承诺
- ·乐队主唱坠楼 五人被追责
- ·一直都有人针对欣诺,17粉丝出来贴个照片,打脸4粉
- ·还信他吗拉什福德3月长文独白:不能质疑我对曼联的承诺
- ·苏老板恭喜发财🎉苏牙的餐厅连锁店明年开到纽约,是第15家分店
- ·阿森纳vs摩纳哥:萨卡、马丁内利首发,热苏斯、厄德高出战
- ·iPhone SE 4领衔!苹果2025上半年新品爆发:5款大作已在路上
- ·有些17粉气得我上头,小伍是要走,真不是造谣,你们还不信这不信那的。你们看世界赛17视角了吗?
- ·哈兰德英超打进33粒客场进球,超过C罗的32粒
- ·挪超球队罗森博格有意中国球员侯永永,他们的报价被兰黑姆拒绝
- ·[流言板]克里斯蒂突破后对抗上篮不进,本场已经5投0中、三分4中0