找回密码
 立即注册
  • QQ空间
  • 回复
  • 收藏
返回列表 发新帖

一个记录Apple Silicon LLM performance的帖子

g04565929 1 小时前 显示全部楼层 阅读模式 打印 上一主题 下一主题
现在Apple Silicon推理LLM性能的测试少，信息不全，比较混乱，故而发个帖子专门记录
回复

使用道具 举报

大神点评（7）

g04565929 楼主 1 小时前 显示全部楼层
欢迎各位投稿
回复 支持 反对

使用道具 举报

g04565929 楼主 1 小时前 显示全部楼层
MLX-Llama-3.1-8B-Instruct-8bit-55 t/s-M4 Max
回复 支持 反对

使用道具 举报

g04565929 楼主 1 小时前 显示全部楼层
MLX-Qwen2.5-Coder-32B--q4: 24.6 t/s--q8: 13.7 t/s--bf16: 7.5 t/s-M4 Max
回复 支持 反对

使用道具 举报

g04565929 楼主 1 小时前 显示全部楼层
MLX-Mistral-7B-Instruct-v0.3-4bit-121 t/s-M2 Ultra
回复 支持 反对

使用道具 举报

admin 1 小时前 显示全部楼层
语言模型AI性能对比
一个记录Apple Silicon LLM performance的帖子-1.jpg
回复 支持 反对

使用道具 举报

Startsomethingn 1 小时前 显示全部楼层
等那几个开发者 m4 到手后再优化，现在他们还用 m2u 这怎么能行
一个记录Apple Silicon LLM performance的帖子-1.png
回复 支持 反对

使用道具 举报

EarnestWaf 1 小时前 显示全部楼层
看好mlx
一个记录Apple Silicon LLM performance的帖子-1.png ，但是感觉果子在这方面的投入有点太少了
回复 支持 反对

使用道具 举报

返回列表 发表新帖

说点什么

B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册
HOT • 推荐
g04565929注册会员
广告招商 TEL : 13564712211
微信扫一扫