5060ti16g 跑 Qwen-32B

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 96 天前的主题，其中的信息可能已经有所发展或是发生改变。

推理速度有多快？御三家云 Ai 够满足我的一般需求，就是想自己玩玩？

5 条回复 • 2026-03-19 05:33:56 +08:00

defaw

2025 年 12 月 12 日

32b q4km 再加上 32k 上下文都得 32g 吧，16g 怎么跑

jhytxy

2025 年 12 月 12 日 via iPhone

16g 跑不了

wwhc

2025 年 12 月 13 日

试试 gpt-oss-20b ，推理速度很快，16G 的显卡就能装入完整的 128k 上下文长度

mdcaqr

2025 年 12 月 14 日 via Android

@wwhc 好的

adbseell3

5 小时 41 分钟前

@wwhc 能越狱么，我看 Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive 这款可以😅