70B 以下 32B 左右的
 |
1
ntdll 5 天前  1
这种小模型的话，还不如用一下美团的垃圾模型（ LongCat ），虽然垃圾，但是还是比这种小模型强多了。 整两三个手机号，一天的量足够了。
|
 |
2
jark006 5 天前 2
参数量太小，知识量和智力都不行，coding 能力不如 Openrouter 那些无限白嫖的模型。
真生产力还得是 claude/gpt ，或国产的 GLM5.1/Qwen3.6plus ，其他模型就真的不建议用。 如果只想白嫖，目前 trea 国版或 opencode 还能白嫖一些不错的模型。 |
 |
3
yulon 5 天前
30B 左右也就勉强做个文章概括
|
 |
4
lujiaosama 5 天前
你不会想用的。质量不说，吞吐速度都受不了。
|
 |
6
diudiuu 4 天前
可能会把你气死.
最简单做个对比 gpt5-mini 写代码已经很拉了,你觉得本地 32b 会有比正常训练的 gpt5-mini 好? |
 |
7
coefu 3 天前 1
要用好，需要很多绝招。比较难搞，但也并不是搞不成。
用多个 agent 并行，并且改造成隐式推理，用 LatentMAS 技术（ https://arxiv.org/abs/2511.20639 ，https://github.com/Gen-Verse/LatentMAS ），这个要改 模型的 transformer 架构，将 kvcache 流动起来，对显存也有挑战。 多个 agent 并行隐式推理，能保证速度，多个 agent 也能提升智能。 就算是 Qwen3.5-35B-A3B 的 BF16 ，也有 70GB 了，长 context 的 kvcache + LatentMAS 本身也要显存，估计单卡 128G ，可以搞。 |
Select Language