感觉这个32b对比新14b实际提升没多少,换来运行的速度慢一倍,显卡功耗翻倍。
新14b是指sakura-14b-qwen2beta-v0.9-iq4_xs_ver2这个吗
sakura-14b-qwen2beta-v0.9.2-iq4xs这个。32B最新的版本是Sakura-32B-Qwen2beta-v0.9.1。XS是他们校准过的,同级别Q4量化XS比KM的PPL低,XS精度更高点。14B的iq4xs和32B的iq4xs这两个我用起来感觉区别不大,32B的iq4xs很多地方该错的还是会错,翻译质量有提升,但是提升很不明显。
登录后回复
感觉这个32b对比新14b实际提升没多少,换来运行的速度慢一倍,显卡功耗翻倍。
⋯