察元AI教程库 · 视频 · 部署
用了Q5量化和Q8KV缓存，直接将上下文拉到了32K， 而且看起来质量并没有想象中那么差，甚至意外的感觉没什么影响， 搞得我想试试Q4了，这个号称性能和占用平衡的量化格式。 gemma4这个KV缓存消耗太大了，模型本体才20G，KV缓存就消耗了20G。 即便是Q8量化，KV缓存压到Q8也能有16K的上下文。 虽然和deepseek等号称1M的上下文没法比，但是其实实际使用中32K也就差不多了。…
作者:技术探客 · 语言:zh
用了Q5量化和Q8KV缓存，直接将上下文拉到了32K， 而且看起来质量并没有想象中那么差，甚至意外的感觉没什么影响， 搞得我想试试Q4了，这个号称性能和占用平衡的量化格式。 gemma4这个KV缓存消耗太大了，模型本体才20G，KV缓存就消耗了20G。 即便是Q8量化，KV缓存压到Q8也能有16K的上下文。 虽然和deepseek等号称1M的上下文没法比，但是其实实际使用中32K也就差不多了。 根据一轮1K的tokens增量来算，这样弄个20轮然后大总结不是问题。 不过我没卸载到内存，如果把一半的层卸载到