察元AI教程库 · 视频 · 部署
本期实测了 11 个今年发布的小模型（合计 56.6 GB 权重），在 64GB M5 Pro 上只量三件事：装不装得下、跑多快、工具调不调得通。 M5 Pro 是 64 GB 内存，但每个模型实际吃多少内存换到 8 GB、16 GB 机器上同样成立。8K 上下文下，11 个模型里 6 个能装进 8 GB（≤5.73 GB）；32K 上下文下只有 4 个。速度、M Pro 实测数字见视频。…
作者:黑粉科技HyphenTech · 语言:zh
本期实测了 11 个今年发布的小模型（合计 56.6 GB 权重），在 64GB M5 Pro 上只量三件事：装不装得下、跑多快、工具调不调得通。 M5 Pro 是 64 GB 内存，但每个模型实际吃多少内存换到 8 GB、16 GB 机器上同样成立。8K 上下文下，11 个模型里 6 个能装进 8 GB（≤5.73 GB）；32K 上下文下只有 4 个。速度、M Pro 实测数字见视频。 ⏱ 章节 00:00 开场：8GB 到底能跑多少本地模型 0:35 一共测了 11 个模型 0:46 为什么选