察元AI教程库 · 文章 · 部署

WISV：面向设备-边缘LLM推理的无线感知语义验证，用于分布式推测解码

尽管分布式设备边缘推测解码在异构节点上提升了资源利用率，但其性能通常受到传统按标记级别验证策略的限制。这种僵化的对齐导致过多的拒绝，显著降低了被接受序列的生成。

作者:Zixuan Liu, Zhiyong Chen, Nan Xue · 语言:en

简介