察元AI教程库 · 文章 · 部署
现代CPU越来越多地集成矩阵扩展，例如ARM可扩展矩阵扩展（SME），可在CPU内提供高吞吐量的矩阵运算。然而，对于LLM推理而言，这些单元并非传统CPU核心的通用替代品：prefill、decode、attention和KV-cache等阶段的处理需求不同。
作者:Feiyang Chen, Haibo Chen · 语言:en
现代CPU越来越多地集成矩阵扩展，例如ARM可扩展矩阵扩展（SME），可在CPU内提供高吞吐量的矩阵运算。然而，对于LLM推理而言，这些单元并非传统CPU核心的通用替代品：prefill、decode、attention和KV-cache等阶段的处理需求不同。