察元AI教程库 · 文章 · 部署
我们引入了Glinthawk，一种用于离线大语言模型（LLM）推理的架构。通过采用两级结构，Glinthawk通过将注意力机制下放到低端计算层级（“Tier 2”）来优化高端加速器（“Tier 1”）的利用率。这种分离
作者:Pouya Hamadanian, Sadjad Fouladi · 语言:en
我们引入了Glinthawk，一种用于离线大语言模型（LLM）推理的架构。通过采用两级结构，Glinthawk通过将注意力机制下放到低端计算层级（“Tier 2”）来优化高端加速器（“Tier 1”）的利用率。这种分离