察元AI教程库 · 文章 · 部署
长上下文大型语言模型（LLMs）的扩展带来了显著的内存系统挑战。虽然处理内存（PIM）是一种有前景的加速方案，但我们发现，当扩展到长上下文时，它存在关键的低效问题：严重的通道利用率不足，性能受限。
作者:Hyucksung Kwon, Kyungmo Koo, Janghyeon Kim · 语言:en
长上下文大型语言模型（LLMs）的扩展带来了显著的内存系统挑战。虽然处理内存（PIM）是一种有前景的加速方案，但我们发现，当扩展到长上下文时，它存在关键的低效问题：严重的通道利用率不足，性能受限。