察元AI教程库 · 文章 · 部署

NPU系统上LLM推理的延迟预测

在部署大型语言模型（LLMs）时，需要探索一个涵盖并行策略、批处理技术和调度策略的广阔配置空间。对这个空间进行详尽的测量是不切实际的，因此，系统优化中预测延迟至关重要。尽管NPU

作者:Juhyun Park, Seungwoo Jeong, Jingyu Lee · 语言:en

前往原址学习

简介

在部署大型语言模型（LLMs）时，需要探索一个涵盖并行策略、批处理技术和调度策略的广阔配置空间。对这个空间进行详尽的测量是不切实际的，因此，系统优化中预测延迟至关重要。尽管NPU

返回教程库 · 察元AI产品家族