察元AI教程库 · 文章 · 大模型
基于Transformer的模型在处理日益复杂的任务时,其规模和参数数量显著增加。同时,对在资源有限的设备上实现高性能、低延迟推理的需求也日益增长。特别是,流式数据的推理通常
作者:Ginés Carreto Picón, Peng Yuan Zhou, Qi Zhang · 语言:en
基于Transformer的模型在处理日益复杂的任务时,其规模和参数数量显著增加。同时,对在资源有限的设备上实现高性能、低延迟推理的需求也日益增长。特别是,流式数据的推理通常