察元AI教程库 · 文章 · 部署

Hummingbird:一种面向嵌入式FPGA的更小、更快的大型语言模型加速器

在嵌入式设备上部署大型语言模型(LLMs)仍是一个重大研究挑战,因为LLMs的高计算和内存需求与嵌入式环境中的硬件资源有限相冲突。尽管嵌入式FPGA在性能和能效方面已展现出优势

作者:Jindong Li, Tenglong Li, Ruiqi Chen · 语言:en

前往原址学习

简介

在嵌入式设备上部署大型语言模型(LLMs)仍是一个重大研究挑战,因为LLMs的高计算和内存需求与嵌入式环境中的硬件资源有限相冲突。尽管嵌入式FPGA在性能和能效方面已展现出优势

返回教程库 · 察元AI产品家族