察元AI教程库 · 文章 · 部署

BitROM：无权重重载的CiROM架构，用于1.58比特百亿参数LLM推理

计算在只读内存（CiROM）加速器通过消除运行时权重更新，为CNN提供了卓越的能效。然而，它们扩展到大型语言模型（LLMs）时，从根本上受到其庞大参数规模的限制。值得注意的是，LLaMA-7B——LLaMA系列中最小的模型

作者:Wenlun Zhang, Xinyu Li, Shimpei Ando · 语言:en

前往原址学习

简介

计算在只读内存（CiROM）加速器通过消除运行时权重更新，为CNN提供了卓越的能效。然而，它们扩展到大型语言模型（LLMs）时，从根本上受到其庞大参数规模的限制。值得注意的是，LLaMA-7B——LLaMA系列中最小的模型

返回教程库 · 察元AI产品家族