察元AI教程库 · 文章 · 大模型
我们将自然语言模型中的词片段思想扩展到对不可见ID的机器学习任务中。通过应用哈希函数，将每个ID映射到一个更小空间中的多个哈希标记，类似于布隆过滤器。我们展示了通过将这些B标记输入多层Transformer，可以实现高效处理。
作者:John Anderson, Qingqing Huang, Walid Krichene · 语言:en
我们将自然语言模型中的词片段思想扩展到对不可见ID的机器学习任务中。通过应用哈希函数，将每个ID映射到一个更小空间中的多个哈希标记，类似于布隆过滤器。我们展示了通过将这些B标记输入多层Transformer，可以实现高效处理。