SqueezeBERT:计算机视觉能为自然语言处理在高效神经网络方面带来哪些启示?人类每天阅读和撰写数千亿条消息。得益于大规模数据集、高性能计算系统和更优的神经网络模型,自然语言处理(NLP)技术在理解、校对和组织这些消息方面取得了显著进展。因此,将 NLP 部署于各类应用中,以帮助网页用户、社交网络和企业具有重要价值。特别是,我们认为智能手机和其他移动设备是大规模部署 NLP 模型的关键平台。然而,当今高精度的 NLP 神经网络模型(如 BERT 和 RoBERTa)计算开销极大,例如在 Pixel 3 手机上运行 BERT-base 对一个文本片段进行分类需要约 1.7 秒。本文观