主要的有点就是快，用途就是用于文本分类，模型结构如上，主要是通过embedding将文本转换成向量，然后进行mean-pooling，然后输入到hidden隐向量中，通过softmax输出多分类，损失函数是对数似然损失函数（log-likelihood loss）.
Bag of Tricks for Efficient Text Classification（FastText）
WitsMakeMen2023-10-22 13:48
相关推荐
爱吃羊的老虎12 小时前
【大模型】向量数据库：Chroma、Weaviate、Qdrantimbackneverdie18 小时前
Science最新文章：大型语言模型时代的科学生产P-ShineBeam18 小时前
八卡A100服务器坏卡引发 CUDA initialization: cudaGetDeviceCount()异常m0_6038887118 小时前
Scaling Trends for Multi-Hop Contextual Reasoning in Mid-Scale Language ModelsToky丶18 小时前
【文献阅读】Pretraining Large Language Models with NVFP4颜值博主18 小时前
新一代大模型范式: Inner Tools狮子座明仔20 小时前
MiMo-V2-Flash 深度解读：小米 309B 开源 MoE 模型如何用 15B 激活参数吊打 671B 巨头？waterfeeling20 小时前
AGI时代如何选取合适的LLM（大语言模型）？ -- 浅谈LLM评测Toky丶21 小时前
【文献阅读】BitNet Scaling 1-bit Transformers for Large Language Models且去填词1 天前
DeepSeek-R1 实战：数据分析