技术栈

llm架构

晨欣
20 天前
qwen·moe·gqa·kv cache·deepseek·mla·llm架构
LLM Architecture Gallery 是什么:新开源模型出来后,先对照架构再决定要不要部署新开源模型一出来,开发者最容易先去看跑分、看参数量、看别人说好不好用。但真正决定你能不能部署、长上下文贵不贵、MoE 是否划算的,往往是结构本身。Sebastian Raschka 做的 LLM Architecture Gallery 把 100 多个现代 LLM 的结构图、注意力机制、decoder 类型、每 token KV cache 和 config.json 链接放到同一页,适合当作日常对照表,而不是又一个榜单。
xidianjiapei001
1 年前
llm·bert·word2vec·elmo·cbow·llm架构·词嵌入模型
LLM架构解析:词嵌入模型 Word Embeddings(第二部分)—— 从基础原理到实践应用的深度探索本专栏深入探究从循环神经网络(RNN)到Transformer等自然语言处理(NLP)模型的架构,以及基于这些模型构建的应用程序。
我是有底线的