大语言模型

Transformer 大模型详解——transformer模型本内容主要参照此篇，然后结合个人理解新增和删减部分内容形成。本内容主要介绍 Transformer 模型的具体实现。

知世不是芝士

讲透一个强大算法模型，Transformer ！！好像一直以来都没有和大家讨论过一个贼牛的模型 – Transformer！首先，咱们先用很直白的语言描述一下：想象你在读一本书，每一页都有很多词。如果你每次只能看到一个词，那么理解整本书会很慢。而Transformer模型就像是你有一个超能力，可以同时看到整页的所有词，还能根据上下文判断哪些词更重要，这样你就能更快更准确地理解书的内容。

华师数据学院·王嘉宁

越复杂的CoT越有效吗？Complexity-Based Prompting for Multi-step Reasoning论文：https://openreview.net/pdf?id=yf1icZHC-l9 Github：https://github.com/FranxYao/chain-of-thought-hub 发表位置：ICLR 2023 Complexity-Based Prompting for Multi-step Reasoning（ICLR2023）.pdf

现身说法，AI小白的大模型学习过程导读写这篇文章的初衷：作为一个AI小白，把我自己学习大模型的学习路径还原出来，包括理解的逻辑、看到的比较好的学习材料，通过一篇文章给串起来，对大模型建立起一个相对体系化的认知，才能够在扑面而来的大模型时代，看出点门道。

我爱学Python!

黄仁勋提到的机器人世界，还需要AI数据来“调教” | CVPR 2024本周，CVPR 2024正在美国西雅图拉开序幕。今年CVPR论文投稿数再次创下新纪录，可想而知本届会议的火热。

一份LLM资源清单围观技术大佬的日常；手把手教你在美国搭建「百万卡」AI数据中心；为啥大模型做不好简单的数学计算？ | ShowMeAI日报👀日报&周刊合集 | 🎡ShowMeAI官网 | 🧡 点赞关注评论拜托啦！司南评测体系 OpenCompass 选取 7 个大模型 (6 个开源模型+ GPT-4o)，组织参与了 2024 年高考「新课标I卷」的语文、数学、英语考试，然后由经验丰富的判卷老师评判得分。

华师数据学院·王嘉宁

MetaGPT: Meta Programming For A Multi-Agent Collaborative FrameworkGithub：https://github.com/geekan/MetaGPTStandard Operating Procedures（SOPs）：These SOPs play a critical role in supporting task decomposition and effective coordination. Furthermore, SOPs outline the responsibilities of each team member, while establishing

使用GPT & LangChain提升文档站搜索效率在文档站进行搜索的一个痛点在于很难在站内的众多文档中找到自己想要的回答，其难点主要在于两方面：ChatGPT为解决上述问题提供了可能性，它是一个语言模型，生来就能够理解用户以自然语言发出的提问，在使用ChatGPT时用户不再需要提炼关键词，一切交给模型，它会自行生成答案。

hugging face：大模型时代的github介绍Hugging Face大模型时代的“github”，很多人有个这样的认知，但是我觉得不完全准确，他们相似的地方在于资源丰富，github有各种各样的软件代码和示例，但是它不是系统的，没有经过规划管理，Hugging Face不一样，它是有系统的，有更聚焦的主题，规划和主线。

HUSKY:一个优化大语言模型多步推理的新代理框架推理被高度认可为生成人工智能的下一个前沿领域。通过推理，我们可以将任务分解为更小的子集并单独解决这些子集。例如以前的论文：思维链、思维树、思维骨架和反射，都是最近解决LLM推理能力的一些技术。此外推理还涉及一些外围功能，例如访问外部数据或工具。在最近的几年里，我们已经看到模型在特定的推理技术中表现得非常好，但它们无法跨领域推广。这是Meta AI、Allen Institute of AI和University of Washington的研究人员在最近一篇论文中所要解决的问题。

AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.06.01-2024.06.05标题:翅膀在没有纯文本遗忘的情况下学习多模态 LLMauthor:Yi-Kai Zhang, Shiyin Lu, Yang Li, Yanqing Ma, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang, De-Chuan Zhan, Han-Jia Ye

如何手撸一个自有知识库的RAG系统RAG通常指的是"Retrieval-Augmented Generation"，即“检索增强的生成”。这是一种结合了检索（Retrieval）和生成（Generation）的机器学习模型，通常用于自然语言处理任务，如文本生成、问答系统等。

GPT大模型不再遥不可及：本地化部署让每个人都能拥有我们提到大模型就想到这个东西不是我们普通人可以拥有的，因为太耗费服务器资源，注定了可以提供大模型服务的只能是大厂。

goldfish loss：减少训练数据泄漏，提高大语言模型输出的多样性LLMs（大型语言模型）能够记忆并重复它们的训练数据，这可能会带来隐私和版权风险。为了减轻记忆现象，论文作者引入了一种名为"goldfish loss"的微妙修改，在训练过程中，随机抽样的一部分标记被排除在损失计算之外。这些被舍弃的标记不会被模型记忆，从而防止模型完整复制训练集中的一整个标记序列。

【课程系列05】某心科技AI大模型微调实战营-应用篇链接: https://pan.baidu.com/s/1oARULXsXn8frkqq4ZKHBLA --来自百度网盘超级会员v6的分享

大模型“诸神之战”，落地才是赛点ChatGPT 诞生已经快一年，你还在与它对话吗？有的人用来写报告、改代码，让它成为得力帮手；有的人却只是“调戏”个两三回，让它创作诗歌或故事，便不再“宠幸”。

知世不是芝士

OpenAI 600万天价年薪震惊网友，全美顶尖AI公司薪酬大曝光！顶级公司的AI工程师能挣多少钱？最近，这张美国科技大公司的薪酬图流出，头部工程师的天价年薪惊呆了众网友！

Dify vs Langchain：AI应用开发的全面分析在AI应用开发的世界里，选择一个合适的平台是至关重要的。Dify和Langchain作为这个领域中的佼佼者，各自提供了独特的功能和能力，满足了各种开发者的需求。

教程丨免费离线AI大模型，断网也能用我们一般聊的大模型，基本都是闭源的，比如ChatGPT、Bard、Claude、文心一言、智谱清言等等。我们登录别人的网站就可以使用。现在还有一些模型是开源的，这些一般可以本地部署，就是你不上网也可以用的大模型。

使用‘消除’技术绕过LLM的安全机制，不用训练就可以创建自己的nsfw模型开源的大模型在理解和遵循指令方面都表现十分出色。但是这些模型都有审查的机制，在获得被认为是有害的输入的时候会拒绝执行指令，例如会返回“As an AI assistant, I cannot help you.”。这个安全功能对于防止误用至关重要，但它限制了模型的灵活性和响应能力。