语言模型

新加坡内哥谈技术

OpenAI 第七日推出了一项新功能——ChatGPT的“Projects”每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/

论文解读之Chain-of-Thought Prompting Elicits Reasoning in Large Language Models（CoT）最近以及本篇博客将记录博主最近接触的提升LLM的较新方法，总结其核心以备面试及其他场景回顾时所需。CoT的核心在于在prompt中使得模型将较大的问题输入拆解逐步的思维链的输出方案，属于prompt中的技巧，可以提升LLM在复杂问题上的表现，并且能够增强其可解释性（指的是在输出错误时追溯哪一步解答方案出错）。

2024.2 ACM Explainability for Large Language Models: A Survey【这是数据集的缺陷】原文抽象大型语言模型（LLM）在自然语言处理方面表现出了令人印象深刻的功能。然而，它们的内部机制仍不清楚，这种缺乏透明度会给下游应用带来不必要的风险。因此，理解和解释这些模型对于阐明它们的行为、局限性和社会影响至关重要。在本文中，我们介绍了可解释性技术的分类法，并提供了解释基于 Transformer 的语言模型的方法的结构化概述。我们根据 LLM 的训练范式对技术进行分类：传统的基于微调的范式和基于提示的范式。对于每个范式，我们总结了生成单个预测的局部解释和整体模型知识的全局解释

Fabarta技术团队

中化信息与枫清科技深化合作：共探“AI+”产业新生态随着数字化转型的浪潮席卷全球，数据已成为推动创新和经济增长的关键力量。为持续深化数据要素价值挖掘与应用实践，推动打造行业交流平台，驱动产业创新共荣，2024 年 12 月 18 日 -19 日，由中国通信标准化协会主办的“2024 数据资产管理大会”在京隆重召开。

《Amazon Bedrock vs ChatGPT：谁更胜一筹？》在生成性AI技术的赛道上，Amazon Bedrock和ChatGPT无疑是两大热门名字。两者虽然都在人工智能的领域大展拳脚，但它们的设计理念、功能侧重点和应用场景却大不相同。那么，作为开发者或企业用户，选择这两者中的哪一个更为合适呢？今天九河云就来对比一下，看看Amazon Bedrock在与ChatGPT的竞争中究竟有哪些独特的优势。

新加坡内哥谈技术

NVIDIA发布紧凑型生成式AI超级计算机：性能提升，价格更低每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/

本地虚拟机 docker 中安装体验 qwen2.5 大模型虚拟机VitrualBox 7.0 内安装了 ubuntu22.04.2 操作系统分配了4G内存，处理器1CPU，运行峰值8CPU（宿主机8核16G内存），不使用GPU，显卡不考虑。所有命令都sudo -i 切换到 root 用户下完成。虚拟机docker版本：27.4.1 ollama version：0.5.4-0-g2ddc32d-dirty 大模型：qwen2.5:0.5b-instruct-q4_K_M，采用开源Apache License 2.0协议大模型信息：

猫先生Mr.Mao

AIGC月刊 | 技术可及，顺势而为（2024.10月第六期）【魔方AI新视界】〔更多精彩AI内容，尽在「魔方AI空间」公众号，引领AIGC科技时代〕本文作者：猫先生原文地址：AIGC月刊 | 技术可及，顺势而为（2024.10月第六期）【魔方AI新视界】

Llamafile：简化LLM部署与分发的新选择在人工智能快速发展的今天，大型语言模型（LLM）作为自然语言处理（NLP）领域的核心力量，正在逐步改变我们的世界。然而，对于许多企业和开发者来说，LLM的部署和分发仍然是一个挑战。幸运的是，Llamafile的出现为我们提供了一个全新的解决方案。本文将详细介绍Llamafile的特点、使用方法以及与传统部署方式的对比。

ollama本地部署大语言模型记录最近突然对大语言模型感兴趣同时在平时的一些线下断网的CTF比赛中，大语言模型也可以作为一个能对话交互的高级知识检索库

MLM: 掩码语言模型的预训练任务掩码语言模型（Masked Language Model, MLM）是一种用于训练语言模型的预训练任务，其核心目标是帮助模型理解和预测语言中的上下文关系。以下是对这一概念的详细说明：

2024.4 评估大语言模型在医疗行业应用的综合调查https://arxiv.org/abs/2404.15777正文摘要自 2017 年 Transform 架构启动以来，GPT 和 BERT 等大型语言模型（LLM）已经发生了重大发展，以其在语言理解和生成方面的先进能力影响着各个行业。这些模型已经显示出改变医疗领域的潜力，突出了专业评估框架的必要性，以确保其有效和合乎道德的部署。这项全面的调查描绘了 LLM 在医疗保健领域的广泛应用和必要评估，强调了经验验证的迫切需要，以充分利用其在增强医疗保健结果方面的能力。我们的调查旨在对 LLM 在临床环境、医

BlueLM：以2.6万亿token铸就7B参数超大规模语言模型BlueLM 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型，本次发布包含 7B 基础 (base) 模型和 7B 对话 (chat) 模型，同时我们开源了支持 32K 的长文本基础 (base) 模型和对话 (chat) 模型。

【AI热点】小型语言模型(SLM)的崛起：如何在AI时代中找到你的“左膀右臂”？多年来，谷歌等科技巨头和OpenAI等初创公司，一直在不遗余力地利用海量在线数据，打造更大、更昂贵的人工智能（AI）模型。这些大型语言模型（LLM）被广泛应用于ChatGPT等聊天机器人中，帮助用户处理各种各样的任务，从编写代码、规划行程，到创作诗歌等。

三月七（爱看动漫的程序员）

The Rise and Potential of Large Language ModelBased Agents:A Survey---讨论近年来，随着激光诱导金属化技术的发展，激光诱导金属化与化学剂交叉领域的研究取得了长足的进步，促进了这两个领域的发展。在此，我们期待着LLM研究和Agent研究相互提供的一些益处和发展机会。LLM研究+代理人研究。如前所述，人工智能代理需要能够感知环境、做出决策并执行适当的操作。在这些关键步骤中，理解输入到代理的内容、推理、规划、做出准确的决策，并将其转换为可执行的原子动作序列以实现最终目标是至关重要的。目前的许多研究都将LLM作为人工智能主体的认知核心，这些模型的发展为完成这一步提供了质量保证。

＜论文＞如何构建一个更鲁棒的Bert？今天我们来聊一聊论文《RoBERTa: A Robustly Optimized BERT Pretraining Approach》。这篇论文提出了一种更优的Bert训练方案，并将该方案训练的模型称为——RoBERTa。

【使用LLM搭建系统】1语言模型，提问范式与 Token

扫地的小何尚

什么是大型语言模型大型语言模型 (LLM) 是一种深度学习算法，可以使用非常大的数据集识别、总结、翻译、预测和生成内容。

大语言模型的常用微调方法数据构造是构建大模型过程中的关键环节，涵盖数据的获取、清洗、标注、预处理利模型评估等多个步骤。公开数据集、企业数据库、社交媒体平台以及网络爬虫都是非常重要的数据来源，而面向行业的专业研究和实验则为特定领域模型提供了专业数据。与此同时，数据清洗也十分重要，结合Meta发布的 LIMA (Less Is More for Aligoment)模型，在LLaMA-6SB的基础上，只用1000个精心准备的样本数据进行微调，不需要 RLHF (Re.inforcement Learning from Human F

Day26下 - 大语言模型的训练train 和微调fine-tune 的区别全程零代码工程平衡：大部分微调都把模型给整废了，而不是越来越好。厂家发布的模型半真半假，一般发布的都是最好的模型，咱们拿来整废了是常态，训练好是一件不太容易的事情。为什么不太容易？怎么就整废了？怎么才能弄好？没有万能公式一步到位，是个不断炼丹尝试的过程，比较玄学。