语言模型

CancerGPT ：基于大语言模型的罕见癌症药物对协同作用少样本预测研究今天我们一起来剖析一篇发表于《npj Digital Medicine》的论文——《CancerGPT for few shot drug pair synergy prediction using large pretrained language models》。该研究聚焦于一个极具挑战性的前沿领域：如何利用大语言模型（LLMs）在数据极为稀缺的罕见癌症组织中，实现对药物对协同作用的精准预测。（欢迎关注“赛文AI药学”，获取更多AI与药学的内容）

论文阅读：Jailbreak Open-Sourced Large Language Models via Enforced Decoding1.提出问题：安全对齐真的可以防止那些开源的大型语言模型被误用来成不希望的内容吗?2.做出假设：开源模型很容易被误导，在没有大量计算和精细 Prompt 下能够产生恶意内容

2024机器学习前沿：从大型语言模型到高效计算的技术创新与发展趋势大型语言模型（Large Language Models, LLMs）如GPT-4、BERT等，凭借其强大的自然语言理解和生成能力，正在多个领域展现出广泛的应用潜力，推动相关技术的快速发展与创新。以下是几个主要应用领域及其具体影响：

大语言模型的稀疏性：提升效率与性能的新方向大语言模型（LLM, Large Language Model）随着参数规模的不断扩大，其性能得到了显著提升，但也带来了巨大的计算和存储开销。稀疏性（Sparsity）作为一种关键优化技术，通过减少冗余计算和存储需求，为大语言模型的高效训练和推理提供了可能。

【人工智能】大语言模型的微调：让模型更贴近你的业务需求随着大语言模型（LLM, Large Language Model）如 GPT-4、BERT 和 T5 等的广泛应用，模型的微调（Fine-tuning）技术成为实现领域专属任务的重要手段。通过微调，开发者可以在通用模型的基础上，快速适配特定领域的应用场景。

小饼干超人

BertTokenizerFast 和 BertTokenizer 的区别BertTokenizerFast 和 BertTokenizer 都是用于对文本进行标记化的工具，主要用于处理和输入文本数据以供 BERT 模型使用。它们都属于 HuggingFace 的 transformers 库。

繁华落尽，寻一世真情

大语言模型预训练、微调、RLHFCLUENER2020数据集在https://www.cluebenchmarks.com/introduce.html上无法下载，可以在openxlab.org.cn上下载，如下图所示：感谢博主的分析，可以完整的进行微调微调2步的测试结果 Pytorch实现11种常用学习率调整策略(自定义学习率衰减) 如果你的PyTorch优化器效果欠佳,试试这4种深度学习中的高级优化技术吧 PyTorch不同优化器的比较

如何训练大型语言模型？训练大型语言模型（LLMs）是一个复杂且资源密集的过程，它通常包括以下几个关键步骤：数据收集是训练大型语言模型的第一步。这个过程需要获取大量、高质量的文本数据。数据来源可以是公开可用的网页、新闻文章、社交媒体内容等，也可以利用现有的开源数据集如Common Crawl、Wikipedia、BookCorpus等。此外，还可以从专业领域或特定主题中获取文本数据，或者生成人工文本数据。

如何通过腾讯云平台执行SFT微调大语言模型RAG并不是万能的，也会带来额外的Token开销，如果希望将RAG里的知识内化为大语言模型的知识，或者希望对模型进行干预，比如希望llama模型回答自己是某某公司开发的而不是Meta公司开发的（哈哈，有点太绷面子了^-^），就要对既有的LLM进行微调。微调时，SFT（Supervised Fine-Tuning）是一种行之有效的技术，SFT通过标注好的数据对预训练模型进行进一步训练。接下来展示如何通过腾讯云平台来进行SFT训练。

【论文笔记】Sign Language Video Retrieval with Free-Form Textual Queries🍎个人主页：小嗷犬的个人主页 🍊个人网站：小嗷犬的技术小站 🥭个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。

Rust实现智能助手 - 项目初始化你好，我是醉墨居士，最近准备花一些时间来使用Rust语言实现一个智能助手，希望能够帮助到你。打开浏览器，访问http://localhost:3000?prompt=你好，即可得到AI回复

uni-app （接入智谱清言语言模型）uni-app、智谱清言、XMLHttpRequest、marked此处实现原理为前端直接请求返还数据结果，未经后端进行处理，如AI接口有变化，请根据接口文档进行修改，通义千问AI同理。

基于大语言模型的组合优化摘要：组合优化（Combinatorial Optimization, CO）对于提高工程应用的效率和性能至关重要。随着问题规模的增大和依赖关系的复杂化，找到最优解变得极具挑战性。在处理现实世界的工程问题时，基于纯数学推理的算法存在局限性，无法捕捉到优化所需的上下文细微差别。本研究探索了大型语言模型（Large Language Models, LLMs）在解决工程组合优化问题中的潜力，利用其推理能力和上下文知识。我们提出了一种基于LLM的新框架，该框架结合了网络拓扑和领域知识，以优化设计结构矩阵（Des

酒酿小圆子～

【NLP】语言模型的发展历程 (1)语言模型的发展历程系列博客主要包含以下文章：本篇博客是该系列的第一篇，主要讲讲语言模型（LM，Language Model）的发展历程。

《大型语言模型与强化学习的融合：探索问题的新解决方案与开源验证需求》CleanRL 是一个致力于提供简单、高效且易于理解的强化学习（RL）算法实现的开源项目。该项目通过将复杂的RL算法代码进行优化和简化，使研究人员和开发者能够更容易地学习、实验和部署这些算法。

AIGCmagic社区

AI多模态论文解读：LLaVA-CoT：让视觉语言模型逐步推理本文作者：AIGCmagic社区猫先生LLaVA-CoT引入了四个不同的阶段（摘要、标题、推理和结论），使模型能够独立进行系统化的多阶段推理，显著提高了在推理密集型任务上的准确性。

阿里云Qwen系列大模型：多领域AI应用的创新利器随着人工智能技术的快速发展，企业和开发者对大模型的需求日益增长。阿里云推出的Qwen系列大模型以其强大的性能和灵活性，成为多领域AI应用的重要助力工具。无论是语言处理、智能对话，还是跨模态学习，Qwen系列都展现了卓越的能力。

大语言模型训练自监督预训练（Self-Supervised Pre-Training，简称SPT）是一种机器学习技术，其中模型从输入的其他部分学习预测其输入的部分，而不使用显式标签。这种方法特别适用于利用未标记数据，因为未标记数据比标记数据更为丰富。以下是该概念的总结：

OpenAI RFT API：让强化学习微调更简单，为语言模型带来突破性进展OpenAI的强化学习微调（RFT）API 的推出，标志着强化学习（Reinforcement Learning, RL）技术的一个重要里程碑。以下将详细探讨RFT API如何将强化学习普及化，并在语言模型中显著提升其应用。

夏天｜여름이다

论文解析 | 基于语言模型的自主代理调查论文《A Survey on Large Language Model-based Autonomous Agents》对基于大型语言模型（LLM）的自主智能体（Autonomous Agents）进行了全面调查。随着大型语言模型（如 GPT 系列、BERT、T5 等）的快速发展，研究者们开始探索如何将这些模型应用于自主智能体的构建，进而提升其在多种任务中的表现。本论文的核心内容包括 LLM 在自主智能体中的应用、挑战、未来研究方向等。