技术栈
自然语言处理
AI明说
36 分钟前
人工智能
·
语言模型
·
自然语言处理
·
大模型
·
rag
CancerGPT :基于大语言模型的罕见癌症药物对协同作用少样本预测研究
今天我们一起来剖析一篇发表于《npj Digital Medicine》的论文——《CancerGPT for few shot drug pair synergy prediction using large pretrained language models》。该研究聚焦于一个极具挑战性的前沿领域:如何利用大语言模型(LLMs)在数据极为稀缺的罕见癌症组织中,实现对药物对协同作用的精准预测。(欢迎关注“赛文AI药学”,获取更多AI与药学的内容)
亲持红叶
3 小时前
人工智能
·
python
·
gpt
·
深度学习
·
自然语言处理
Chapter5.1 Evaluating generative text models
本章节包含:本章节的重点是实现训练功能并对LLM进行预训练。LLM 开发的三个主要阶段包括:本章重点在于 预训练 LLM,涵盖以下内容:
啊波次得饿佛哥
4 小时前
人工智能
·
自然语言处理
6. NLP自然语言处理(Natural Language Processing)
自然语言是指人类日常使用的语言,如中文、英语、法语等。自然语言处理是人工智能(AI)领域中的一个重要分支,它结合了计算机科学、语言学和统计学的方法,通过算法对文本和语音进行分析,使计算机能够理解、解释和生成自然语言。
赵大仁
10 小时前
人工智能
·
深度学习
·
神经网络
·
机器学习
·
语言模型
·
自然语言处理
·
数据分析
大语言模型的稀疏性:提升效率与性能的新方向
大语言模型(LLM, Large Language Model)随着参数规模的不断扩大,其性能得到了显著提升,但也带来了巨大的计算和存储开销。稀疏性(Sparsity)作为一种关键优化技术,通过减少冗余计算和存储需求,为大语言模型的高效训练和推理提供了可能。
丕羽
11 小时前
人工智能
·
深度学习
·
自然语言处理
·
prompt
【LLM】Prompt_tuning 预训练方式
目前学术界一般将NLP任务的发展分为四个阶段,即NLP四范式:通过让下游任务取迁就预训练模型,将fine-tuning的下游目标任务转换为pre-training的预训练任务
小言从不摸鱼
12 小时前
人工智能
·
gpt
·
自然语言处理
【AI大模型】BERT GPT ELMo模型的对比
目录🍔 BERT, GPT, ELMo之间的不同点🍔 BERT, GPT, ELMo各自的优点和缺点
早安&早安
1 天前
人工智能
·
python
·
深度学习
·
自然语言处理
深入了解 NLTK:Python 的自然语言处理工具
自然语言处理 (NLP) 是人工智能的一个重要领域,旨在帮助计算机理解和操作人类语言。而 NLTK (Natural Language Toolkit) 是一个强大的 Python 工具包,专门用于 NLP 的研究和实践。本文将详细介绍 NLTK 的功能、基本用法以及它在 NLP 中的重要作用。
繁华落尽,寻一世真情
1 天前
人工智能
·
语言模型
·
自然语言处理
大语言模型预训练、微调、RLHF
CLUENER2020数据集在https://www.cluebenchmarks.com/introduce.html上无法下载,可以在openxlab.org.cn上下载,如下图所示: 感谢博主的分析,可以完整的进行微调 微调2步的测试结果 Pytorch实现11种常用学习率调整策略(自定义学习率衰减) 如果你的PyTorch优化器效果欠佳,试试这4种深度学习中的高级优化技术吧 PyTorch不同优化器的比较
赵大仁
1 天前
人工智能
·
深度学习
·
神经网络
·
机器学习
·
自然语言处理
·
数据挖掘
·
数据分析
大语言模型的分层架构:高效建模的全新探索
随着大语言模型(LLM, Large Language Model)的规模不断扩大,其计算成本和资源需求也随之增加。为了解决这一问题,分层架构(Hierarchical Architecture)作为一种创新设计理念,通过结构化的层级设计,在提升模型性能的同时,降低计算复杂度。
Noos_
1 天前
人工智能
·
语言模型
·
自然语言处理
如何训练大型语言模型?
训练大型语言模型(LLMs)是一个复杂且资源密集的过程,它通常包括以下几个关键步骤:数据收集是训练大型语言模型的第一步。这个过程需要获取大量、高质量的文本数据。数据来源可以是公开可用的网页、新闻文章、社交媒体内容等,也可以利用现有的开源数据集如Common Crawl、Wikipedia、BookCorpus等。此外,还可以从专业领域或特定主题中获取文本数据,或者生成人工文本数据。
早安&早安
1 天前
人工智能
·
自然语言处理
什么是NLP语言:一文详解
自然语言处理(NLP,Natural Language Processing)是计算机科学与人工智能领域的一个重要分支,旨在让计算机能够理解、解释和生成自然语言(即人类语言)。NLP结合了语言学、计算机科学和机器学习,利用统计学和算法分析、处理和生成语言。NLP语言通常指的是自然语言和机器处理之间的接口语言,或者是自然语言的机器可读表示。
早安&早安
1 天前
人工智能
·
深度学习
·
自然语言处理
NLP 基础理论和工具使用
定义:自然语言处理是一门让计算机能够理解、生成和操作人类语言的技术。 应用场景: 文本分类:垃圾邮件检测、情感分析。 信息提取:命名实体识别(NER)、关系抽取。 机器翻译:如 Google 翻译。 文本生成:如 ChatGPT、自动摘要。
东临碣石82
1 天前
人工智能
·
语言模型
·
自然语言处理
如何通过腾讯云平台执行SFT微调大语言模型
RAG并不是万能的,也会带来额外的Token开销,如果希望将RAG里的知识内化为大语言模型的知识,或者希望对模型进行干预,比如希望llama模型回答自己是某某公司开发的而不是Meta公司开发的(哈哈,有点太绷面子了^-^),就要对既有的LLM进行微调。微调时,SFT(Supervised Fine-Tuning)是一种行之有效的技术,SFT通过标注好的数据对预训练模型进行进一步训练。接下来展示如何通过腾讯云平台来进行SFT训练。
~Yogi
1 天前
人工智能
·
学习
·
自然语言处理
NLP学习
首先选择适合任务需求的模型架构。在这个例子中,我们选择了二次函数作为模型结构,它可以表示为: [ y = w_1x^2 + w_2x + w_3 ] 这里 (w_1, w_2, w_3) 是待学习的参数。
酒酿小圆子~
2 天前
gpt
·
自然语言处理
·
bert
【NLP】ELMO、GPT、BERT、BART模型解读及对比分析
Word Embedding(词嵌入) 技术是自然语言处理(NLP)领域的一项重大创新,它极大地推动了计算机理解和处理人类语言的能力。词嵌入技术通过将单词、句子甚至图像转换为数字向量,不仅改善了文本的表示方式,更重要的是,它捕捉到了语言的本质和丰富的语义信息。
嘿嘻哈呀
2 天前
人工智能
·
语言模型
·
自然语言处理
·
组合优化
基于大语言模型的组合优化
摘要:组合优化(Combinatorial Optimization, CO)对于提高工程应用的效率和性能至关重要。随着问题规模的增大和依赖关系的复杂化,找到最优解变得极具挑战性。在处理现实世界的工程问题时,基于纯数学推理的算法存在局限性,无法捕捉到优化所需的上下文细微差别。本研究探索了大型语言模型(Large Language Models, LLMs)在解决工程组合优化问题中的潜力,利用其推理能力和上下文知识。我们提出了一种基于LLM的新框架,该框架结合了网络拓扑和领域知识,以优化设计结构矩阵(Des
酒酿小圆子~
2 天前
人工智能
·
语言模型
·
自然语言处理
【NLP】语言模型的发展历程 (1)
语言模型的发展历程系列博客主要包含以下文章:本篇博客是该系列的第一篇,主要讲讲 语言模型(LM,Language Model) 的发展历程。
AnyaPapa
2 天前
人工智能
·
语言模型
·
自然语言处理
大语言模型训练
自监督预训练(Self-Supervised Pre-Training,简称SPT)是一种机器学习技术,其中模型从输入的其他部分学习预测其输入的部分,而不使用显式标签。这种方法特别适用于利用未标记数据,因为未标记数据比标记数据更为丰富。以下是该概念的总结:
夏天|여름이다
2 天前
人工智能
·
语言模型
·
自然语言处理
论文解析 | 基于语言模型的自主代理调查
论文 《A Survey on Large Language Model-based Autonomous Agents》 对基于大型语言模型(LLM)的自主智能体(Autonomous Agents)进行了全面调查。随着大型语言模型(如 GPT 系列、BERT、T5 等)的快速发展,研究者们开始探索如何将这些模型应用于自主智能体的构建,进而提升其在多种任务中的表现。本论文的核心内容包括 LLM 在自主智能体中的应用、挑战、未来研究方向等。
石臻臻的杂货铺
2 天前
人工智能
·
自然语言处理
自然语言处理基础:全面概述
自然语言处理(NLP)是人工智能(AI)中最引人入胜且具有影响力的领域之一。它驱动着我们日常使用的技术,从Siri和Alexa等语音助手到Google Translate等实时语言翻译工具。NLP弥合了人类交流与机器理解之间的鸿沟,使计算机能够处理、分析甚至生成人类语言。