nlp

PaddleNLP的环境配置：PaddleNLP的环境配置：更换版本

论文翻译 | Learning to Transfer Prompts for Text Generation预训练语言模型（PLMs）通过微调在文本生成任务中取得了显著进展。然而，在数据稀缺的情况下对plm进行微调是具有挑战性的。因此，开发一个通用的、轻量级的、能够适应各种基于plm的文本生成任务的模型是非常重要的。为了实现这一目标，最近的基于提示的学习提供了一个潜在的解决方案。在本文中，我们改进了这一技术，并提出了一种新的基于提示的文本生成方法（PTG）。首先，PTG为各种源生成任务学习一组源提示，然后将这些提示作为目标提示传输，以执行目标生成任务。为了同时考虑任务级和实例级信息，我们设计了一种自适应注意机制

【NLP】第一章：知识体系框架概览本系列是前面我写的深度学习系列、计算机视觉系列的延申。所以对于没有前面DNN、CNN相关基础的同学，建议一定一定要从前面看起： DNN系列：https://blog.csdn.net/friday1203/category_12824284.html CNN系列：https://blog.csdn.net/friday1203/category_12824257.html 本系列中涉及到前面的知识点我都默认是不需要展开说明的。所以当你看不懂时，从前面一步步看，到这里就是水到渠成的事情了。

【 LLM论文日更｜检索增强：大型语言模型是强大的零样本检索器】这篇论文提出了“大型语言模型作为检索器”（LameR）用于解决零样本大规模检索问题。具体来说，通过检索器获取查询q的前M个候选答案Cq。

【tokenization分词】WordPiece, Byte-Pair Encoding(BPE), Byte-level BPE(BBPE)的原理和代码目录前言1、word (词粒度)2、char (字符粒度)3、subword (子词粒度)WordPiece

LLM大模型微调入门Lora（LlamaFactory）LLaMA-Factory 是一个开源框架，旨在简化大型语言模型的定制化微调流程。该框架整合了多样化的训练策略与监控工具，支持通过命令行界面（CLI）和网页用户界面（WebUI）等多种方式进行交互，显著降低了进行模型微调所需的技术门槛。通过 LLaMA-Factory，用户能够更加高效、便捷地调整模型以适应特定的应用场景或数据集，进而提升模型性能和应用效果。

小森( ﹡ˆoˆ﹡ )

词嵌入方法（Word Embedding）Word Embedding是NLP中的一种技术，通过将单词映射到一个空间向量来表示每个单词✨️常见的词嵌入方法：

人工智障调包侠

Pytorch从0复现worc2vec skipgram模型及fasttext训练维基百科语料词向量演示目录Skipgram架构代码开源声明Pytorch复现Skip-gram导包及随机种子设置维基百科数据读取

NLP论文速读（NeurIPS 2024）|大语言模型在评估的时候更倾向于自己生成的内容论文信息：这篇论文探讨了大型语言模型（LLMs）在自我评估时出现的自我偏好问题。具体来说，它研究了LLMs在评估文本时倾向于给自己生成的文本打高分，而人类评估者则认为这些文本与其他LLM或人类生成的文本质量相当。论文的核心问题是探究LLMs是否因为能够识别出自己的输出而产生这种自我偏好，还是这种偏好仅仅是巧合。研究动机在于自我评估在LLM生命周期中变得越来越重要，尤其是在奖励建模、基于模型的基准测试、自我完善和宪法AI等方法中。LLMs作为评估者时，其评估的中立性受到质疑，可能导致系统性偏差。这种自我偏好

P-tuning、Prompt-tuning和Prefix-tuning区别是什么？Prompt Tuning 是通过在输入序列前添加额外的 Token 来适配下游任务的方法。这些额外的 Token 是可训练的，而预训练语言模型的参数保持不变。 Prefix Tuning 是在每层 Transformer 结构的输入前添加一组可训练的 Token。这样，模型在处理输入序列时，每一层的输入都会包含这些额外的 Token，从而适配下游任务。 P-Tuning 是 Prompt Tuning 的一种变体，其核心思想是在特定位置插入可训练的 Token，使模型能够更好地理解下游任务的需求。P-T

医学小达人

Python 分子图分类，GNN Model for HIV Molecules Classification，HIV 分子图分类模型；整图分类问题，代码实战一、分子图分子图（molecular graph）是一种用来表示分子结构的图形方式，其中原子被表示为节点（vertices），化学键被表示为边（edges）。对于HIV（人类免疫缺陷病毒），分子图可以用来详细描述其复杂的化学结构和相互作用，这对于理解HIV的生物学特性和开发治疗药物至关重要。

NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型论文信息：该论文试图解决的问题是如何提高长文本上下文大型语言模型（LLMs）在监督式微调（SFT）中的性能，尤其是在使用由LLMs自身自动合成的数据时，这些数据的质量往往会影响模型的长期上下文处理能力，导致模型存在固有的缺陷，如幻觉和无法充分利用上下文信息。论文的主要动机是，尽管强化学习（RL）通过适当的奖励信号可以进一步提升模型的能力，但在长文本场景中如何获得可靠的奖励信号仍然是一个未被探索的问题。为了解决这一挑战，论文提出了一种新的方法，旨在通过自动化的方式为长文本模型响应提供可靠的奖励，从而使得RL

【LLM Agents体验 1】Dify框架的安装指南Dify简介：‌Dify是一款开源的大语言模型(LLM)应用开发平台，融合了后端即服务（Backend as a Service, BaaS）和LLMOps的理念，使开发者可以快速搭建生产级的生成式AI应用。LLMOps涵盖了大型语言模型的开发、部署、维护和优化的一整套实践和流程，确保高效、可扩展和安全地使用这些强大的AI模型来构建和运行实际应用程序‌。

论文 | Evaluating the Robustness of Discrete Prompts论文《Evaluating the Robustness of Discrete Prompts》深入探讨了离散提示（Discrete Prompts）的鲁棒性，即离散提示在自然语言处理任务中面对不同扰动时的表现。研究特别关注离散提示在自然语言推理（NLI）任务中的表现，并在一些基准数据集上测试了其对扰动的敏感性。本文主要分析了AutoPrompt (AP) 与人工编写提示（MP）在鲁棒性方面的差异。

从模糊搜索到语义搜索的进化之路——探索 Chroma 在大模型中的应用价值目录从模糊搜索到语义搜索的进化之路——探索 Chroma 在大模型中的应用价值一、引言二、实现语义搜索的数据库 Chroma

中文词向量质量的评估最近要对一些存量的模型评估性能，其中涉及到中文词向量模型的质量评估，因此也研究了一下这方面，把测试的方法和结果进行了总结。

python NLTK快速入门NLTK（Natural Language Toolkit）是一个强大的Python库，专门用于自然语言处理（NLP）任务，常用于文本分析、语言数据处理和机器学习。NLTK包含丰富的语料库和词汇资源，还提供了众多分析工具。

论文翻译 | PROMPTAGATOR : FEW-SHOT DENSE RETRIEVAL FROM 8 EXAMPLES最近的信息检索研究主要集中在如何从一个任务（通常有丰富的监督数据）转移到其他各种监督有限的任务上，其隐含的假设是从一个任务可以泛化到所有其他任务。然而，这忽略了这样一个事实，即存在许多多样化和独特的检索任务，每个任务都针对不同的搜索意图、查询和搜索领域。在本文中，我们建议研究Few-shot Dense Retrieval，这是一种每个任务都带有简短描述和几个示例的设置。为了增强几个示例的力量，我们提出了Promptbase Query Generation for Retriever（PROMPTAGA

基于milvus的多模态检索向量是具有一定大小和方向的量，可以简单理解为一串数字的集合，就像一行多列的矩阵，比如：[2,0,1,9,0,6,3,0]。每一行代表一个数据项，每一列代表一个该数据项的各个属性。特征向量是包含事物重要特征的向量。大家比较熟知的一个特征向量是RGB (红-绿-蓝)色彩。每种颜色都可以通过对红®、绿(G)、蓝(B)三种颜色的比例来得到。这样一个特征向量可以描述为：颜色 = [红，绿，蓝]。向量检索是指从向量库中检索出距离目标向量最近的 K 个向量。一般我们用两个向量间的欧式距离，余弦距离等来衡量两个向量间的距

基于Pyecharts的数据可视化开发（二）调用通义千问api分析爬虫数据上一篇博客做了关于“广州市2023年天气情况”的数据爬取，并保存为.csv文件。下一步是想用生成的.csv文件，直接调用大模型api进行分析，得出结论。通过调研，阿里云的通义千问大模型qwen-long可以实现对文件数据的分析。