自然语言处理

机器学习-朴素贝叶斯今天和大家聊一个机器学习算法-朴素贝叶斯,它的基于概率统计思想的一种机器学习算法常用于分类任务。先验概率：基于统计的概率，根据以往历史经验和分析得到的结果，不需要依赖当前发生的条件。

GPTZero：高效识别AI生成文本，保障学术诚信与内容原创性GPTZero 是一款先进的AI文本检测工具，专为识别由大型语言模型（如ChatGPT、GPT-4、Bard等）生成的文本而设计。它通过分析文本的复杂性和一致性，判断文本是否可能由人类编写。GPTZero 已经得到了超过100家媒体机构的报道，成为AI内容检测领域的领先工具之一。其核心优势在于快速和高效的检测能力，能够在几秒钟内对多达50,000个字符的文本进行AI生成内容的检测，为用户提供了一个可靠的工具来识别潜在的AI抄袭行为。

大模型任我行

腾讯：将LLM排序能力迁移至BERT📖标题：Best Practices for Distilling Large Language Models into BERT for Web Search Ranking 🌐来源：arXiv, 2411.04539

机器翻译基础与模型之一：基于RNN的模型基于规则的-->基于实例的-->基于统计方法的-->基于神经网络的传统统计机器翻译把词序列看作离散空间里的由多个特征函数描述的点，类似于 n-gram 语言模型，这类模型对数据稀疏问题非常敏感。神经机器翻译把文字序列表示为实数向量，一方面避免了特征工程繁重的工作，另一方面使得系统可以对文字序列的“表示”进行学习。

大模型 VS 大语言模型最近很多朋友搞不懂大模型和大预言模型的区别，总是把大模型就认为是大语言模型。今天就用这篇帖子做一个科普。

大模型KS-LLMKS-LLM: Knowledge Selection of Large Language Models with Evidence Document for Question Answering

DrugLLM——利用大规模语言模型通过 Few-Shot 生成生物制药小分子小分子由于能够与特定的生物靶点结合并调节其功能，因此在药物发现领域发挥着至关重要的作用。根据美国食品和药物管理局（FDA）过去十年的审批记录，小分子药物占所有获批上市药物的 76%。小分子药物的特点是合成相对容易，生物利用度高，易于到达预定靶点。然而，设计具有理想特性的分子非常困难，需要耗费大量的资源和时间。例如，找到一种有效的药物需要 9-12 年的药物开发过程和数十亿美元。

希尔贝壳AISHELL

上交大与上海人工智能研究所联合推出医学多语言模型，模型数据代码开源今天为大家介绍的是来自上海交通大学的王延峰与谢伟迪团队的一篇论文。开源的多语言医学语言模型的发展可以惠及来自不同地区、语言多样化的广泛受众。

向量数据库FAISS之五：原理(LSH、PQ、HNSW、IVF)左侧是字典，右侧是 LSH。目的是把足够相似的索引放在同一个桶内。LSH 有很多的版本，很灵活，这里先介绍第一个版本，也是原始版本

向量数据库FAISS之一：官方简单教程什么是相似度搜索给出一组向量d维 { x 1 , … , x n } \{x_1, …,x_n \} {x1,…,xn}，Fassi 在 RAM 中建立数据结构。

ELMo模型介绍：深度理解语言模型的嵌入艺术在自然语言处理（NLP）领域，词嵌入（word embedding）是将词汇或短语从词汇表映射到向量的数学表示，这些向量能够捕捉词汇之间的语义和语法关系。ELMo（Embeddings from Language Models）是一种新型的深度语境化词表征模型，由Allen AI研究所在2018年提出。ELMo模型通过训练一个双向语言模型（bi-directional language model），并利用其内部隐藏状态作为词的嵌入，显著提升了多种NLP任务的性能。本文将深入探讨ELMo模型的原理、优势、

论文翻译 | Learning to Transfer Prompts for Text Generation预训练语言模型（PLMs）通过微调在文本生成任务中取得了显著进展。然而，在数据稀缺的情况下对plm进行微调是具有挑战性的。因此，开发一个通用的、轻量级的、能够适应各种基于plm的文本生成任务的模型是非常重要的。为了实现这一目标，最近的基于提示的学习提供了一个潜在的解决方案。在本文中，我们改进了这一技术，并提出了一种新的基于提示的文本生成方法（PTG）。首先，PTG为各种源生成任务学习一组源提示，然后将这些提示作为目标提示传输，以执行目标生成任务。为了同时考虑任务级和实例级信息，我们设计了一种自适应注意机制

大型语言模型综述 A Survey of Large Language Models文章源自2303.18223 (arxiv.org)如有侵权，请通知下线这是一篇关于大语言模型（LLMs）的综述论文，主要介绍了 LLMs 的发展历程、技术架构、训练方法、应用领域以及面临的挑战等方面，具体内容如下：

大语言模型（LLM）入门级选手初学教程四模型量化（Model Quantization），来减少大模型的显存占用，从而使得能够在资源有限的环境下使用大模型。

论文阅读：Mixture-of-Agents Enhances Large Language Model Capabilities一、简介旨在利用多个 LLM 的专业知识增强自然语言理解和生成任务的能力。提出了一种新方法，通过代理混合（MoA）方法利用多个 LLM 在不同专业方面的优势。即一个分层的 MoA 架构，其中每一层都包含多个 LLM 代理。每个代理都将上一层代理的所有输出作为生成其响应的辅助信息。MoAmodels 在 AlpacaEval 2.0、MT-Bench 和 FLASK 上实现了最先进的性能，超过了 GPT-4 Omni。

xianghan收藏册

LLM文档对话 —— pdf解析关键问题最近在探索ChatPDF和ChatDoc等方案的思路，也就是用LLM实现文档助手。在此记录一些难题和解决方案，首先讲解主要思想，其次以问题+回答的形式展开。

论文 | Learning to Transfer Prompts for Text Generation论文提出了一种创新的PTG（Prompt Transfer Generation）方法，旨在通过迁移提示的方式解决传统预训练语言模型（PLM）在数据稀缺情况下微调的问题。通过将一组已在源任务中训练好的提示迁移到目标任务，PTG能够有效地减少数据依赖，并提高文本生成任务的表现。核心技术之一是自适应注意力机制，该机制能够动态地从源任务的提示中选择最相关的信息，从而生成高质量的目标文本。

深度学习速通系列:dify快速搭建1.下载并运行Docker安装脚本：这行命令通过curl下载并运行一个Docker安装脚本。2.下载并安装docker-compose：

整理：4篇专注于多模态大语言模型（MLLM）的瘦身变体论文近年来，随着人工智能技术飞速发展，大语言模型（LLM）和多模态大语言模型（MLLM）成为了炙手可热的明星。它们不仅能处理文字，还能看图识字，简直是“全能选手”。这种能力得益于模型中加入的“视觉编码器”和“特征投影仪”，就好比给大脑装上了“眼睛”和“理解工具”。不过，模型越大，就越像个贪吃的怪兽，耗费大量资源，让使用它的人直呼“吃不消”。所以，如何让这些模型既聪明又省钱，成了大家绞尽脑汁的挑战。

MarDini：Meta与KAUST合作的AI视频插帧技术，树立视频生成新标杆概述： Mardini 是 Meta 与沙特阿拉伯的阿卜杜拉国王科技大学（KAUST）合作推出的新一代视频扩散模型系列。它通过将掩码自回归（MAR）的优势整合到统一的扩散模型（DM）框架中，实现了视频插值、图像到视频的转换以及视频扩展等多种视频生成任务。