nlp

weixin_43520816

通过 Markdown 改进 RAG 文档处理作者：Tableau原文地址：https://zhuanlan.zhihu.com/p/29139791931

反方向的钟儿

人工智能入门（2）人工智能入门（1）大数据通用型处理框架 1.数据采集与预处理：将数据写入数据仓库，数据采集包括文件日志的采集，数据库日志的采集，关系型数据库的接入和应用程序的接入 2.数据存储 3.数据清洗：任务调度系统对关键任务进行数据的有效筛选 4.数据可视化

冲上云霄的Jayden

PaddleNLP UIE 通过OCR识别银行回执信息UIE(Universal Information Extraction)：Yaojie Lu等人在ACL-2022中提出了通用信息抽取统一框架UIE。

DeepSeek与GPT的全方位对比及其为编程工作带来的巨大变革本文对DeepSeek和GPT两大AI模型进行了全方位的对比分析，重点探讨了它们在编程领域的应用差异及DeepSeek为软件开发工作带来的革命性变化。研究从模型架构、训练数据、编程能力、代码生成质量等多个维度展开系统比较，并深入分析了DeepSeek在代码补全、错误检测、算法优化等方面的独特优势。研究表明，DeepSeek凭借其专业化的训练和针对编程任务的优化，显著提升了开发效率，改变了传统编程工作流程，为软件工程领域带来了范式转变。文章还展望了AI辅助编程的未来发展趋势和潜在挑战。

自然语言处理NLP-文本预处理在自然语言处理（NLP）中，文本预处理是构建高效模型的关键步骤。原始文本通常包含噪声和不一致性，直接影响模型性能。通过预处理，可以提取结构化信息、减少计算复杂度，并提升模型对语义的理解能力。

一支王同学

使用LLama-Factory的简易教程（Llama3微调案例+详细步骤）引言：一套快速实现 Llama3 中文微调的教程主要参考：胖虎遛二狗的 B 站教学视频《【大模型微调】使用Llama Factory实现中文llama3微调》

LiteratureReading:[2023] GPT-4: Technical Report领域：NLP、大模型的理论与实践标题：[2023] GPT-4: Technical Report（GPT4-技术报告）作者：OpenAI

强化学习：DQN玩转CartPole游戏CartPole是OpenAI Gym中的经典控制问题，目标是通过左右移动小车保持杆子竖直：Q(st,at)←Q(st,at)+α[rt+1+γmax⁡aQ(st+1,a)−Q(st,at)]Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha[r_{t+1} + \gamma \max_a Q(s_{t+1},a) - Q(s_t,a_t)]Q(st,at)←Q(st,at)+α[rt+1+γmaxaQ(st+1,a)−Q(st,at)]

勤奋的小笼包

【论文阅读】CARES：医学视觉语言模型可信度的综合基准CARES: A Comprehensive Benchmark of Trustworthiness in Medical Vision Language Models CARES：医学视觉语言模型可信度的综合基准 Accepted by NeurIPS 2024 github:地址

勤奋的小笼包

【论文阅读】MMed-RAG：让多模态大模型告别“事实性幻觉”论文标题：MMED-RAG: VERSATILE MULTIMODAL RAG SYS-TEM FOR MEDICAL VISION LANGUAGE MODELS MED-RAG：用于医学视觉语言模型的多功能多模态 RAG 系统论文地址：地址 github：地址 Accepted by ICLR 2025

跑路程序员

T5常见微调方法T5（Text-to-Text Transfer Transformer）是一种通用的预训练语言模型，支持多种微调方式。除了 LoRA（Low-Rank Adaptation）微调外，还有以下几种常见的微调方法：

小说文本分析工具：基于streamlit实现的文本分析小说文本分析工具：基于streamlit实现的文本分析主要在于使用python对小说文本中章节之间的识别与分割，通过分词以及停用词库，抽取关键词章节的词云展示，以及关键词在整个文本当中的权重网络。

文献分享: ConstBERT固定数目向量编码文档😂图放这了，大道至简的 idea \text{idea} idea不愧是 ECIR \text{ECIR} ECIR

LLaMA-2 7B 简介LLaMA-2 7B 是 Meta（前 Facebook）推出的 LLaMA-2（Large Language Model Meta AI 2）系列中的一个 7B 参数（70 亿参数）版本。LLaMA-2 作为 LLaMA 的升级版本，专为更高效的推理和更广泛的应用场景设计，支持开源使用，并可用于研究和商业用途。

MOE（Mixture of Experts）门控网络的实现与优化MOE（Mixture of Experts，混合专家）是一种强大的深度学习架构，它通过多个“专家”模型来处理输入数据，并使用一个门控网络（Gating Network）动态选择或加权组合各个专家的输出，从而提升模型的计算效率和任务适应能力。本文将详细介绍 MOE 门控系统的实现方式，并提供完整的代码示例。

邪恶的贝利亚

神经网络之词嵌入模型（基于torch api调用）Word Embedding（词嵌入）：词嵌入技术是自然语言处理（NLP）领域的一项重大创新，它极大地推动了计算机理解和处理人类语言的能力。

DeepSeek开源周Day5: 3FS存储系统与AI数据处理新标杆项目地址：开源日历：2025-02-24起每日9AM(北京时间)更新，持续五天 (5/5)！在AI技术迅猛发展的浪潮中，DeepSeek以「开源周」形式连续五天发布五大核心基础设施项目，引发行业震动。最终日压轴登场的 Fire-Flyer File System（3FS）和 smallpond 数据处理框架，更是将存储与计算性能推向新高度。与此同时，OpenAI仓促推出GPT-4.5却因天价API引发争议。本文将全面解析这场技术盛宴的核心突破。

数据可视化02-PCA降维PCA做什么？找坐标系。目标？二维降到一维，信息保留最多。怎么样最好？数据分布最分散的方向（方差最大），作为主成分（坐标轴）。

不懂就要问

GPT1 与 GPT2 的异同GPT1介绍了一种通过生成式预训练（Generative Pre-Training）来提升语言理解能力的方法。这种方法首先在一个大型的未标注文本语料库上进行语言模型的预训练，然后针对具体的任务进行判别式微调（discriminative fine-tuning）。文章详细阐述了这种方法的动机、相关工作、框架、实验结果以及分析。