embedding

墨绿色的摆渡人

用 pytorch 从零开始创建大语言模型（六）：对分类进行微调本章内容包括：到目前为止，我们已经编写了LLM架构，对其进行了预训练，并学习了如何将来自外部来源（如OpenAI）的预训练权重导入我们的模型中。现在我们将开始收获劳动成果，通过在特定目标任务上对LLM进行微调，例如文本分类。本章中我们要研究的具体示例是将短信分类为“垃圾信息”或“非垃圾信息”。图6.1强调了对LLM进行微调的两种主要方式：用于分类的微调（步骤8）和用于指令跟随的微调（步骤9）。

Dify - 架构、部署、扩展与二次开发指南本文详细解析 Dify 的架构、部署流程、高可用中间件的独立部署方法，以及二次开发流程，帮助开发者更高效地管理和扩展 Dify。

LangChain教程 - Agent -之 REACT_DOCSTORE在智能问答和知识检索的场景下，如何让 AI 既具备推理能力，又能高效利用外部知识库？ReAct 框架已经展现了强大的推理能力，而 ReACT_DOCSTORE 则进一步增强了这一能力，结合了文档存储（DocStore），让 AI 先检索文档，再进行推理，从而提供更加准确的信息。

三级缓存架构三级缓存架构是一种通过分层缓存设计来优化系统性能、降低数据库负载、提高数据访问效率的解决方案，尤其适用于高并发、高吞吐量的业务场景（如电商、社交平台、实时推荐等）。其核心思想是通过多级缓存逐层过滤请求，减少对底层存储的直接访问。以下是三级缓存的详细解析：

微调训练方法概述：Fine-tuning、Prompt-tuning、P-tuning 及其他高效技术在深度学习和自然语言处理（NLP）领域，预训练模型（如 GPT、BERT 等）已经成为许多任务的基石。然而，尽管这些模型在预训练阶段学习了大量的通用知识，它们通常仍然需要根据特定任务进行微调，以实现最佳的任务性能。微调训练（fine-tuning）就是一种基于预训练模型，在特定任务数据上进一步训练的策略。

LangChain教程 - RAG - PDF问答系列文章索引 LangChain教程 - 系列文章在现代自然语言处理（NLP）中，基于文档内容的问答系统变得愈发重要，尤其是当我们需要从大量文档中提取信息时。通过结合文档检索和生成模型（如RAG，Retrieval-Augmented Generation），我们可以构建强大的问答系统。本博客将详细介绍如何使用FastAPI和LangChain框架，创建一个基于PDF文档的RAG问答API。

LLM（大语言模型）、Chat 大模型和 Embedding 大模型LLM（大语言模型）、Chat 大模型和 Embedding 大模型是当前人工智能领域中常见的三种模型类型，它们在功能、用途和技术特点上存在显著差异。

不同Embedding模型与大语言模型（LLM）的交互主要通过语义向量传递实现不同Embedding模型与大语言模型（LLM）的交互主要通过语义向量传递实现，其核心机制和示例如下：

GraphRAG如何使用ollama提供的llm model 和Embedding model服务构建本地知识库在GraphRAG的使用过程中将需要踩的坑都踩了一遍（不得不吐槽下，官方代码有很多遗留问题，他们自己也承认工作重心在算法的优化而不是各种模型和框架的兼容性适配性上），经过了大量的查阅各种资料以及debug过程（Indexing的过程有点费机器），最终成功运行了GraphRAG项目。先后测试了两种方式，都成功了:

大龄码农有梦想

Springboot集成Milvus和Embedding服务，实现向量化检索Milvus 是一款开源向量数据库，专为支持大规模向量检索而设计，特别适用于大模型领域中的应用。本文详细介绍如何利用 Spring Boot 框架集成 Milvus 向量数据库，并通过调用阿里云百炼大模型服务平台所提供的 Embedding服务，实现数据的向量化存储与高效检索。此过程不仅验证了 Milvus 向量数据库的基本能力，还展示了其与先进 AI 服务无缝对接的灵活性。

取个名字真难呐

window patch按块分割矩阵将一个三维矩阵按照window的大小进行拆分成多块2x2窗口矩阵，具体如下图所示

1.2 变革里程碑：Transformer 的崛起关键转折点：工程价值：数学表达式： Attention ( Q , K , V ) = softmax ( Q K T d k ) V \text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V Attention(Q,K,V)=softmax(dk QKT)V

程序设计实验室

大模型背后的向量魔法：Embedding技术初探本文原本是2022年写的，然而一直没有完善😂，自从LLM火起来之后，NLP领域的技术更新很快，本文只是大概介绍了Embedding相关的基础知识，具体应用接下来会在博客更新发布。

GraphRAG如何使用ollama提供的llm model 和Embedding model服务构建本地知识库在GraphRAG的使用过程中将需要踩的坑都踩了一遍（不得不吐槽下，官方代码有很多遗留问题，他们自己也承认工作重心在算法的优化而不是各种模型和框架的兼容性适配性上），经过了大量的查阅各种资料以及debug过程（Indexing的过程有点费机器），最终成功运行了GraphRAG项目。先后测试了两种方式，都成功了:

【NLP 20、Encoding编码和 Embedding嵌入】目录一、核心定义与区别二、常见Encoding编码(1) 独热编码（One-Hot Encoding）

[文献阅读] Unsupervised Deep Embedding for Clustering Analysis （DEC）（pytorch复现）This week I read Unsupervised Deep Embedding for Clustering Analysis .It discusses the concept of Unsupervised Deep Embedding for Clustering Analysis (DEC), a method that employs KL divergence for clustering loss to adjust a pre-trained neural network enc

GraphRAG如何使用ollama提供的llm model 和Embedding model服务构建本地知识库在GraphRAG的使用过程中将需要踩的坑都踩了一遍（不得不吐槽下，官方代码有很多遗留问题，他们自己也承认工作重心在算法的优化而不是各种模型和框架的兼容性适配性上），经过了大量的查阅各种资料以及debug过程（Indexing的过程有点费机器），最终成功运行了GraphRAG项目。先后测试了两种方式，都成功了:

加点油。。。。

Matlab2019a安装C2000 Processors超详细过程⭐ 链接1 Embedded Coder Support Package for Texas Instruments C2000 Processors - File Exchange - MATLAB Central

LLM大语言模型中RAG切片阶段改进策略适合对 Token 数量有严格要求的场景，比如使用上下文长度较小的模型时。示例文本： “LlamaIndex是一个强大的RAG框架。它提供了多种文档处理方式。用可以根据需选择合适的方法。”

【持续更新中】transformer详解和embedding大模型这里记录一下自己学习embedding大模型的记录，涉及到transformer和bert这些。一切都可以编码，比如说图片是三原色，所以可以用一些三维矩阵的组合来表示任何一张图，图形越清晰，矩阵越多