大模型

日报初级开发工程师

记录-内网部署vllm分布式推理DeepSeekR1:70b前段时间接到需求要在内网部署DeepSeekR1:70b，由于手里的服务器和显卡比较差（四台四块Tesla T4- 16g显存的服务器），先后尝试了ollama、vllm、llamacpp等，最后选择用vllm的分布式推理来部署。

互联网架构小马

什么是大型语言模型（LLM）？哪个大模型更好用？ChatGPT 是一种大型语言模型 (LLM)，您可能对此并不陌生。它以非凡的能力而闻名，已证明能够出色地完成各种任务，例如通过考试、生成产品内容、解决问题，甚至在最少的输入提示下编写程序。

AI大模型底层技术——结合 Prompt Engineering 的 LoRA目录1. 结合 Prompt Engineering 的 LoRA？(1) 定义(2) 核心思想2. 核心功能

从DeepSeek看算法备案&大模型备案一、deepseek的备案情况（一）算法备案情况在算法备案系统网站上，北京深度求索人工智能基础技术研究有限公司和杭州深度求索人工智能基础技术研究有限公司分别进行了两个算法备案。从公司名称来看，正如创始人梁文锋所说，这两家公司专注于人工智能前沿技术的基础研究。

chromadb 安装和使用Chromadb 是一个开源的嵌入式向量数据库，专为现代人工智能和机器学习应用设计，旨在高效存储、检索和管理向量数据。以下是关于它的详细介绍：

基于 docker 的 Xinference 全流程部署指南Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。

VSCode中结合DeepSeek使用Cline插件的感受听网上有传言说AI智能插件Cline非常的好用，而且相对Cursor而言还是免费的，捆绑的大模型选择也比较的广泛。所以，特意安装试用了一下。

张高兴的大模型开发实战：（四）使用 LangGraph 实现多智能体应用随着大语言模型（LLM）技术的快速发展，人们期望利用 LLM 解决各种复杂问题，在此背景下，构建智能体（Agent）应用受到了广泛关注。用户与 LLM 的交互可以被视为一种单智能体（Single-Agent）行为：用户通过提示词（prompt）与通用 LLM 进行对话，LLM 理解问题并提供反馈。然而，单一智能体在处理复杂任务时存在明显局限性，例如需要用户多次引导、缺乏对外部环境的感知能力、对话历史记忆有限等。

LLaMA-Factory大模型微调全流程指南该文档为LLaMA-Factory大模型微调提供了完整的技术指导，涵盖了从环境搭建到模型训练、推理和合并模型的全流程，适用于需要进行大模型预训练和微调的技术人员。

大模型应用初学指南随着人工智能技术的快速发展，检索增强生成（RAG）作为一种结合检索与生成的创新技术，正在重新定义信息检索的方式，RAG 的核心原理及其在实际应用中的挑战与解决方案，通用大模型在知识局限性、幻觉问题和数据安全性等方面的不足，随后详细介绍了 RAG 通过 “检索 + 生成” 模式如何有效解决这些问题，RAG 利用向量数据库高效存储与检索目标知识，并结合大模型生成合理答案，RAG 的关键技术进行了全面解析，包括文本清洗、文本切块、向量嵌入、召回优化及提示词工程等环节，针对 RAG 系统的召回效果与模型回答质量，

视觉&物联智能

【杂谈】-大型语言模型对具身人工智能发展的推动与挑战具身人工智能是指以物理实体形式存在的人工智能系统，例如各类机器人，它们具备感知并与周围环境进行互动的能力。与传统的在数字空间中运行的人工智能不同，具身人工智能实现了机器与物理世界的有效交互。具体而言，如机器人抓取杯子、无人机规避障碍物以及工厂中的机械臂组装零件等操作，都需要人工智能系统对视觉、听觉和触觉等感官输入进行准确的解释，并实时做出精确的动作反应。

未来之窗软件服务

llama-本地推理大模型多模型同时运行llama-server.exe -m "G:\AI-AI\LLM\stablediffusionv2.gguf" --port 8081

浅析RAG技术：大语言模型的知识增强之道在人工智能领域，大型语言模型(LLMs)如GPT-4、Llama3等展现出了惊人的文本生成能力，但它们也面临着知识滞后、事实性错误等挑战。Retrieval-Augmented Generation(RAG)技术应运而生，通过将信息检索与文本生成相结合，显著提升了AI系统的准确性和可靠性。本文将全面剖析RAG技术的原理、实现和最佳实践。

工具介绍 | SafeLLMDeploy教程来了保护本地LLM安全部署在AI技术飞速发展的今天，大语言模型（LLM）如GPT、DeepSeek等正以前所未有的方式改变着我们的工作和生活。然而，本地部署这些强大的AI系统在带来便利的同时，也伴随着不容忽视的安全隐患。数据泄露、未授权访问、恶意攻击——这些威胁让企业和开发者在本地部署LLM时如履薄冰。

AI提示词收集（持续更新）这些提示词都是零零总总从各位大佬那边收集的

未来智慧谷

DeepSeek大模型在政务服务领域的应用作为国产人工智能技术的代表，DeepSeek大模型通过多模态理解、自然语言处理与数据分析能力，正在重塑政务服务领域的运作模式。从公文处理到决策支持，从民生服务到城市治理，其应用场景呈现多点突破的态势。本文结合多地实践案例，从技术应用、典型案例与发展趋势三个维度，深入分析这一技术如何推动政府治理的智能化转型。

DeepSeek 都开源了哪些技术？DeepSeek作为中国领先的人工智能企业，通过开源策略推动了全球AI技术的普及与创新。以下是其官方公布的主要开源项目及其技术内容、应用场景和社区反馈的详细分析：

Minimind 训练一个自己专属语言模型发现了一个宝藏项目，宣传是完全从0开始，仅用3块钱成本 + 2小时！即可训练出仅为25.8M的超小语言模型MiniMind，最小版本体积是 GPT-3 的 17000，做到最普通的个人GPU也可快速训练

Ollama+open-webui搭建私有本地大模型详细教程Ollama 是一个轻量级的 AI 模型运行时，专注于简化 AI 模型的部署和使用。它支持多种预训练模型（如 Llama、Vicuna、Dolly 等），并且可以在本地运行，无需复杂的基础设施。Ollama 的设计理念是让 AI 模型的使用变得像运行普通程序一样简单，同时确保数据和隐私的安全性。

【Windows+Cursor】从0到1配置Arxiv MCP Server，实现论文自主查询、下载、分析、综述生成Installation | uv将安装路径添加到环境变量C:\Users\xxxxxx\.local\bin