qwen

AGI 之【Dify】之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型，实现 API 形式进行聊天对话目录AGI 之【Dify】之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型，实现 API 形式进行聊天对话

大模型Qwen2.5 家族的最新成员阿里今天发布了 Qwen 家族的最新成员：Qwen2.5，包括语言模型 Qwen2.5，以及专门针对编程的 Qwen2.5-Coder 和数学的 Qwen2.5-Math 模型。

AudioNotes -将音频内容转 markdownAudioNotes 能够快速提取音视频的内容，并且调用大模型进行整理，成为一份结构化的markdown笔记，方便快速阅读。基于 FunASR 和 Qwen2 构建。

使用Chainlit接入通义千问快速实现一个自然语言转sql语言的智能体让我们构建一个简单的应用程序，帮助用户使用自然语言创建 SQL 查询。最终结果预览此示例有额外的依赖项。你可以使用以下命令安装它们：

使用Chainlit接入通义千问快速实现一个本地文档知识问答机器人增强版之前写了一篇文章，使用国内通义千问作为llm，结合langchain框架实现文本向量化检索和使用chainlit实现网页界面交互，实现一个本地知识问答的机器人。原文链接《使用Chainlit接入通义千问快速实现一个本地文档知识问答机器人》。本次基于上个版本做了增强优化，重要改动是：

Qwen2本地web Demo千问2前段时间发布了，个人觉得千问系列是我用过最好的中文开源大模型，所以这里基于streamlit进行一个千问2的web搭建，来进行模型的测试

我在北国不背锅

内网环境使用Docker部署Qwen2模型在我参与的一个国企项目中，我们基于大语言模型开发了一些应用，但是甲方公司所有的资源环境都是纯内网。更为有趣的是，甲方公司已自主搭建并运行着一套百度机器学习平台（BML），客户要求所有的大模型部署必须依托于现有的BML平台进行，而非独立构建全新的基础设施，资源申请也相当严苛。面对这一系列限定条件，我们只能试着利用Docker容器技术进行大语言模型的部署。

阿里通义千问：本地部署Qwen1.5开源大模型通义千问为阿里云研发的大语言系列模型。千问模型基于Transformer架构，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在预训练模型的基础之上，使用对齐机制打造了模型的chat版本。

Qwen2开源发布，各方位全面升级！今天，通义千问团队带来了Qwen2系列模型，Qwen2系列模型是Qwen1.5系列模型的重大升级。包括了：

本地体验最强开源模型Llama3+Qnw（支持Windows和Mac）一键运行大模型本地软件（含模型）：点击下载Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。

利用ollama和open-webui本地部署通义千问Qwen1.5-7B-Chat模型目录1 安装ollama2 安装open-webui2.1 镜像下载3 配置ollama的模型转换工具环境

Qwen1.5大语言模型微调实践在人工智能领域，大语言模型（Large Language Model，LLM）的兴起和广泛应用，为自然语言处理（NLP）带来了前所未有的变革。Qwen1.5大语言模型作为其中的佼佼者，不仅拥有强大的语言生成和理解能力，而且能够通过微调（fine-tuning）来适应各种特定场景和任务。本文将带领大家深入实战，探索如何对Qwen大语言模型进行微调，以满足实际应用的需求。

LLM端侧部署系列 | 如何将阿里千问大模型Qwen部署到手机上？实战演示(下篇)引言简介编译Android可用的模型转换权重生成配置文件模型编译编译apk修改配置文件绑定android library

假装我不帅

llama.cpp运行qwen0.5B参考05b模型下载执行转换命令将模型量化为5Bit（使用q5_k-m方法）运行尝鲜通义千问1.8B 参考 hf2gguf

LangChain + Qwen（DashScope）常见的 RAG 示例，一般使用 OpenAI，你也可以使用 Qwen 作为 LLM。在 LangChain 中，调用 Tongyi 来实现。（而不是 Qwen）

xinference - 大模型分布式推理框架Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。

GPT实战系列-LangChain如何构建基通义千问的多工具链LangChainGPT实战系列-LangChain如何构建基通义千问的多工具链GPT实战系列-构建多参数的自定义LangChain工具

GPT实战系列-LangChain实现简单链LangChainGPT实战系列-LangChain如何构建基通义千问的多工具链GPT实战系列-构建多参数的自定义LangChain工具

借助 .NET 开源库 Sdcb.DashScope 调用阿里云灵积通义千问 API在昨天的博文中，我们通过 Semantic Kernel 调用了自己部署的通义千问开源大模型，但是自己部署通义千问对服务器的配置要求很高，即使使用抢占式按量实例，每次使用时启动服务器，使用完关闭服务器，也比较麻烦，而且越高级的大模型对服务器的配置越高。所以昨天的博文中使用了很低级的 Qwen-7B-Chat 模型，结果回答问题的效果很不理想，连博客园的网站域名都弄错了。

GPT实战系列-实战Qwen在Cuda 12+24G部署方案ChatGLM4进行新闻发布，但还没有开源更新，在此之际，实战部署测试Qwen大模型。目前Qwen的口碑貌似还不错，测试显卡内存24G，毕竟有限，排除了Qwen14非量化方案Qwen-14B-Chat，只有 Qwen-7B-Chat，Qwen-7B-Chat-Int4，Qwen-14B-Chat-Int4 模型可用。测试过程中Qwen-7B-Chat出现显存bug，只能都用Int4方案。