java调用ai模型:使用国产通义千问完成基于知识库的问答

整体介绍：

基于RAG（Retrieval-Augmented Generation）技术，可以实现一个高效的Java智能问答客服机器人。核心思路是将预先准备的问答QA文档（例如Word格式文件）导入系统，通过数据清洗、向量化处理，并存储到向量数据库中。当用户提问时，系统首先识别并理解用户的查询意图，接着从向量数据库中检索出最相关的文档或数据，最后结合大模型生成准确的回答。整个过程利用了Java编程语言的优势，确保了系统的高效运行和维护性。这种方案不仅能够提升客服机器人的响应速度，还能保证答案的准确性与相关性，为用户提供优质的智能问答体验。

rag介绍：

检索增强生成 (RAG) 是一种技术，它结合了检索模型和生成模型，以私有知识库中的信息来辅助文本生成。这解决了使用大模型时常见的问题：模型可能会产生不准确的回答（即幻觉），以及缺乏企业特定数据导致的泛化回答。通过访问私有知识库，RAG能够提供更精准、更符合上下文的回复。

RAG的主要流程

在RAG（Retrieval-Augmented Generation）中，主要流程分为两个部分：索引构建流程和使用流程。

索引构建流程

首先进行数据准备。数据导入阶段，从各种来源收集原始数据，并对其进行清洗，包括去除噪音、处理缺失值等预处理操作，以确保数据的质量；然后将这些数据转换为适合向量化处理的格式。接下来是向量化模块，在这一阶段，利用预训练的语言模型（如BERT或GLP等）从已清洗的数据中提取特征并将其转换成向量形式。最后一步是数据存储与索引构建，这里会把上述生成的向量数据保存到数据库或文件系统里，并基于这些数据创建索引来加速后续的信息检索过程。

使用流程

当用户提出查询时，首先通过意图识别来分析用户的实际需求，并可能对初始问题进行改写优化以便更好地匹配潜在答案。接着进入检索阶段，系统依据之前建立的索引查找与当前问题高度相关的文档或信息片段。找到相关资料后，重排环节会根据内容的相关性和质量等因素调整搜索结果的顺序，使得最符合要求的答案优先显示。之后，输出接入步骤负责将筛选出的信息组织整理成易于理解的形式，并最终形成完整的回复文本。最后，该回复被呈现给用户，同时系统还能够收集用户反馈用于持续改进服务。

通义千问介绍

通义千问介绍

通义千问是由阿里集团输出的开源大模型服务，它支持全尺寸、多模态的大模型。在中文开源模型领域，通义千问具备显著的优势。以下是通义千问的核心能力、能力排行榜以及价格情况的详细介绍。

核心优势

1. 能力排名靠前：通义千问在多个客观评测指标上表现优异，如MMLU、TheoremQA和GPQA等，超越了Llama 3 70B。特别是在国产大模型中，其竞技场模式下的性能仅次于OpenAI的GPT系列、Claude和GreK。

1. 可访问性和合规性：通过API调用时，通义千问提供了安全保护措施，有效避免了恶意攻击问题。

1. 完全开源：作为目前最为开放的模型之一，通义千问提供了全尺寸的多模态大模型开源版本，用户可以根据需求选择不同规模的模型。

1. 价格合适：通义千问为用户提供100万免费token，并且调用API的成本相对较低。对于自建模型的情况，甚至可以实现免费使用。特别推荐关注Qwen和Qwen VL两个模态的模型，它们在国内开源榜单上均处于领先地位。

能力排行榜

• 在国内思南大模型竞技场排名中，通义千问位居前列，是表现最好的开源模型之一。

• 参考链接：

• • 思南平台

• • 国外竞技场排行榜

• • 基准测试参考

价格情况

• 提供100万免费token，适合初步尝试和小规模应用。

• API调用成本低，适合长期使用。

• 开源特性使得自行部署成为可能，从而进一步降低成本。

Spring AI Alibaba介绍

Spring AI Alibaba 是由 Spring 官方团队维护的针对阿里云大模型服务的实现框架，它基于 Spring AI 的 API，提供了与阿里云百炼大模型系列产品的集成。其核心优势在于提供统一的接口来接入多种AI能力，包括对话、文生图、文生语音等，使得开发者可以轻松切换不同的AI服务而无需修改大量代码。此外，Spring AI Alibaba 作为阿里云的最佳实践之一，特别强调了对 RAG（检索增强生成）的支持，这使得 Java 开发者能够便捷地利用私有知识库进行文本生成和问答系统构建，从而极大地提升了开发效率和应用的智能水平。通过这一框架，开发者不仅能够快速整合阿里云的AI能力到自己的Java应用中，还能享受到Spring生态系统的强大支持和良好的社区资源。

检索增强的后端代码编写

要通过检索增强 (RAG) 的方式读取一个名为 问答聊天机器人素材.docx 的 Word 文件，并构建好向量索引，最后对外提供服务，我们可以遵循以下步骤。根据我了解的信息中的内容，这个过程主要涉及配置、依赖添加以及具体的代码实现。

1. 环境准备

首先确保你的开发环境满足以下要求：

• JDK版本至少为17

• Spring Boot版本为3.3.x或更高

• 已从阿里云获取了通义千问的API key

2. 配置文件设置

在项目的application.properties或者application.yml中添加如下配置项来指定API key：

spring.ai.dashscope.api-key=${AI_DASHSCOPE_API_KEY}

同时，在启动项目前需设置环境变量：

export AI_DASHSCOPE_API_KEY=your_api_key_here

3. 添加仓库与依赖

由于Spring AI Alibaba还在Milestone阶段，需要额外添加特定仓库支持。在你的pom.xml里加入如下仓库定义：

<repositories>
    <repository>
        <id>sonatype-snapshots</id>

        <url>https://oss.sonatype.org/content/repositories/snapshots</url>

        <snapshots>
            <enabled>true</enabled>

        </snapshots>

    </repository>

    <repository>
        <id>spring-milestones</id>

        <name>Spring Milestones</name>

        <url>https://repo.spring.io/milestone</url>

        <snapshots>
            <enabled>false</enabled>

        </snapshots>

    </repository>

    <repository>
        <id>spring-snapshots</id>

        <name>Spring Snapshots</name>

        <url>https://repo.spring.io/snapshot</url>

        <releases>
            <enabled>false</enabled>

        </releases>

    </repository>

</repositories>

接下来添加必要的依赖到pom.xml中：

<dependencies>
    <dependency>
        <groupId>com.alibaba.cloud.ai</groupId>

        <artifactId>spring-ai-alibaba-starter</artifactId>

        <version>1.0.0-M2</version>

    </dependency>

    <!-- 其他可能需要的依赖 -->
</dependencies>

4. 实现服务类和控制器

创建一个名为RagService的服务类来处理向量索引的构建及查询逻辑。此外，我们还需要一个控制器类RagController用于接收外部请求并调用服务层方法。

RagService.java

public class RagService {
    // 省略其他成员变量声明
    private final ChatClient chatClient;
    private final VectorStore vectorStore;
    private final DashScopeApi dashscopeApi = new DashScopeApi("your_api_key");
    private DocumentRetriever retriever;

    public RagService(ChatClient chatClient, EmbeddingModel embeddingModel) {
        this.chatClient = chatClient;
        vectorStore = new DashScopeCloudStore(dashscopeApi, new DashScopeStoreOptions("chatbot_knowledge_base"));
        retriever = new DashScopeDocumentRetriever(dashscopeApi, DashScopeDocumentRetrieverOptions.builder().withIndexName("chatbot_knowledge_base").build());
    }

    public String buildIndex() {
        String filePath = "路径/问答聊天机器人素材.docx";
        DocumentReader reader = new DashScopeDocumentCloudReader(filePath, dashscopeApi, null);
        List<Document> documentList = reader.get();
        vectorStore.add(documentList);
        return "Index built successfully.";
    }

    public StreamResponseSpec queryWithDocumentRetrieval(String message) {
        return chatClient.prompt().user(message).advisors(new DocumentRetrievalAdvisor(retriever, DEFAULT_USER_TEXT_ADVISE)).stream();
    }
}

RagController.java

@RestController
@RequestMapping("/ai")
public class RagController {
    private final RagService ragService;

    @Autowired
    public RagController(RagService ragService) {
        this.ragService = ragService;
    }

    @GetMapping("/ragChat")
    public Flux<String> generate(@RequestParam(value = "input", defaultValue = "你好") String input, HttpServletResponse response) {
        response.setCharacterEncoding("UTF-8");
        return ragService.queryWithDocumentRetrieval(input).content();
    }

    @GetMapping("/buildIndex")
    public String buildIndex() {
        return ragService.buildIndex();
    }
}

以上步骤实现了基于给定Word文档建立索引，并且能够通过HTTP GET请求访问http://localhost:8080/ai/ragChat?input=...接口以获取对话回复的功能。记得首次运行应用时先调用/buildIndex端点来初始化数据索引。

检索增强的前端代码编写

为了构建一个基于React的简单前端项目，该项目能够支持从后端接收流式数据（flux<String>），我们可以按照以下步骤操作。这个过程包括创建新的React应用、编写必要的组件代码以处理流式响应，并确保后端接口允许跨源资源共享(CORS)。

1. 创建并初始化React应用

首先，你需要设置一个新的React环境。如果还没有安装Node.js和npm，请先进行安装。然后执行如下命令来创建新的React应用：

npx create-react-app frontend
cd frontend
npm install

这将为你准备好一个基础的React项目结构。

2. 配置基本HTML文件

在public/index.html中，保持默认配置即可，因为React会自动使用它作为入口点。

3. 编写React组件

接下来，在src/目录下调整或创建相应的文件，以便我们的应用可以发送请求到指定的后端URL，并处理返回的数据流。

src/index.js

此文件负责渲染根组件App到DOM中。

import React from 'react';
import ReactDOM from 'react-dom';
import App from './App';

ReactDOM.render(
  <React.StrictMode>
    <App />
  </React.StrictMode>,
  document.getElementById('root')
);

src/App.js

这里定义了顶层的应用布局，我们将在这里引入ChatComponent。

import React from 'react';
import ChatComponent from './components/ChatComponent';

function App() {
  return (
    <div className="App">
      <ChatComponent />
    </div>

  );
}

export default App;

src/components/ChatComponent.js

这是主要的聊天组件，它实现了消息输入、发送以及显示接收到的消息流的功能。

import React, { useState } from 'react';

function ChatComponent() {
  const [input, setInput] = useState('');
  const [messages, setMessages] = useState('');

  const handleInputChange = (event) => {
    setInput(event.target.value);
  };

  const handleSendMessage = async () => {
    try {
      const response = await fetch(`http://localhost:8080/ai/ragChat?input=${input}`);
      if (!response.ok) throw new Error('Network response was not ok');
      
      const reader = response.body.getReader();
      const decoder = new TextDecoder('utf-8');
      let done = false;

      while (!done) {
        const { value, done: readerDone } = await reader.read();
        done = readerDone;
        const chunk = decoder.decode(value, { stream: true });
        setMessages((prevMessages) => prevMessages + chunk);
      }

      // 添加换行符区分不同请求的结果
      setMessages((prevMessages) => prevMessages + '\n\n=============================\n\n');
    } catch (error) {
      console.error('Failed to fetch:', error);
    }
  };

  const handleClearMessages = () => {
    setMessages('');
  };

  return (
    <div>
      <input
        type="text"
        value={input}
        onChange={handleInputChange}
        placeholder="Enter your message"
      />
      <button onClick={handleSendMessage}>Send</button>

      <button onClick={handleClearMessages}>Clear</button>

      <div>
        <h3>Messages:</h3>

        <pre>{messages}</pre>

      </div>

    </div>

  );
}

export default ChatComponent;

4. 运行你的React应用

完成上述所有步骤之后，你可以通过运行以下命令启动开发服务器：

npm start

这将打开一个本地服务器，默认情况下位于http://localhost:3000。此时，你可以在浏览器中访问该地址，测试聊天功能是否正常工作。

请注意，确保你的后端服务已经正确配置好CORS策略，以便允许来自http://localhost:3000的请求。