LangChain4j—接入其他大模型(二)

1、都有哪些大模型

大语言模型排行榜： superclueai.com/

SuperCLUE 是由国内 CLUE 学术社区于 2023 年 5 月推出的中文通用大模型综合性评测基准。

LangChain4j支持接入的大模型 ：docs.langchain4j.dev/integration...

2、接入DeepSeek

DeepSeek API文档： api-docs.deepseek.com/zh-cn

获取开发参数

访问官网： www.deepseek.com/ 注册账号，获取base_url和api_key，充值

配置参数模型

在 LangChain4j 中，DeepSeek 和 GPT 一样也使用了 OpenAI 的接口标准，因此也使用OpenAiChatModel进行接入

java 复制代码

#DeepSeek
langchain4j.open-ai.chat-model.base-url=https://api.deepseek.com
langchain4j.open-ai.chat-model.api-key=${DEEP_SEEK_API_KEY}

#DeepSeek-V3
langchain4j.open-ai.chat-model.model-name=deepseek-chat

#DeepSeek-R1 推理模型
#langchain4j.open-ai.chat-model.model-name=deepseek-reasoner#DeepSeek
langchain4j.open-ai.chat-model.base-url=https://api.deepseek.com
langchain4j.open-ai.chat-model.api-key=${DEEP_SEEK_API_KEY}

#DeepSeek-V3
langchain4j.open-ai.chat-model.model-name=deepseek-chat

#DeepSeek-R1 推理模型
#langchain4j.open-ai.chat-model.model-name=deepseek-reasoner

3、ollama本地部署

官网： ollama.com/

3.1、为什么要本地部署

Ollama 是一个本地部署大模型的工具。使用 Ollama 进行本地部署有以下多方面的原因：

数据隐私与安全：对于金融、医疗、法律等涉及大量敏感数据的行业，数据安全至关重要。
离线可用性：在网络不稳定或无法联网的环境中，本地部署的 Ollama 模型仍可正常运行。
降低成本：云服务通常按使用量收费，长期使用下来费用较高。而 Ollama 本地部署，只需一次性投入硬件成本，对于需要频繁使用大语言模型且对成本敏感的用户或企业来说，能有效节约成本。
部署流程简单：只需通过简单的命令 "ollama run < 模型名>"，就可以自动下载并运行所需的模型。
灵活扩展与定制：可对模型微调，以适配垂直领域需求。

3.2、在ollama上部署DeepSeek

下载并安装ollama： OllamaSetup.exe
查看模型列表，选择要部署的模型，模型列表： ollama.com/search

执行命令： ollama run deepseek-r1:1.5 运行大模型。如果是第一次运行则会先下载大模型

3.3、常用命令

3.4、引入依赖

参考文档： docs.langchain4j.dev/integration...

js 复制代码

<!-- 接入ollama -->
<dependency>
    <groupId>dev.langchain4j</groupId>
    <artifactId>langchain4j-ollama-spring-boot-starter</artifactId>
</dependency>

3.5、配置模型参数

js 复制代码

#ollama
langchain4j.ollama.chat-model.base-url=http://localhost:11434
langchain4j.ollama.chat-model.model-name=deepseek-r1:1.5b
langchain4j.ollama.chat-model.log-requests=true
langchain4j.ollama.chat-model.log-responses=true

3.6、创建测试用例

java 复制代码

/**
* ollama接入
*/

@Autowired
private OllamaChatModel ollamaChatModel;

@Test
public void testOllama() {
    //向模型提问
    String answer = ollamaChatModel.chat("你好");
    //输出结果
    System.out.println(answer);
}

4、接入阿里百炼平台

4.1、什么是阿里百炼

阿里云百炼是 2023 年 10 月推出的。它集成了阿里的通义系列大模型和第三方大模型，涵盖文本、图像、音视频等不同模态。
功能优势：集成超百款大模型 API，模型选择丰富；5-10 分钟就能低代码快速构建智能体，应用构建高效；提供全链路模型训练、评估工具及全套应用开发工具，模型服务多元；在线部署可按需扩缩容，新用户有千万 token 免费送，业务落地成本低。
支持接入的模型列表： help.aliyun.com/zh/model-st...
模型广场： bailian.console.aliyun.com/?productCod...

4.2、申请免费体验

4.3、查询apiKey

4.4、添加依赖

LangChain4j参考文档： docs.langchain4j.dev/integration...

java 复制代码

<dependencies>
<!-- 接入阿里云百炼平台 -->
<dependency>
    <groupId>dev.langchain4j</groupId>
    <artifactId>langchain4j-community-dashscope-spring-boot-starter</artifactId>
</dependency>
</dependencies>

<dependencyManagement>
    <dependencies>
        <!--引入百炼依赖管理清单-->
        <dependency>
            <groupId>dev.langchain4j</groupId>
            <artifactId>langchain4j-community-bom</artifactId>
            <version>${langchain4j.version}</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

4.5、配置模型参数

java 复制代码

#阿里百炼平台
langchain4j.community.dashscope.chat-model.api-key=${DASH_SCOPE_API_KEY}
langchain4j.community.dashscope.chat-model.model-name=qwen-max

4.6、测试通义千问

java 复制代码

/**
* 通义千问大模型
*/

@Autowired
private QwenChatModel qwenChatModel;

@Test
public void testDashScopeQwen() {
    //向模型提问
    String answer = qwenChatModel.chat("你好");
    //输出结果
    System.out.println(answer);
}