LangChain4j与Elasticsearch：构建高效的语义嵌入存储

LangChain4j与Elasticsearch：构建高效的语义嵌入存储

一、LangChain4j与Elasticsearch集成概述

1.1 LangChain4j简介

LangChain4j是一个为Java开发者设计的开源库，旨在简化大型语言模型（LLM）在Java应用程序中的集成。它提供了与多个LLM提供商、嵌入存储、嵌入模型等的集成，支持文本和图像输入，以及AI服务的高级API。

1.2 Elasticsearch在LangChain4j中的作用

Elasticsearch是一个基于Lucene的搜索引擎，提供了全文搜索和分析功能。在LangChain4j中，Elasticsearch被用作嵌入存储，用于存储和检索语义嵌入向量，从而提高搜索和检索的效率。

二、Elasticsearch作为嵌入存储的集成

2.1 为什么选择Elasticsearch

LangChain4j提供了内存嵌入存储，但对于更大的数据集，内存存储不适用，因为服务器内存有限。Elasticsearch的"弹性"特性使其能够根据数据量进行扩展，因此，将嵌入存储到Elasticsearch中是一个理想的选择。

2.2 添加Elasticsearch依赖

要在项目中集成Elasticsearch，需要添加以下Maven依赖：

<dependency>
    <groupId>dev.langchain4j</groupId>
    <artifactId>langchain4j-elasticsearch</artifactId>
    <version>${langchain4j.version}</version>
</dependency>
<dependency>
    <groupId>org.testcontainers</groupId>
    <artifactId>elasticsearch</artifactId>
    <version>1.20.1</version>
    <scope>test</scope>
</dependency>

这些依赖包括LangChain4j的Elasticsearch集成模块和TestContainers模块，后者用于在测试中启动Elasticsearch实例。

三、配置和使用Elasticsearch嵌入存储

3.1 启动Elasticsearch容器

使用TestContainers模块启动Elasticsearch实例：

ElasticsearchContainer container =
    new ElasticsearchContainer("docker.elastic.co/elasticsearch/elasticsearch:8.15.0")
        .withPassword("changeme");
container.start();
final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials("elastic", "changeme"));
client = RestClient.builder(HttpHost.create("https://" + container.getHttpHostAddress()))
    .setHttpClientConfigCallback(httpClientBuilder -> {
        httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
        httpClientBuilder.setSSLContext(container.createSslContextFromCa());
        return httpClientBuilder;
    })
    .build();
client.performRequest(new Request("GET", "/"));

这段代码创建并启动了一个Elasticsearch容器，并配置了客户端以连接到该容器。

3.2 使用Elasticsearch作为嵌入存储

将Elasticsearch设置为LangChain4j的嵌入存储：

EmbeddingStore<TextSegment> embeddingStore =
    ElasticsearchEmbeddingStore.builder()
        .restClient(client)
        .build();
embeddingStore.add(response1.content(), game1);
embeddingStore.add(response2.content(), game2);

这段代码将向量存储在Elasticsearch的默认索引中。也可以指定一个更有意义的索引名称：

EmbeddingStore<TextSegment> embeddingStore =
    ElasticsearchEmbeddingStore.builder()
        .indexName("games")
        .restClient(client)
        .build();
embeddingStore.add(response1.content(), game1);
embeddingStore.add(response2.content(), game2);

四、搜索相似向量

4.1 向量化查询

要搜索相似向量，首先需要使用模型将查询转换为向量表示：

String question = "I want to pilot a car";
Embedding questionAsVector = model.embed(question).content();

4.2 执行相似性搜索

使用嵌入存储执行相似性搜索：

EmbeddingSearchResult<TextSegment> result = embeddingStore.search(
    EmbeddingSearchRequest.builder()
        .queryEmbedding(questionAsVector)
        .build());

这段代码在Elasticsearch中搜索与查询向量相似的向量。

五、总结

LangChain4j与Elasticsearch的集成提供了一个强大的解决方案，用于处理和检索语义嵌入向量。通过将Elasticsearch作为嵌入存储，可以有效地扩展处理大数据集的能力，并提高搜索相关性。这种方法结合了LangChain4j的灵活性和Elasticsearch的可扩展性，为构建高效的语义搜索应用提供了坚实的基础。