Chainlit快速实现AI对话应用并将聊天数据的AWS S3 和 Azure Blob云服务中

自定义数据层

Literal AI 提供了最简单的方法来保存、分析和监控您的数据。

如果您正在考虑实现自定义数据层,请查看此处的示例以获取一些启发。

此外,我们非常希望看到社区主导的开源数据层实现并将其列在这里。如果您有兴趣做出贡献,请通过 Discord 与我们联系。

您需要在 chainlit 应用程序中导入自定义数据层,并将其分配给数据层变量,如下所示:

python 复制代码
import chainlit.data as cl_data

class CustomDataLayer(cl_data.BaseDataLayer):
  # TODO: implement all methods from cl_data.BaseDataLayer

cl_data._data_layer = CustomDataLayer()

SQL Alchemy数据层

该自定义层已针对 PostgreSQL 进行了测试,但是由于使用了 SQL Alchemy 数据库,它应该可以支持更多的 SQL 数据库。

该数据层还支持BaseStorageClient将元素存储到 Azure Blob 存储或 AWS S3 中。

以下是用于创建该数据层模式的 SQL:

sql 复制代码
CREATE TABLE users (
    "id" UUID PRIMARY KEY,
    "identifier" TEXT NOT NULL UNIQUE,
    "metadata" JSONB NOT NULL,
    "createdAt" TEXT
);

CREATE TABLE IF NOT EXISTS threads (
    "id" UUID PRIMARY KEY,
    "createdAt" TEXT,
    "name" TEXT,
    "userId" UUID,
    "userIdentifier" TEXT,
    "tags" TEXT[],
    "metadata" JSONB,
    FOREIGN KEY ("userId") REFERENCES users("id") ON DELETE CASCADE
);

CREATE TABLE IF NOT EXISTS steps (
    "id" UUID PRIMARY KEY,
    "name" TEXT NOT NULL,
    "type" TEXT NOT NULL,
    "threadId" UUID NOT NULL,
    "parentId" UUID,
    "disableFeedback" BOOLEAN NOT NULL DEFAULT false,
    "streaming" BOOLEAN NOT NULL,
    "waitForAnswer" BOOLEAN,
    "isError" BOOLEAN,
    "metadata" JSONB,
    "tags" TEXT[],
    "input" TEXT,
    "output" TEXT,
    "createdAt" TEXT,
    "start" TEXT,
    "end" TEXT,
    "generation" JSONB,
    "showInput" TEXT,
    "language" TEXT,
    "indent" INT
);

CREATE TABLE IF NOT EXISTS elements (
    "id" UUID PRIMARY KEY,
    "threadId" UUID,
    "type" TEXT,
    "url" TEXT,
    "chainlitKey" TEXT,
    "name" TEXT NOT NULL,
    "display" TEXT,
    "objectKey" TEXT,
    "size" TEXT,
    "page" INT,
    "language" TEXT,
    "forId" UUID,
    "mime" TEXT
);

CREATE TABLE IF NOT EXISTS feedbacks (
    "id" UUID PRIMARY KEY,
    "forId" UUID NOT NULL,
    "threadId" UUID NOT NULL,
    "value" INT NOT NULL,
    "comment" TEXT
);

​

例子

以下是使用 Azure 存储客户端在 PostgreSQL 数据库上设置此数据层的示例。首先安装所需的依赖项:

bash 复制代码
pip install asyncpg SQLAlchemy azure-identity azure-storage-file-datalake

导入自定义数据层和存储客户端,并cl_data._data_layer在 Chainlit 应用程序开头设置变量。

python 复制代码
import chainlit.data as cl_data
from chainlit.data.sql_alchemy import SQLAlchemyDataLayer
from chainlit.data.storage_clients import AzureStorageClient

storage_client = AzureStorageClient(account_url="<your_account_url>", container="<your_container>")

cl_data._data_layer = SQLAlchemyDataLayer(conninfo="<your conninfo>", storage_provider=storage_client)

请注意,您需要+asyncpg在字符串中添加协议conninfo,以便它使用 asyncpg 库。

​

DynamoDB数据层

该数据层还支持BaseStorageClient将元素存储到 AWS S3 或 Azure Blob 存储中。

​

例子

以下是设置此数据层的示例。首先安装 boto3:

bash 复制代码
pip install boto3

导入自定义数据层和存储客户端,并cl_data._data_layer在 Chainlit 应用程序开头设置变量。

bash 复制代码
import chainlit.data as cl_data
from chainlit.data.dynamodb import DynamoDBDataLayer
from chainlit.data.storage_clients import S3StorageClient

storage_client = S3StorageClient(bucket="<Your Bucket>")

cl_data._data_layer = DynamoDBDataLayer(table_name="<Your Table>", storage_provider=storage_client)

​

表结构

以下是用于创建 dynamo 表的 Cloudformation:

bash 复制代码
{
  "AWSTemplateFormatVersion": "2010-09-09",
  "Resources": {
    "DynamoDBTable": {
      "Type": "AWS::DynamoDB::Table",
      "Properties": {
        "TableName": "<YOUR-TABLE-NAME>",
        "AttributeDefinitions": [
          {
            "AttributeName": "PK",
            "AttributeType": "S"
          },
          {
            "AttributeName": "SK",
            "AttributeType": "S"
          },
          {
            "AttributeName": "UserThreadPK",
            "AttributeType": "S"
          },
          {
            "AttributeName": "UserThreadSK",
            "AttributeType": "S"
          }
        ],
        "KeySchema": [
          {
            "AttributeName": "PK",
            "KeyType": "HASH"
          },
          {
            "AttributeName": "SK",
            "KeyType": "RANGE"
          }
        ],
        "GlobalSecondaryIndexes": [
          {
            "IndexName": "UserThread",
            "KeySchema": [
              {
                "AttributeName": "UserThreadPK",
                "KeyType": "HASH"
              },
              {
                "AttributeName": "UserThreadSK",
                "KeyType": "RANGE"
              }
            ],
            "Projection": {
              "ProjectionType": "INCLUDE",
              "NonKeyAttributes": ["id", "name"]
            }
          }
        ],
        "BillingMode": "PAY_PER_REQUEST"
      }
    }
  }
}
​

日志记录

DynamoDB 数据层定义了 chainlit 记录器的子级。

python 复制代码
import logging
from chainlit import logger

logger.getChild("DynamoDB").setLevel(logging.DEBUG)

​

限制

不支持通过正/负反馈进行过滤。

数据层方法不是异步的。Boto3 不是异步的,因此数据层使用非异步阻塞 io。

​

设计

此实现采用单表设计。一个表中有 4 种不同的实体类型,由 PK 和 SK 中的前缀标识。

以下是实体类型:

bash 复制代码
type User = {
    PK: "USER#{user.identifier}"
    SK: "USER"
    // ...PersistedUser
}

type Thread = {
    PK: f"THREAD#{thread_id}"
    SK: "THREAD"
    // GSI: UserThread for querying in list_threads
    UserThreadPK: f"USER#{user_id}"
    UserThreadSK: f"TS#{ts}"
    // ...ThreadDict
}

type Step = {
    PK: f"THREAD#{threadId}"
    SK: f"STEP#{stepId}"
    // ...StepDict

    // feedback is stored as part of step. 
    // NOTE: feedback.value is stored as Decimal in dynamo which is not json serializable
    feedback?: Feedback
}

type Element = {
    "PK": f"THREAD#{threadId}"
    "SK": f"ELEMENT#{element.id}"
    // ...ElementDict
}

​

如何实现自定义数据层?

该类BaseDataLayer是 Chainlit 框架内数据持久性操作的抽象基础。该类概述了在聊天机器人应用程序中管理用户、反馈、元素、步骤和线程的方法。

方法

  • async get_user(self, identifier: str) Coroutine

根据用户标识符获取用户。返回类型可选为PersistedUser。

  • async create_user(self, user: User) Coroutine

根据User提供的实例创建新用户。返回类型可选为PersistedUser。

  • async upsert_feedback(self, feedback: Feedback) Coroutine

    插入或更新反馈。接受一个Feedback实例并返回一个字符串作为持久反馈的标识符。

  • async delete_feedback(self, feedback_id: str) Coroutine

    通过 删除反馈。如果成功则feedback_id返回。True

  • async create_element(self, element_dict: ElementDict) Coroutine

    向数据层添加新元素。ElementDict作为参数接受。

  • async get_element(self, thread_id: str, element_id: str) Coroutine

    thread_id通过和检索元素element_id。返回类型可选为ElementDict。

  • async delete_element(self, element_id: str) Coroutine

    根据标识符删除元素element_id。

  • async create_step(self, step_dict: StepDict) Coroutine

    在数据层中创建新步骤。接受StepDict为参数。

  • async update_step(self, step_dict: StepDict) Coroutine

    更新现有步骤。StepDict作为参数接受。

  • async delete_step(self, step_id: str) Coroutine

    根据标识符删除步骤step_id。

  • async get_thread_author(self, thread_id: str) Coroutine

    通过 获取给定主题的作者thread_id。返回表示作者标识符的字符串。

  • async delete_thread(self, thread_id: str) Coroutine

    根据给定的标识符删除一个线程thread_id。

  • async list_threads(self, pagination: Pagination, filters: ThreadFilter) Coroutine

    根据pagination和filters参数列出线程。返回一个PaginatedResponseThreadDict。

  • async get_thread(self, thread_id: str) Coroutine

    通过标识符检索线程thread_id。返回类型可选为ThreadDict。

  • async update_thread(self, thread_id: str, name: Optional[str] = None, user_id: Optional[str] = None, metadata: Optional[Dict] = None, tags: Optional[List[str]] = None) Coroutine

    更新主题的详细信息,如名称、用户 ID、元数据和标签。参数大多是可选的。

  • async delete_user_session(self, id: str) Coroutine

    根据标识符删除用户会话id。返回表示成功的布尔值。

装饰器

  • @queue_until_user_message() Decorator

将某些方法排在队列中,仅在接收到第一个用户消息后执行,这对于WebsocketSessions特别有用。

相关推荐
学无止境小袁同学16 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
不要试图纠正别人18 小时前
榜单换个算法就洗牌:不是模型退步,是名次没有分辨率
llm·rails
Baihai_IDP19 小时前
大模型 API 真的在赔本赚吆喝吗?聊聊 Token 背后的真实成本
人工智能·llm·aigc
xyphf_和派孔明21 小时前
第六章: AI Agent长期记忆的存储引擎介绍
langchain·llm·agent
xyphf_和派孔明21 小时前
第四章: AI Agent短期记忆的信息管理机制设计
langchain·llm·agent
mengrennwpu1 天前
Kynvio: 新一代办公助手
llm·agent
Baihai_IDP1 天前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm
2601_967980111 天前
欢迎来到Flask的世界
flask·文档·web应用·开发模式·api参考
用户95179422510292 天前
Agent Harness 工程(I5):权限与沙箱——让否决改变控制流
llm·agent
泯泷3 天前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm