Milvus（9）：字符串字段、数字字段

游王子2025-04-29 8:07

1 字符串字段

在 Milvus 中，VARCHAR 是用于存储字符串数据的数据类型。定义VARCHAR 字段时，有两个参数是必须的：

  • 将datatype 设置为DataType.VARCHAR 。
  • 指定max_length ，它定义了VARCHAR 字段可存储的最大字符数。max_length 的有效范围为 1 至 65,535 个字符。

Milvus 支持VARCHAR 字段的空值和默认值。要启用这些功能，可将nullable 设置为True ，将default_value 设置为字符串值。

1.1 添加 VARCHAR 字段

要在 Milvus 中存储字符串数据，请在 Collections Schema 中定义一个VARCHAR 字段。下面是一个定义了两个VARCHAR 字段的 Collections 模式的示例：

  • varchar_field1VARCHAR：最多存储 100 个字符，允许空值，默认值为"Unknown" 。
  • varchar_field2：字段最多可储存 200 个字符，允许空值，但没有默认值。

如果在定义 Schema 时设置enable_dynamic_fields=True ，Milvus 允许插入事先未定义的标量字段。不过，这可能会增加查询和管理的复杂性，并可能影响性能。

python 复制代码 
# 导入必要的库
from pymilvus import MilvusClient, DataType

# 定义服务器地址
SERVER_ADDR = "http://localhost:19530"

# 创建一个MilvusClient实例
client = MilvusClient(uri=SERVER_ADDR)

# 定义集合模式
schema = client.create_schema(
    auto_id=False,
    enable_dynamic_fields=True,
)

# 添加"varchar_field1"，支持null值，默认值为"未知"。
schema.add_field(field_name="varchar_field1", datatype=DataType.VARCHAR, max_length=100, nullable=True, default_value="Unknown")
# 增加' varchar_field2 '，支持无默认值的空值
schema.add_field(field_name="varchar_field2", datatype=DataType.VARCHAR, max_length=200, nullable=True)
schema.add_field(field_name="pk", datatype=DataType.INT64, is_primary=True)
schema.add_field(field_name="embedding", datatype=DataType.FLOAT_VECTOR, dim=3)

1.2 设置索引参数

索引有助于提高搜索和查询性能。在 Milvus 中，对于向量字段必须建立索引，但对于标量字段可选。下面的示例使用AUTOINDEX 索引类型为向量字段embedding 和标量字段varchar_field1 创建了索引。使用这种类型，Milvus 会根据数据类型自动选择最合适的索引。您还可以自定义每个字段的索引类型和参数。

python 复制代码 
# 设置索引参数

index_params = client.prepare_index_params()

# Index `varchar_field1` with AUTOINDEX
index_params.add_index(
    field_name="varchar_field1",
    index_type="AUTOINDEX",
    index_name="varchar_index"
)

# 使用AUTOINDEX索引"嵌入"并指定metric_type
index_params.add_index(
    field_name="embedding",
    index_type="AUTOINDEX",  # 使用自动索引来简化复杂的索引设置
    metric_type="COSINE"  # 指定相似度量类型，选项包括L2、COSINE或IP
)

1.3 创建 Collections

定义好 Schema 和索引后，创建一个包含字符串字段的 Collection。

python 复制代码 
client.create_collection(
    collection_name="my_collection",
    schema=schema,
    index_params=index_params
)

1.4 插入数据

创建 Collections 后，插入与 Schema 匹配的实体。

python 复制代码 
# 样本数据
data = [
    {"varchar_field1": "Product A", "varchar_field2": "High quality product", "pk": 1, "embedding": [0.1, 0.2, 0.3]},
    {"varchar_field1": "Product B", "pk": 2, "embedding": [0.4, 0.5, 0.6]}, # 缺少varchar_field2字段，应该为NULL
    {"varchar_field1": None, "varchar_field2": None, "pk": 3, "embedding": [0.2, 0.3, 0.1]},  # ' varchar_field1 '默认为' Unknown '， ' varchar_field2 '为NULL
    {"varchar_field1": "Product C", "varchar_field2": None, "pk": 4, "embedding": [0.5, 0.7, 0.2]},  # ' varchar_field2 '为NULL
    {"varchar_field1": None, "varchar_field2": "Exclusive deal", "pk": 5, "embedding": [0.6, 0.4, 0.8]},  # varchar_field1 '应该默认为' Unknown '
    {"varchar_field1": "Unknown", "varchar_field2": None, "pk": 6, "embedding": [0.8, 0.5, 0.3]},  # ' varchar_field2 '为NULL
    {"varchar_field1": "", "varchar_field2": "Best seller", "pk": 7, "embedding": [0.8, 0.5, 0.3]}, # 空字符串不被视为NULL
]

# Insert data
client.insert(
    collection_name="my_collection",
    data=data
)

1.5 使用过滤表达式查询

插入实体后，使用query 方法检索与指定过滤表达式匹配的实体。要检索varchar_field1 与字符串"Product A" 匹配的实体：

python 复制代码 
# 过滤器varchar_field1的值为"Product A"
filter = 'varchar_field1 == "Product A"'

res = client.query(
    collection_name="my_collection",
    filter=filter,
    output_fields=["varchar_field1", "varchar_field2"]
)

print(res)

# Example output:
# data: [
#     "{'varchar_field1': 'Product A', 'varchar_field2': 'High quality product', 'pk': 1}"
# ]

检索varchar_field2 为空的实体：

python 复制代码 
# 过滤' varchar_field2 '为空的实体
filter = 'varchar_field2 is null'

res = client.query(
    collection_name="my_collection",
    filter=filter,
    output_fields=["varchar_field1", "varchar_field2"]
)

print(res)

# Example output:
# data: [
#     "{'varchar_field1': 'Product B', 'varchar_field2': None, 'pk': 2}",
#     "{'varchar_field1': 'Unknown', 'varchar_field2': None, 'pk': 3}",
#     "{'varchar_field1': 'Product C', 'varchar_field2': None, 'pk': 4}",
#     "{'varchar_field1': 'Unknown', 'varchar_field2': None, 'pk': 6}"
# ]

要检索varchar_field1 的值为"Unknown" 的实体，请使用下面的表达式。由于varchar_field1 的默认值是"Unknown" ，因此预期结果应包括将varchar_field1 明确设置为"Unknown" 或将varchar_field1 设置为空的实体。

python 复制代码 
# 过滤值为"未知"的"varchar_field1"实体
filter = 'varchar_field1 == "Unknown"'

res = client.query(
    collection_name="my_collection",
    filter=filter,
    output_fields=["varchar_field1", "varchar_field2"]
)

print(res)

# Example output:
# data: [
#     "{'varchar_field1': 'Unknown', 'varchar_field2': None, 'pk': 3}",
#     "{'varchar_field1': 'Unknown', 'varchar_field2': 'Exclusive deal', 'pk': 5}",
#     "{'varchar_field1': 'Unknown', 'varchar_field2': None, 'pk': 6}"
# ]

1.6 使用过滤表达式进行向量搜索

除了基本的标量字段筛选外，您还可以将向量相似性搜索与标量字段筛选结合起来。例如，下面的代码展示了如何在向量搜索中添加标量字段过滤器：

python 复制代码 
# 使用字符串过滤进行搜索

# 过滤器varchar_field2，值为"Best seller"
filter = 'varchar_field2 == "Best seller"'

res = client.search(
    collection_name="my_collection",
    data=[[0.3, -0.6, 0.1]],
    limit=5,
    search_params={"params": {"nprobe": 10}},
    output_fields=["varchar_field1", "varchar_field2"],
    filter=filter
)

print(res)

# Example output:
# data: [
#     "[{'id': 7, 'distance': -0.04468163847923279, 'entity': {'varchar_field1': '', 'varchar_field2': 'Best seller'}}]"
# ]

2 数字字段

数字字段是一种存储数值的标量字段。这些数值可以是整数（整数 ）或十进制数**（浮点数**）。它们通常用于表示数量、测量值或任何需要进行数学处理的数据。下表描述了 Milvus 中可用的数字字段数据类型。

字段类型 描述
BOOL 布尔类型，用于存储true 或false ，适合描述二进制状态。
INT8 8 位整数，适合存储小范围整数数据。
INT16 16 位整数，适用于中范围整数数据。
INT32 32 位整数，适合存储一般整数数据，如产品数量或用户 ID。
INT64 64 位整数，适合存储时间戳或标识符等大范围数据。
FLOAT 32 位浮点数，适用于需要一般精度的数据，如等级或温度。
DOUBLE 64 位双精度浮点数，用于高精度数据，如财务信息或科学计算。

要声明数字字段，只需将datatype 设置为可用的数字数据类型之一。例如，DataType.INT64 表示整数字段，DataType.FLOAT 表示浮点字段。Milvus 支持数字字段的空值和默认值。要启用这些功能，请将nullable 设置为True ，将default_value 设置为数值。

2.1 添加数字字段

要存储数值数据，请在 Collections Schema 中定义一个数字字段。下面是一个包含两个数字字段的 Collections 模式示例：

  • age：存储整数数据，允许空值，默认值为18 。
  • price：存储浮点数据，允许空值，但没有默认值。

如果在定义 Schema 时设置enable_dynamic_fields=True ，Milvus 允许插入事先未定义的标量字段。不过，这可能会增加查询和管理的复杂性，并可能影响性能。

python 复制代码 
# 导入必要的库
from pymilvus import MilvusClient, DataType

# 定义服务器地址
SERVER_ADDR = "http://localhost:19530"

# 创建一个MilvusClient实例
client = MilvusClient(uri=SERVER_ADDR)

# 定义集合模式
schema = client.create_schema(
    auto_id=False,
    enable_dynamic_fields=True,
)

# 增加一个INT64字段' age '，支持null值，默认值为18
schema.add_field(field_name="age", datatype=DataType.INT64, nullable=True, default_value=18)
# 添加一个FLOAT字段' price '，它支持没有默认值的空值
schema.add_field(field_name="price", datatype=DataType.FLOAT, nullable=True)
schema.add_field(field_name="pk", datatype=DataType.INT64, is_primary=True)
schema.add_field(field_name="embedding", datatype=DataType.FLOAT_VECTOR, dim=3)

2.2 设置索引参数

索引有助于提高搜索和查询性能。在 Milvus 中，对于向量字段必须建立索引，但对于标量字段可选。下面的示例使用AUTOINDEX 索引类型为向量字段embedding 和标量字段age 创建了索引。使用这种类型，Milvus 会根据数据类型自动选择最合适的索引。您还可以自定义每个字段的索引类型和参数。

python 复制代码 
# 设置索引参数

index_params = client.prepare_index_params()

# 使用AUTOINDEX索引"age"
index_params.add_index(
    field_name="age",
    index_type="AUTOINDEX",
    index_name="age_index"
)

# 索引"嵌入"与AUTOINDEX并指定相似度度量类型
index_params.add_index(
    field_name="embedding",
    index_type="AUTOINDEX",  # 使用自动索引来简化复杂的索引设置
    metric_type="COSINE"  # 指定相似度量类型，选项包括L2、COSINE或IP
)

2.3 创建 Collections

定义好 Schema 和索引后，创建一个包含数字字段的 Collection。

python 复制代码 
client.create_collection(
    collection_name="my_collection",
    schema=schema,
    index_params=index_params
)

2.4 插入数据

创建 Collections 后，插入与 Schema 匹配的实体。

python 复制代码 
# 样本数据
data = [
    {"age": 25, "price": 99.99, "pk": 1, "embedding": [0.1, 0.2, 0.3]},
    {"age": 30, "pk": 2, "embedding": [0.4, 0.5, 0.6]}, # ' price '字段缺失，应该为空
    {"age": None, "price": None, "pk": 3, "embedding": [0.2, 0.3, 0.1]},  # ' age '默认为18，' price '为空
    {"age": 45, "price": None, "pk": 4, "embedding": [0.9, 0.1, 0.4]},  # `price` is null
    {"age": None, "price": 59.99, "pk": 5, "embedding": [0.8, 0.5, 0.3]},  # "age"应该默认为18
    {"age": 60, "price": None, "pk": 6, "embedding": [0.1, 0.6, 0.9]}  # `price` is null
]

client.insert(
    collection_name="my_collection",
    data=data
)

2.5 使用过滤表达式查询

插入实体后，使用query 方法检索与指定过滤表达式匹配的实体。检索age 大于 30 的实体：

python 复制代码 
filter = 'age > 30'

res = client.query(
    collection_name="my_collection",
    filter=filter,
    output_fields=["age", "price", "pk"]
)

print(res)

# Example output:
# data: [
#     "{'age': 45, 'price': None, 'pk': 4}",
#     "{'age': 60, 'price': None, 'pk': 6}"
# ]

检索price 为空的实体：

python 复制代码 
filter = 'price is null'

res = client.query(
    collection_name="my_collection",
    filter=filter,
    output_fields=["age", "price", "pk"]
)

print(res)

# Example output:
# data: [
#     "{'age': 30, 'price': None, 'pk': 2}",
#     "{'age': 18, 'price': None, 'pk': 3}",
#     "{'age': 45, 'price': None, 'pk': 4}",
#     "{'age': 60, 'price': None, 'pk': 6}"
# ]

要检索age 的值为18 的实体，请使用下面的表达式。由于age 的默认值是18 ，因此预期结果应包括将age 明确设置为18 或将age 设置为空的实体。

python 复制代码 
filter = 'age == 18'

res = client.query(
    collection_name="my_collection",
    filter=filter,
    output_fields=["age", "price", "pk"]
)

print(res)

# Example output:
# data: [
#     "{'age': 18, 'price': None, 'pk': 3}",
#     "{'age': 18, 'price': 59.99, 'pk': 5}"
# ]

2.6 使用过滤表达式进行向量搜索

除了基本的数字字段过滤外，您还可以将向量相似性搜索与数字字段过滤器结合起来。例如，下面的代码展示了如何在向量搜索中添加数字字段过滤器：

python 复制代码 
filter = "25 <= age <= 35"

res = client.search(
    collection_name="my_collection",
    data=[[0.3, -0.6, 0.1]],
    limit=5,
    search_params={"params": {"nprobe": 10}},
    output_fields=["age","price"],
    filter=filter
)

print(res)

# Example output:
# data: [
#     "[{'id': 2, 'distance': -0.2016308456659317, 'entity': {'age': 30, 'price': None}}, {'id': 1, 'distance': -0.23643313348293304, 'entity': {'age': 25, 'price': 99.98999786376953}}]"
# ]

在这个示例中，我们首先定义了一个查询向量，并在搜索过程中添加了一个过滤条件25 <= age <= 35 。这样不仅能确保搜索结果与查询向量相似，还能满足指定的年龄范围。

相关推荐
JustLorain9 分钟前
如何实现事务的可串行化快照隔离
数据库·后端·架构
星途码客15 分钟前
SQL 易混易错知识点笔记1(drop,role,%,localhost)
数据库·sql·oracle
游王子23 分钟前
Milvus（8）：密集向量、二进制向量、稀疏向量
milvus
MXsoft61826 分钟前
监控易一体化运维：巧用排班管理，提升运维协同效能
大数据·服务器·数据库
Ant?11 小时前
rk3588 驱动开发（三）第五章 新字符设备驱动实验
数据库·驱动开发
Always_away1 小时前
数据库系统概论|第三章：关系数据库标准语言SQL—课程笔记6
数据库·笔记·sql·学习
oioihoii2 小时前
C++23文本编码革新：迈向更现代的字符处理
java·数据库·c++23
九鼎科技-Leo2 小时前
写windows服务日志-.net4.5.2-定时修改数据库中某些参数
数据库·windows·.net
hkfkn2 小时前
Sql刷题日志（day6）
数据库·sql
热门推荐
01西电B测-计算机网络综合实验(含验收问题)02KGG转MP3工具|非KGM文件|解密音频03从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑04Coze扣子平台完整体验和实践（附国内和国际版对比）05YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】06DeepSeek各版本说明与优缺点分析07yolov10来了！用yolov10训练自己的数据集（原理、训练、部署、应用）08yolov8，yolo11，yolo12 服务器训练到部署全流程 笔记09我决定放弃搞 Java 了10最新 Kubernetes 集群部署 + flannel 网络插件（保姆级教程，最新 K8S 版本）