数据库管理149期 2024-02-10
- [数据库管理-第149期 Oracle Vector DB & AI-01（20240210）](#数据库管理-第149期 Oracle Vector DB & AI-01（20240210）)
-
- [1 机器学习](#1 机器学习)
- [2 向量](#2 向量)
- [3 向量嵌入](#3 向量嵌入)
- [4 向量检索](#4 向量检索)
- [5 向量数据库](#5 向量数据库)
- [5 专用向量数据库的问题](#5 专用向量数据库的问题)
- 总结
数据库管理-第149期 Oracle Vector DB & AI-01（20240210）
作者：胖头鱼的鱼缸（尹海文）
Oracle ACE Associate: Database（Oracle与MySQL）
网思科技 DBA总监
10年数据库行业经验，现主要从事数据库服务工作
拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证
墨天轮MVP、认证技术专家，ITPUB认证专家，OCM讲师
圈内拥有"总监"、"保安"、"国产数据库最大敌人"等称号，非著名社恐（社交恐怖分子）
公众号：胖头鱼的鱼缸；CSDN：胖头鱼的鱼缸（尹海文）；墨天轮：胖头鱼的鱼缸；ITPUB：yhw1809。
除授权转载并标明出处外，均为"非法"抄袭。
在龙年到来之际，祝大家龙行龘龘，前程朤朤，生活鱻鱻。新的一年开始新的系列，来探索一下Oracle Vector DB（向量数据库）以及AI Vector Search（AI向量搜索）。本系列内容在Oracle DB 23c正式发布前仍可能出现变化，最终以Oracle DB 23c正式发布内容为准。
1 机器学习
首先，机器学习根据不同事物的特征来区分不同的事务。
例如：区分不同种类的狗，就可以通过体型大小、毛发长度、鼻子长短等特征来区分。如下面这张照片按照体型排序，可以看到体型越大的狗越靠近坐标轴右边，这样就能得到一个体型特征的一维坐标和对应的数值，从 0 到 1 的数字中得到每只狗在坐标系中的位置。
然而单靠一个体型大小的特征并不够，像图中哈士奇、金毛和拉布拉多的体型就非常接近，我们无法区分。
继续观察其它的特征，例如毛发的长短。这样每只狗对应一个二维坐标点，我们就能轻易的将哈士奇、金毛和拉布拉多区分开来。
只要维度够多，我们就能够将所有的事物区分开来，世间万物都可以用一个多维坐标系来表示，它们都在一个高维的特征空间中对应着一个坐标点。
2 向量
Vector，向量（也称为欧几里得向量、几何向量），指具有大小和方向的量。可以使用带箭头的线段表示，箭头指向即为向量的方向，线段的长度表示向量的大小。两个向量的距离或者相似性可以通过汉明距离、欧式距离或者余弦距离得到。
3 向量嵌入
Vector Embedding，一种自动化提取事物特征值的方法，用来生成高纬度的向量数据；图像、文本和音视频这种非结构化数据都可以通过某种变换或者嵌入学习转化为向量数据；使用深度学习嵌入模型来生成向量数据。
4 向量检索
图片、文本、视频和语音等非结构化数据，通过人工智能技术提取出特征向量，然后通过对这些特征向量的计算和检索来实现对非结构化数据的分析和检索。向量检索通常是近似查找，要权衡搜索精度和速度。
对比第一个节中的例子，不同种类的狗就会有有一系列诸如体型大小、毛发长度、鼻子长短等特组成的向量，首先我们会建立一个向量数据库用于存放各种狗的基础向量信息，由于狗存在变异的情况，那么一种狗可能存在多条向量条目。而当我们需要通过图像去判断狗的种类时，就需要通过与基础向量生产方式一样的算法来将图像内容嵌入成向量信息，并与向量数据库中的向量信息进行匹配，得到最接近的向量，对比对应的狗信息得到结果。
5 向量数据库
向量数据库是一种专门用于存储、索引和查询向量数据的数据库系统。
向量数据库能够将向量存储为高维点并进行检索。可以高效、快速地查找N维空间中的最近邻。
这些功能通常由 近似最近邻（ANN）索引提供支持，构建索引的算法有：分层可导航小世界（HNSW）和倒排文件索引（IVF）算法等。
向量数据库提供了其他功能，例如数据管理、容错、身份验证、访问控制以及查询引擎等。
与传统关系型数据库相比：
- 数据类型：向量数据库专门用于存储和管理向量数据，而传统数据库则可以存储各种标量类型的数据，例如文本、数字、日期等。
- 数据规模：通常向量数据库数据量比较大，一般要考虑可线性扩展的系统。
- 查询方式：传统的数据库查询通常是一种精确查找，即查询得到的结果要么符合条件要么不符合条件；而向量数据库的向量查询通常是近似查找，即查询得到的结果是与输入条件最相似的，而近似比较对计算能力要求非常高。向量查询通常是计算密集型的。
下面是一些比较常见向量数据库及其对比（这里是从群聊聊天记录抽取，冯若航发的）：
5 专用向量数据库的问题
其实在去年SACC上海站，我也大概讲过Oracle Vector DB的相关内容，业余国内外大型互联网公司深入探讨过向量数据库。专用的向量数据库确实可以针对AI向量检索场景提供非常好的功能与性能；但是当场景中需要对向量进行调整（即update）的时候，专用向量数据库就会出现无法更新的情况，只能标记并将修改内容新增至向量数据库中。这就造成了，需要调整向量的场景需要预留一定空间用于"更新"操作，另一方面向量数据库中会存在无效数据，不仅增大了空间占用也增加了性能损耗。
那么Oracle Vector DB是如何解决这些问题的呢，后面会深入讲解。
总结
本期简单讲解了机器学习、向量、向量数据库的基本概念，下一期将针对LLM进行简单介绍。
老规矩，知道写了些啥。