我们公司专注于向量数据库大约可以追溯到 2018 年左右。当时,向量数据库的概念并不广泛。我们的 CEO 力排众议,认为这个领域有巨大潜力,因为这与我们的愿景高度契合。我们的公司定位是构建一个能够在云上处理非结构化数据的基础设施产品。经过大量调研,我们意识到向量检索可能是未来处理非结构化数据语义和信息的关键。
另外一个重要的因素是,向量数据库与模型相比具有明显的区别。我们早在此前就认识到,处理非结构化数据需要依赖人工智能,需要模型的支持。然而,那时的模型与现在的 ChatGPT 等大型模型相比,性能有限。
作为初创公司,如果我们专注于开发模型方向,可能难以取得今天的成就,也难以像 ChatGPT 这样发布出色的产品。因此,我们决定将注意力放在基础设施上。鉴于我们团队成员都具备基础设施的背景,我们设想了一个能够有效支持高维数据处理的基础设施产品,即向量数据库的概念。
从 2019 年开始,我们便着手开发这个产品。当时,我们已经吸引了许多关注,尽管当时社区用户主要集中在传统的应用场景,如图像搜索和 NLP 领域的问答机器人。直到去年,随着大型模型的兴起,数据库的使用场景和用户需求发生了重大变化,也带火了向量数据库的需求。这个现象表明数据库的第一应用场景正在演变,用户对能力的需求也发生了显著改变。