java中rag使用mysql作为向量数据库,存储读写如何优化

如今大模型崛起,当涉及到复杂业务检索时候离不开rag,有很多老铁在研究rag的时候发现都会使用各种向量数据库,和普通数据有什么区别的,其实没区别就是存储,就是对向量专门优化过的存储,实际用mysql也是能实现

mysql存储向量的问题

假设向量是768维度,他是一个数组, 直接存到mysql是没法存的,需要转为字符串,但rag应用是需要做向量的相似度比对,需要在查询的时候还原数组,将输入的向量和每个存储好的文档向量做比对。那问题关键在于数据的读写效率,转成字符串,有多种方法,请看下面案例

java 复制代码
	public static void main(String[] args) {

		//构建模拟向量
		float[] data = new float[768];
		for (int i = 0; i < data.length; i++) {
			data[i] = i;
		}
		
		//第一种join split
		long first = System.currentTimeMillis();
		String join = CollUtil.join(CollUtil.newArrayList(data), ",");
		String[] split = join.split(",");
		List<String> newArrayList = CollUtil.newArrayList(split);
		
		long second = System.currentTimeMillis();
		System.out.println("通过join split: " + (second - first));
		
		//第二种json序列化
		String jsonStr = JSONUtil.toJsonStr(data);
		List<Float> newArrayList2 = JSONUtil.toList(jsonStr, Float.class);
		
		long third = System.currentTimeMillis();
		System.out.println("通过json序列化: " + (third - second));
		
		//第三种toString+substring
		String string = Arrays.toString(data);
		string = string.substring(1);
		string = string.substring(0, string.length()-1);
		
		String[] split2 = string.split(",");
		float[] newArrayList3 = new float[split2.length];
        for (int i = 0; i < split2.length; i++) {
        	newArrayList3[i] = Float.parseFloat(split2[i]);
        }
		
        long four = System.currentTimeMillis();
        
		System.out.println("toString+截取: " + (four - third));
		
		
	}
java 复制代码
通过join split: 197
通过json序列化: 63
toString+截取: 2

分别使用三种方法评测,假设有1000个文档(向量),使用前面两种方法,检索长则几分钟,对面很明显了,如果采用第三种,那也就是2秒左右。

结论

toString和截取效率是最高的,大家就知道怎么优化了吧

当然如果你大规模还是建议使用文档类数据库或向量数据库

相关推荐
mghio8 小时前
Dubbo 中的集群容错
java·微服务·dubbo
JavaGuide11 小时前
公司来的新人用字符串存储日期,被组长怒怼了...
后端·mysql
咖啡教室13 小时前
java日常开发笔记和开发问题记录
java
咖啡教室13 小时前
java练习项目记录笔记
java
鱼樱前端13 小时前
maven的基础安装和使用--mac/window版本
java·后端
RainbowSea14 小时前
6. RabbitMQ 死信队列的详细操作编写
java·消息队列·rabbitmq
RainbowSea14 小时前
5. RabbitMQ 消息队列中 Exchanges(交换机) 的详细说明
java·消息队列·rabbitmq
怒放吧德德14 小时前
MySQL篇:MySQL主从集群同步延迟问题
后端·mysql·面试
数据智能老司机15 小时前
CockroachDB权威指南——CockroachDB SQL
数据库·分布式·架构