FastCDC 项目启动玩玩 😁😁😁😁

我一直想写个轻量级,但是又高性能,能包含各种国外和国产数据库的迁移和同步工具,然后开源。

无奈以前一直没时间,所以一直没干。

但是现在有时间了,昨天就开始干了。

实现的第一个功能是,Oracle 数据库-> Pg数据库的全量数据迁移,今天已经把表结构迁移、数据全量迁移、读和写的并发模型功能都写好了,算是小阶段完成,测试了一下,还可以。

昨天晚上遇到一个技术问题,搞不定,请教落总。 他还是有两把刷子的,很快给我解答了,我很满意。

然后今天从上午写到下午,一直报错,都快搞死我了。

但是最终还是搞到刚才,问了大量的 ai各种参差不齐的解答下,终于把这个分片+并发读+管道+并发写的逻辑搞掂了。

一个人搞,是真的难。。。。

最后还跑了迁移一张表数据,测试一把不同架构cpu性能。

arm m4 pro + macos 运行fastcdc开10 个并发 迁移 2900w数据大表,4 分 30 秒。

x86 AMD 7950x + 虚拟机 centos 7.5 运行fastcdc开10 个并发 迁移 2900w数据大表,1分 41 秒。

无论什么各种厂商来优化arm架构,无论评测,营销啊 什么吹得多厉害,arm就是垃圾,单核性能不够,堆核来凑,垃圾。

还是x86比较猛,跑生产只认x86,其他架构都是耍流氓。

明天继续迭代Oracle 数据库-> Pg数据库的全量数据迁移功能,后续把索引,序列,啥的这些对象都加上。。。。。

相关推荐
XDHCOM2 小时前
PostgreSQL 25001: active_sql_transaction 报错原因分析,故障修复步骤详解,远程处理解决方案
数据库·sql·postgresql
卤炖阑尾炎2 小时前
PostgreSQL 日常运维全指南:从基础操作到备份恢复
运维·数据库·postgresql
AC赳赳老秦5 小时前
OpenClaw数据库高效操作指南:MySQL/PostgreSQL批量处理与数据迁移实战
大数据·数据库·mysql·elasticsearch·postgresql·deepseek·openclaw
ego.iblacat8 小时前
PostgreSQL 数据库
数据库·postgresql
亮子AI10 小时前
【PostgreSQL】推荐几个PostgreSQL管理工具
数据库·postgresql
丸辣,我代码炸了13 小时前
PostgreSQL 大数据查询与索引优化核心总结
大数据·数据库·postgresql
有想法的py工程师1 天前
PostgreSQL 分区表排序优化:Append Sort 优化为 Merge Append
大数据·数据库·postgresql
水彩橘子1 天前
PostgreSQL Streaming Replication 主从
数据库·postgresql
亚马逊云开发者1 天前
Amazon Aurora PostgreSQL 快速配置实战:两次点击秒级创建无服务器数据库,告别 VPC 子网安全组配置噩梦
数据库·postgresql·serverless
羑悻的小杀马特2 天前
PostgreSQL主从复制实战,告别单点故障,附主从切换与延迟监控命令。
运维·服务器·数据库·人工智能·postgresql