es索引同步

通过向索引中添加文章信息最终实现了课 程的搜索,我们发现文章信息是先保存在关系数据库中,而后再写入索引,这个过程是将关系数据中的数据同步到elasticsearch索引中的过程,可以简单成为索引同步。

通常项目中使用elasticsearch需要完成索引同步,索引同步的方法很多:

1、针对实时性非常高的场景需要满足数据的及时同步,可以同步调用,或使用Canal去实现。

1)同步调用即在向MySQL写数据后远程调用搜索服务的接口写入索引,此方法简单但是耦合代码太高。

2)可以使用一个中间的软件canal解决耦合性的问题,但存在学习与维护成本。

canal主要用途是基于 MySQL 数据库增量日志解析,并能提供增量数据订阅和消费,实现将MySQL的数据同步到消息队列、Elasticsearch、其它数据库等,应用场景十分丰富。

2、当索引同步的实时性要求不高时可用的技术比较多,比如:MQ、Logstash、任务调度等。

MQ:向mysql写数据的时候向mq写入消息,搜索服务监听MQ,收到消息后写入索引。使用MQ的优势是代码解耦,但是需要处理消息可靠性的问题有一定的技术成本,做到消息可靠性需要做到生产者投递成功、消息持久化以及消费者消费成功三个方面,另外还要做好消息幂等性问题。

Logstash: 开源实时日志分析平台 ELK包括Elasticsearch、Kibana、Logstash,Logstash负责收集、解析和转换日志信息,可以实现MySQL与Elasticsearch之间的数据同步。也可以实现解耦合并且是官方推荐,但需要增加学习与维护成本。

任务调度:向mysql写数据的时候记录修改记录,开启一个定时任务根据修改记录将数据同步到Elasticsearch。

因为我这个是个人博客系统,所以对数据同步的实时性要求不高,因此使用任务调度实现索引同步。

为了避免重复索引已经存在且未更新的数据,可以使用增量同步策略,仅同步新增和更新的数据,同时删除已经被标记删除的数据。

java 复制代码
@Component
@Slf4j
public class AddArticleIndexJob {

    @Resource
    private ArticleService articleService;

    @Resource
    private IndexService indexService;


    @Value("${elasticsearch.article.index}")
    private String indexName;

    private Date lastSyncTime = new Date(0); // 初始化为1970年1月1日

    /**
     * 每隔10分钟同步一次
     */
    @Scheduled(cron = "0 0/10 * * * ?")
    public void exec() {
        Date currentSyncTime = new Date(); // 当前同步的时间
        try {
            List<Article> articles = articleService.findByUpdatedAtAfter(lastSyncTime);
            for (Article article: articles) {
                if (article.getDelFlag() == 1) {
                    Boolean success = indexService.deleteArticleIndex(indexName, String.valueOf(article.getId()));
                    if (success) {
                        log.info("删除索引成功");
                    }
                }else {
                    Boolean success = indexService.addArticleIndex(indexName, String.valueOf(article.getId()), article);
                    if (success) {
                        log.info("新增文章索引成功");
                    }
                }
            }
            lastSyncTime = currentSyncTime;
        }catch (Exception e) {
            log.error("索引失效,请检查");
        }
    }
}
相关推荐
桑榆080623 分钟前
Spark-Streaming核心编程
大数据·分布式·spark
啊喜拔牙44 分钟前
spark和hadoop的区别与联系
大数据·hadoop·spark
白总Server2 小时前
Nginx 中间件
大数据·linux·运维·服务器·nginx·bash·web
yangmf20402 小时前
使用 Logstash 迁移 MongoDB 数据到 Easysearch
java·elasticsearch·搜索引擎
咨询187150651272 小时前
高企复审奖补!2025年合肥市高新技术企业重新认定奖励补贴政策及申报条件
大数据·人工智能·区块链
Guheyunyi2 小时前
智能照明系统:照亮智慧生活的多重价值
大数据·前端·人工智能·物联网·信息可视化·生活
用户199701080182 小时前
深入解析淘宝商品详情 API 接口:功能、使用与实践指南
大数据·爬虫·数据挖掘
ONEYAC唯样3 小时前
“在中国,为中国” 英飞凌汽车业务正式发布中国本土化战略
大数据·人工智能
mozun20203 小时前
产业观察:哈工大机器人公司2025.4.22
大数据·人工智能·机器人·创业创新·哈尔滨·名校
Apache Flink4 小时前
京东物流基于Flink & StarRocks的湖仓建设实践
java·大数据·flink