[AIGC] Doris:一款高效的MPP数据仓库引擎

在大数据处理的领域中,Apache Doris(原百度 Palo)是一个高效的MPP(大规模并行处理)数据仓库,最初由百度开发,现在已经成为Apache的孵化项目。

(图片取自百度)

--

文章目录

    • [1. Doris的基础知识](#1. Doris的基础知识)
    • [2. Spring Boot,MyBatis-Plus连接Doris](#2. Spring Boot,MyBatis-Plus连接Doris)

1. Doris的基础知识

Doris基于Google的Dremel和F1技术构建,设计目标是通过简洁易用的SQL界面,为超大规模实时分析提供解决方案。它使用面向列的存储设计和并行计算来满足数据查询和分析的需求。

Doris独特的特性包括:

  • 实时流式加载:Doris直接由生产系统中摄取数据,以支持近实时查询。

  • 高并发低延迟查询处理:Doris通过并行执行计划和大规模并行处理技术,实现高并发和低延迟的查询。

  • 基于向量化和编码的高效存储扫描:Doris通过向量化和编码进行大规模的列式存储扫描,显著提高查询的效率和系统的吞吐量。

2. Spring Boot,MyBatis-Plus连接Doris

首先,我们需要在项目的pom.xml中添加MySQL的JDBC依赖:

XML 复制代码
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.17</version>
</dependency>

然后在application.properties中添加与Doris的连接属性:

properties 复制代码
spring.datasource.url=jdbc:mysql://dorisEndPoint:9030/testDb
spring.datasource.username=root
spring.datasource.password=
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

mybatis-plus.mapper-locations=classpath:mapper/*.xml

请注意,Doris使用的是MySQL的连接协议,因此可以使用MySQL的JDBC驱动进行连接。

接着是Mybatis-Plus的相关配置与使用,在你的配置类中添加以下配置:

java 复制代码
@Autowired
private DataSource dataSource;

@Bean
public SqlSessionFactory sqlSessionFactory() throws Exception {
    MybatisSqlSessionFactoryBean sqlSessionFactory = new MybatisSqlSessionFactoryBean();
    sqlSessionFactory.setDataSource(dataSource);
    sqlSessionFactory.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath*:mapper/*Mapper.xml"));
    return sqlSessionFactory.getObject();
}

再创建对应的Mapper接口和Mapper.xml文件,就可以开始使用Mybatis-Plus进行增删改查操作了。

java 复制代码
public interface UserMapper extends BaseMapper<User>{
}

这样,我们就完成了在Spring Boot中通过MyBatis-Plus操作Doris数据库的设置。

结语:大规模并行处理(MPP)引擎Doris和Spring Boot以及Mybatis-Plus之间的相结合,使得我们在使用简单且强大的Spring Boot编程模型的同时,也能享受到Doris在大数据处理中的强大能力。

相关推荐
火山引擎边缘云1 小时前
豆包 1.5 · 深度思考模型上线边缘大模型网关,百万 Tokens 免费领
llm·aigc·边缘计算
量子位2 小时前
飞猪 AI 意外出圈!邀请码被黄牛倒卖,分分钟搞定机酒预订,堪比专业定制团队
人工智能·llm·aigc
量子位2 小时前
趣丸科技贾朔:AI 音乐迎来应用元年,五年内将重构产业格局|中国 AIGC 产业峰会
人工智能·aigc
量子位2 小时前
粉笔 CTO:大模型打破教育「不可能三角」,因材施教真正成为可能|中国 AIGC 产业峰会
人工智能·aigc
墨风如雪9 小时前
AI圈炸锅!OpenAI发布o3和o4-mini:不止聪明,更能“看图思考”和自主干活了?
aigc
win4r9 小时前
🚀OpenAI首发轻量级AI编程智能体-OpenAI Codex CLI,编程能力能否超越cursor?Codex编程智能体实战,打破编程瓶颈,自动化开发
aigc·openai·cursor
Sherlock Ma9 小时前
基于LightRAG进行本地RAG部署(包括单卡多卡本地模型部署、调用阿里云或DeepSeekAPI的部署方法、RAG使用方法)
人工智能·阿里云·大模型·aigc·检索增强·rag·deepseek
chat2tomorrow10 小时前
如何构建类似云数据仓库 Snowflake 的本地数据仓库?
大数据·数据仓库·低代码·数据治理·snowflake·sql2api
Goboy10 小时前
基于BERT的中文自动摘要实践指南
llm·aigc·ai编程
哪吒编程19 小时前
o3、o4-mini重磅发布,多模态+深度思考,再次登顶最强模型
aigc·openai