[AIGC] Doris:一款高效的MPP数据仓库引擎

在大数据处理的领域中,Apache Doris(原百度 Palo)是一个高效的MPP(大规模并行处理)数据仓库,最初由百度开发,现在已经成为Apache的孵化项目。

(图片取自百度)

--

文章目录

    • [1. Doris的基础知识](#1. Doris的基础知识)
    • [2. Spring Boot,MyBatis-Plus连接Doris](#2. Spring Boot,MyBatis-Plus连接Doris)

1. Doris的基础知识

Doris基于Google的Dremel和F1技术构建,设计目标是通过简洁易用的SQL界面,为超大规模实时分析提供解决方案。它使用面向列的存储设计和并行计算来满足数据查询和分析的需求。

Doris独特的特性包括:

  • 实时流式加载:Doris直接由生产系统中摄取数据,以支持近实时查询。

  • 高并发低延迟查询处理:Doris通过并行执行计划和大规模并行处理技术,实现高并发和低延迟的查询。

  • 基于向量化和编码的高效存储扫描:Doris通过向量化和编码进行大规模的列式存储扫描,显著提高查询的效率和系统的吞吐量。

2. Spring Boot,MyBatis-Plus连接Doris

首先,我们需要在项目的pom.xml中添加MySQL的JDBC依赖:

XML 复制代码
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.17</version>
</dependency>

然后在application.properties中添加与Doris的连接属性:

properties 复制代码
spring.datasource.url=jdbc:mysql://dorisEndPoint:9030/testDb
spring.datasource.username=root
spring.datasource.password=
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

mybatis-plus.mapper-locations=classpath:mapper/*.xml

请注意,Doris使用的是MySQL的连接协议,因此可以使用MySQL的JDBC驱动进行连接。

接着是Mybatis-Plus的相关配置与使用,在你的配置类中添加以下配置:

java 复制代码
@Autowired
private DataSource dataSource;

@Bean
public SqlSessionFactory sqlSessionFactory() throws Exception {
    MybatisSqlSessionFactoryBean sqlSessionFactory = new MybatisSqlSessionFactoryBean();
    sqlSessionFactory.setDataSource(dataSource);
    sqlSessionFactory.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath*:mapper/*Mapper.xml"));
    return sqlSessionFactory.getObject();
}

再创建对应的Mapper接口和Mapper.xml文件,就可以开始使用Mybatis-Plus进行增删改查操作了。

java 复制代码
public interface UserMapper extends BaseMapper<User>{
}

这样,我们就完成了在Spring Boot中通过MyBatis-Plus操作Doris数据库的设置。

结语:大规模并行处理(MPP)引擎Doris和Spring Boot以及Mybatis-Plus之间的相结合,使得我们在使用简单且强大的Spring Boot编程模型的同时,也能享受到Doris在大数据处理中的强大能力。

相关推荐
爱吃的小肥羊4 分钟前
【最全】Kiro 注册安装使用全教程|同样用 Opus 4.6,比 Claude Code 便宜 3 倍
aigc·ai编程
程序员阿伦22 分钟前
璋㈤鏈虹殑Java澶у巶闈㈣瘯璁帮細浠嶴pring Boot鍒癒ubernetes锛�3杞湡棰樺叏瑙f瀽锛�
spring boot·redis·kubernetes·aigc·java闈㈣瘯·寰湇鍔�·鐢靛晢绉掓潃
DigitalOcean2 小时前
如何使用DigitalOcean Gradient 平台上的无服务器推理
aigc·agent
鲲志2 小时前
别等 Sora 了!一代神话陨落?OpenAI 这一手“弃车保帅”我看懂了...
aigc·agent·sora
imbackneverdie5 小时前
如何从海量文献中跨界汲取创新灵感?
论文阅读·人工智能·ai·自然语言处理·aigc·ai写作·ai工具
饼干哥哥5 小时前
用AI 48小时速通梅花易数之后,我想通了「学习」的最终解
aigc
用户5191495848456 小时前
SEO LAT Auto Post 插件远程代码执行漏洞利用工具 (CVE-2024-12252)
人工智能·aigc
树獭叔叔6 小时前
向量数据库的双索引架构:HNSW与Payload的协同机制
后端·aigc·openai
DO_Community7 小时前
使用 DigitalOcean 实现 Claude Code “低配订阅 + 外部 Token”
人工智能·aigc·ai编程·ai推理
bukeyiwanshui9 小时前
Hive的使用
数据仓库·hive·hadoop