SpringBoot,TDengine时序数据库,实现物联网,车联网大批量数据更新最佳实践。

简介

TDengine 是一款专为物联网、工业互联网等场景设计并优化的大数据平台,它能安全高效地将大量设备、数据采集器每天产生的高达 TB 甚至 PB 级的数据进行汇聚、存储、分析和分发,对业务运行状态进行实时监测、预警,提供实时的商业洞察。其核心模块是高性能、集群开源、云原生、极简的时序数据库 TDengine OSS

官网地址:https://www.taosdata.com/

文档地址:https://docs.taosdata.com/get-started/package/

注意事项

  1. 安装步骤及配置文件配置信息请参考官网,有详细说明
    1. 密码设定 alter user root pass 'youpassword'
    2. 登录: taos 或者 taos -u root -p
  2. sql遵循sql规范,对于大部分mysql 语法有较好的兼容性,因为数据记录而生故不存在修改语法,如需修改可直接根据timestamp直接使用insert
  3. 数据迁移请参考datax 组件手册,地址:https://gitcode.com/alibaba/datax/tree/master,迁移方法请参考:https://blog.csdn.net/u013810234/article/details/130910778
  4. 链接方式分为两种,taosc远程链接及REST 连接链接(此连接方式需要启动taosAdapter服务),原生链接方式效率比rest方式 提升30%
  5. 数据建模方面,超级表与子表概念类似分表,语法参考官网,数据查询查询超级表即可,数据插入可用超级表语法或者子表语法都可
  6. TDengine无普通字段索引,索引都为标签索引(类型分表规则字段)
  7. 函数,mysql 切换为TDengine时,注意不可使用特定语法,或者需要自定义函数(仅支持python 和 c 语言)
  8. TDengine字段无默认值设定,自增键,事务等,请程序指定处理
  9. 建议:行数据可排除非必要字段,存关键性信息,可增加存储效率及查询效率
  10. mybatis中插入不可使用insert标签,报 api 不支持错误,需要使用update标签
  11. 分组查询最新数据时,不可使用主键(timestamp标签),作为最新标准
  12. 使用druid 数据源时 设置属性druid.stat.mergeSql = false,会mergeSql错误

项目中使用情况

  1. pom引入依赖

    复制代码
    <dependency>
              <groupId>com.taosdata.jdbc</groupId>
              <artifactId>taos-jdbcdriver</artifactId>
              <version>3.2.4</version>
     </dependency>
  2. 设置JDBC 数据源,例如

    复制代码
    slave:
            # 从数据源开关/默认关闭
            enabled: true
            driverClassName: com.taosdata.jdbc.TSDBDriver
            url: jdbc:TAOS://123.57.23.160:8630/digital_constr?charset=UTF-8&locale=en_US.UTF-8
            username: root
            password: JoygisIot@2023
            validationQuery: select server_status()
  3. 添加DruidTaosDataProperties,详情见代码

  1. 不可使用 ifnull,ROUND等mysql函数变动请查看CompactionDataMapper.xml.back和CompactionDataMapper.xml,空判断或者小数位,请代码判断

客户端工具

  1. 安装TDengine客户端工具 ,地址: https://www.taosdata.com/assets-download/3.0/TDengine-client-3.2.2.0-Windows-x64.exe
  2. 安装dbeaver工具(字符串类型请以服务器类型做对比,**script查询可能存在字符集问题,**显示为16进制的ASCLL码,为工具问题
  3. 选择数据源为TDengine
  4. 原生连接请选择url连接方式,方法如上
  5. 也可使用可视化工具TDengineGUI

数据迁移

利用阿里云开源项目 datax 进行数据迁移,需要用到python环境,请自行安装python3

注意: 原生包不支持 TDengine3 请参考上述"注意点"中文档

  1. 创建tag 中需要分片的所有表,例如:DataMigration.createTaosTables
  2. 将目标表名,添加到datax中
  3. 生成迁移数据查询sql,并添加到datax.json 源数据中
  4. 执行python datax.py .../job/datax.json
相关推荐
+VX:Fegn089536 分钟前
计算机毕业设计|基于springboot + vue小型房屋租赁系统(源码+数据库+文档)
数据库·vue.js·spring boot·后端·课程设计
进阶的小名5 小时前
[超轻量级延时队列(MQ)] Redis 不只是缓存:我用 Redis Stream 实现了一个延时MQ(自定义注解方式)
java·数据库·spring boot·redis·缓存·消息队列·个人开发
y***n6145 小时前
springboot项目架构
spring boot·后端·架构
qq_318121596 小时前
互联网大厂Java面试故事:支付与金融服务微服务架构、消息队列与AI风控全流程解析
java·spring boot·redis·微服务·kafka·支付系统·金融服务
亲爱的非洲野猪7 小时前
SpringBoot启动流程深度剖析:从@SpringBootApplication到Servlet容器就绪
hive·spring boot·servlet
OpenTiny社区7 小时前
TinyPro v1.4.0 正式发布:支持 Spring Boot、移动端适配、新增卡片列表和高级表单页面
java·前端·spring boot·后端·开源·opentiny
计算机毕设指导67 小时前
基于微信小程序民宿预订管理系统【源码文末联系】
java·spring boot·mysql·微信小程序·小程序·tomcat·maven
爱码猿8 小时前
Springboot结合thymeleaf模板生成pdf文件
spring boot·后端·pdf
Coder_Boy_9 小时前
基于SpringAI的在线考试系统软件系统验收案例
人工智能·spring boot·软件工程·devops
qq_12498707539 小时前
基于SSM框架的智能密室逃脱信息管理系统(源码+论文+部署+安装)
java·大数据·人工智能·spring boot·后端·毕业设计·计算机毕业设计