数据治理之考评环节

考评的流程(批处理)

  1. 周期调度,每天一次:采集hive, hdfs元数据
  2. 存放到mysql中的dga库的metainfo表
  3. 手动通过管理页面补充辅助信息
  4. 指标考评
    • 读取要考评的表的元数据及辅助信息
    • 读取要考评的指标
    • 对每张表的每个指标逐个进行考评
    • 保存考评结果

代码生成后

每个service和mapper包里面的类都需要加@DS("dga")

bean对象里面的字段不是平铺的

这个问题可以转换为,查询结果如何封装到一个有父子嵌套的对象中,需要借助xml来配置映射关系。

  1. 要把父子对象中同名的字段进行重命名,避免混淆
  2. @ResultMap用来关联xml的映射文件
  3. xml 来描述子对象的属性映射
  4. auto_mapping可以帮助省略所有蛇型和驼峰格式的映射
  5. application.properties中要声明xml位置和auto_mapping范围
  6. 把xml拷贝到resource下的mapper目录

表格

靠左的是字符串,靠右的是数字

设计模式

  1. 对扩展开放,对修改关闭
  2. 面对各种需求变更,代码变化
  3. 尽量增加类,而不是修改已有的类

能否通过字符串动态的加载某个类的实例并调用他的方法

  1. 反射
  2. spring容器动态装载
  3. 创建一个springBeanProvider类
  4. 实现ApplicationContextAware接口
  5. 接收框架的applicationContext到本地变量中
  6. 然后在getBean方法中可以根据组件名称和类名来发放组件
  7. 整个provider添加一个@Component注解
相关推荐
jiaozi_zzq几秒前
2026年大数据与财务管理专业就业岗位全解析与进阶指南
大数据·数据分析·证书·财务
海南java第二人几秒前
Flink运行时组件深度解析:Java工程师的架构设计与实战指南
java·大数据·flink
WJX_KOI3 分钟前
保姆级教程:Apache Flink CDC(standalone 模式)部署 MySQL CDC、PostgreSQL CDC 及使用方法
java·大数据·mysql·postgresql·flink
AI实战架构笔记5 分钟前
大数据预测分析在房地产行业的市场动态监测
大数据·ai
实时数据24 分钟前
DPI深度数据包检测 监测用户浏览搜索行为 分析在线活动 频繁访问的购物网站或搜索的关键词 等判断其消费偏好
大数据·安全·big data
智慧化智能化数字化方案1 小时前
数据治理进阶——解读大数据治理主数据管理规划设计方案【附全文阅读】
大数据·数据治理·主数据管理规划
Hello.Reader1 小时前
Flink 大状态 Checkpoint 调优让 Checkpoint 跑得稳、恢复追得上
大数据·flink
是做服装的同学1 小时前
如何选择适合企业的优质服装软件ERP系统?
大数据·经验分享·其他
Elastic 中国社区官方博客1 小时前
Elasticsearch 9.3 增加 bfloat16 向量 支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
A小码哥2 小时前
Claude 今天发布了 Sonnet 4.6, 深度对比:sonnet vs Opus,如何选择最适合你的模型?
大数据·数据库·人工智能