数据治理之考评环节

考评的流程(批处理)

  1. 周期调度,每天一次:采集hive, hdfs元数据
  2. 存放到mysql中的dga库的metainfo表
  3. 手动通过管理页面补充辅助信息
  4. 指标考评
    • 读取要考评的表的元数据及辅助信息
    • 读取要考评的指标
    • 对每张表的每个指标逐个进行考评
    • 保存考评结果

代码生成后

每个service和mapper包里面的类都需要加@DS("dga")

bean对象里面的字段不是平铺的

这个问题可以转换为,查询结果如何封装到一个有父子嵌套的对象中,需要借助xml来配置映射关系。

  1. 要把父子对象中同名的字段进行重命名,避免混淆
  2. @ResultMap用来关联xml的映射文件
  3. xml 来描述子对象的属性映射
  4. auto_mapping可以帮助省略所有蛇型和驼峰格式的映射
  5. application.properties中要声明xml位置和auto_mapping范围
  6. 把xml拷贝到resource下的mapper目录

表格

靠左的是字符串,靠右的是数字

设计模式

  1. 对扩展开放,对修改关闭
  2. 面对各种需求变更,代码变化
  3. 尽量增加类,而不是修改已有的类

能否通过字符串动态的加载某个类的实例并调用他的方法

  1. 反射
  2. spring容器动态装载
  3. 创建一个springBeanProvider类
  4. 实现ApplicationContextAware接口
  5. 接收框架的applicationContext到本地变量中
  6. 然后在getBean方法中可以根据组件名称和类名来发放组件
  7. 整个provider添加一个@Component注解
相关推荐
码农小白猿4 分钟前
IACheck优化电梯定期检验报告:自动化术语审核提升合规性与效率
大数据·运维·人工智能·ai·自动化·iacheck
URBBRGROUN46743 分钟前
Spring AI @ToolParam 扩展注解改造实践
大数据·人工智能·spring
WZTTMoon1 小时前
Spring Boot OAuth2 授权码模式开发实战
大数据·数据库·spring boot
中科天工1 小时前
智能仓储解决方案到底是什么?
大数据·人工智能·智能
xl-xueling1 小时前
从快手直播故障,看全景式业务监控势在必行!
大数据·后端·网络安全·流式计算
云老大TG:@yunlaoda3602 小时前
华为云国际站代理商运维保障的具体要求有哪些?
大数据·运维·华为云
Nautiluss2 小时前
一起调试XVF3800麦克风阵列(二)
大数据·人工智能·嵌入式硬件·音频·语音识别·dsp开发
玖日大大2 小时前
AI智能体聚焦场景化应用,赋能产业创新与效率提升
大数据·人工智能
semantist@语校3 小时前
第五十八篇|从城市节律到制度密度:近畿日本语学院的数据建模与关西语校结构工程
大数据·服务器·数据库·人工智能·百度·ai·知识图谱
天远云服3 小时前
Go 语言实战:构建高并发天远“全国自然人人脸比对 V3”微服务网关
java·大数据·微服务·golang