数据治理之考评环节

考评的流程(批处理)

  1. 周期调度,每天一次:采集hive, hdfs元数据
  2. 存放到mysql中的dga库的metainfo表
  3. 手动通过管理页面补充辅助信息
  4. 指标考评
    • 读取要考评的表的元数据及辅助信息
    • 读取要考评的指标
    • 对每张表的每个指标逐个进行考评
    • 保存考评结果

代码生成后

每个service和mapper包里面的类都需要加@DS("dga")

bean对象里面的字段不是平铺的

这个问题可以转换为,查询结果如何封装到一个有父子嵌套的对象中,需要借助xml来配置映射关系。

  1. 要把父子对象中同名的字段进行重命名,避免混淆
  2. @ResultMap用来关联xml的映射文件
  3. xml 来描述子对象的属性映射
  4. auto_mapping可以帮助省略所有蛇型和驼峰格式的映射
  5. application.properties中要声明xml位置和auto_mapping范围
  6. 把xml拷贝到resource下的mapper目录

表格

靠左的是字符串,靠右的是数字

设计模式

  1. 对扩展开放,对修改关闭
  2. 面对各种需求变更,代码变化
  3. 尽量增加类,而不是修改已有的类

能否通过字符串动态的加载某个类的实例并调用他的方法

  1. 反射
  2. spring容器动态装载
  3. 创建一个springBeanProvider类
  4. 实现ApplicationContextAware接口
  5. 接收框架的applicationContext到本地变量中
  6. 然后在getBean方法中可以根据组件名称和类名来发放组件
  7. 整个provider添加一个@Component注解
相关推荐
姜穆澜1 小时前
OneID 从 0 到 1 完整生产案例(四)
大数据
OsDepK1 小时前
项目快速Git至仓库(完整版)
大数据·git·elasticsearch·搜索引擎
合米AI SOP系统2 小时前
传统产线如何快速上马落地 AI 防错?合米科技 AI SOP 7天即可上线。
大数据·人工智能·科技
思录Echo2 小时前
什么决定具身智能的最终走向?多技术路线与落地现实辨析
大数据·人工智能
xiaohaiAIgeo2 小时前
【2026年】AI监控加行为分析守护实验室安全
大数据·人工智能·科普知识
林墨聊AIGC3 小时前
动漫AI视频创作工具在哪找到的?2026年最新动漫AI视频平台与软件指南
大数据·人工智能·ai作画·aigc·音视频
故七月4 小时前
告别 AI 时代品牌 “隐身”:万域智瞰 AI‑GEO,构建品牌大模型时代营销新基建
大数据·人工智能
数字孪生视频孪生5 小时前
三维实时重构异构底座 核工危化无感定位跨境轨迹一屏统揽
大数据·运维·人工智能·重构·架构
腾讯云大数据5 小时前
腾讯云AI Native数据平台功能发布合集【8月】
大数据·人工智能·云计算·腾讯云
小蒋观天下6 小时前
2026交通安防AI摄像头完整选型指南
大数据·人工智能