hive3.1核心源码思路

系列文章目录

大数据主要组件核心源码解析

文章目录


前言

提示:这里可以添加本文要记录的大概内容:

对大数据几个核心组件的源码,记录一下生命线


提示:以下是本篇文章正文内容,下面案例可供参考

一、HQL转化为MR 核心思路

二、核心代码

1. 入口类,生命线

c 复制代码
CliDriver.main
    run()
	 executeDriver()
	   cli.processLine(ss.execString);--hive -e 和 hive读取命令

CliDriver.processLine()
       List<String> commands = splitSemiColon(line);
	   processCmd(command);
	     processLocalCmd(cmd, proc, ss)
		   if (proc instanceof IDriver) 
		      IDriver qp = (IDriver) proc;
		      qp.run(cmd)
			   Driver.run()
			    runInternal(command, alreadyCompiled:false);
				  compileInternal(command, true); --关键代码1:编译sql
				  execute();                      --关键代码2: 执行hql

2. 编译代码

c 复制代码
--关键代码1:编译sql
   Driver.compileInternal(command, true); 
      compile(command, true, deferClose);  
	    ASTNode tree = ParseUtils.parse(command, ctx);  --解析器工作
		 // Do semantic analysis and plan generation
	    BaseSemanticAnalyzer sem = SemanticAnalyzerFactory.get(queryState, tree); --编译器、优化器工作
		sem.analyze(tree, ctx);
		      // get the output schema
        schema = getSchema(sem, conf);
        plan = new QueryPlan(queryStr, sem, perfLogger.getStartTime(PerfLogger.DRIVER_RUN), queryId, queryState.getHiveOperation(), schema);
		   

3. 执行代码

c 复制代码
	 --关键代码2: 执行hql		   
   Driver.execute(); 
      TaskRunner runner = launchTask(task, queryId, noName, jobname, jobs, driverCxt);
         TaskRunner tskRun = new TaskRunner(tsk);
         tskRun.start();
           TaskRunner.run()
            runSequential()
               tsk.executeTask(ss == null ? null : ss.getHiveHistory());
			   --tsk的各种实现类运行  ExecDriver(MR任务的driver类) 、CopyTask, DDLTask, MapRedTask等
                     int retval = execute(driverContext);	--不同的task实现执行
               
			   ExecDriver(MR任务的driver类) mr任务构造、提交

总结

提示:这里对文章进行总结:

对核心流程,生命线进行追踪。

学习源码:核心思路,抓大放小。

把上面的生命线抓住,需要分析具体问题再细看。

相关推荐
vx153027823624 小时前
CDGA|企业数据治理实战:从疏通“信息河”到打造优质“数据湖”
java·大数据·人工智能·cdga·数据治理
AIRIOT5 小时前
AIRIOT智慧消防管理解决方案
大数据
哔哩哔哩技术6 小时前
ClickHouse BSI与字典服务在B站商业化DMP中的应用实践
大数据
想做富婆7 小时前
数仓搭建(hive):DM搭建(数据集市层)
大数据·数仓搭建
python资深爱好者7 小时前
使用机器学习算法进行大数据预测或分类的案例
大数据·算法·机器学习
B站计算机毕业设计超人8 小时前
计算机毕业设计Python农产品推荐系统 农产品爬虫 农产品可视化 农产品大数据(源码+LW文档+PPT+讲解)
大数据·python·机器学习·网络爬虫·课程设计·数据可视化·推荐算法
{⌐■_■}9 小时前
【git】提交修改、回撤、回滚、Tag 操作讲解,与reset (--soft、--mixed、--hard) 的区别
大数据·git·elasticsearch
Aloudata9 小时前
如何通过指标平台,最大化地提升数据分析的效率和质量?
大数据·数据分析·指标平台·指标体系·noetl
网易智企10 小时前
抖音试水AI分身;腾讯 AI 战略调整架构;百度旗下小度官宣接入DeepSeek...|网易数智日报
大数据·人工智能·ai·云计算·开源软件·业界资讯·通信