在开发过程中遇到问题如何解决,以及两个经典问题

问题:思路

现象:异常

python:error:错误信息

java:throw exception:错误信息

进程没有明显报错,比如你启动一个进程,看不到这个进程:找日志文件

日志文件:logs目录下面

查看日志:tail -100f logs/xxxxxx.log

分析错误

ArrayoutofIndex:数组越界,数组有五个数,下标从0开始最多只能取到4,多了就会报错

NullException:空指针异常,用到了一个值但是没有定义

classNotFound:类找不到

DG连接问题:

原理:jdbc:用java代码连接数据库

hive/sparksql:端口有区别

可以为同一个端口,只要不在同一台机器

一台机器的话,分开,hiveserver:10000 sparksql:10001,用什么端口都可以,自己配置

hiveserver.port = 100001

start-thriftserver.sh --hiveserver.port = 10001

mysql:hostname、prot、username、password

Oracle:hostname、prot、username、password、sid

驱动导入:自动导入:mysql、oracle

手动导入:hive、sparksql

step1:清空所有自带的包

step2:导入所有的包

cs模式设计问题

cs模式:客户端服务端模式,先启动客户端在启动服务端

client:客户端

hive:beeline、hue

server:服务端

hive:hiveserver2【负责解析sql语句】

hiveserver作为metastore的客户端

metastore作为hiveserver的服务端

先启动metastore,在启动hive

sparksql:thriftserver【负责解析sql语句转换为sparkcore程序】

放入hive-site.xml文件到spark的conf目录的目的?

让sparksql能够访问hive的元数据服务的地址:metastore,spark连metastore,metastore连hive

为了访问hive

不放也可以就是访问不了hive的元数据

docker环境启动thrifserver或者hiveserver的启动顺序

docker start hadoop

docker start hive

docker start spark

相关推荐
Gain_chance9 小时前
34-学习笔记尚硅谷数仓搭建-DWS层最近一日汇总表建表语句汇总
数据仓库·hive·笔记·学习·datagrip
Gain_chance11 小时前
35-学习笔记尚硅谷数仓搭建-DWS层最近n日汇总表及历史至今汇总表建表语句
数据库·数据仓库·hive·笔记·学习
无级程序员20 小时前
大数据Hive之拉链表增量取数合并设计(主表加历史表合并成拉链表)
大数据·hive·hadoop
华农DrLai1 天前
Spark SQL Catalyst 优化器详解
大数据·hive·sql·flink·spark
uesowys1 天前
Apache Spark算法开发指导-One-vs-Rest classifier
人工智能·算法·spark
qq_12498707531 天前
基于Hadoop的信贷风险评估的数据可视化分析与预测系统的设计与实现(源码+论文+部署+安装)
大数据·人工智能·hadoop·分布式·信息可视化·毕业设计·计算机毕业设计
十月南城2 天前
Hive与离线数仓方法论——分层建模、分区与桶的取舍与查询代价
数据仓库·hive·hadoop
鹏说大数据2 天前
Spark 和 Hive 的关系与区别
大数据·hive·spark
B站计算机毕业设计超人2 天前
计算机毕业设计Hadoop+Spark+Hive招聘推荐系统 招聘大数据分析 大数据毕业设计(源码+文档+PPT+ 讲解)
大数据·hive·hadoop·python·spark·毕业设计·课程设计
B站计算机毕业设计超人2 天前
计算机毕业设计hadoop+spark+hive交通拥堵预测 交通流量预测 智慧城市交通大数据 交通客流量分析(源码+LW文档+PPT+讲解视频)
大数据·hive·hadoop·python·spark·毕业设计·课程设计