【人工智能训练师】5 hive数据分析

Hive数据分析 (0 / 100分)

基于Hive数据仓库,针对特定问题场景完成数据统计分析。

注意:本模块使用到Hadoop集群

  1. 更新/etc/hosts文件,将虚拟机内网IP写入文件,对应映射名为bigdata
  2. 免密(注意二次确认):ssh-keygen -R bigdata && ssh bigdata
  3. 设置主机名:hostname master && bash
  4. 开启集群命令:bash /root/software/script/hybigdata.sh start

注意:如果环境进入安全模式,使用hdfs dfsadmin -safemode leave可离开安全模式。

基于Hive数据仓库,针对特定问题场景完成数据统计分析

(20 / 100分)

Hive数据表字段信息:

ip数据表说明

字段名 数据类型 描述信息
ip_start STRING Start IP
ip_end STRING End IP
location STRING Location
isp STRING ISP information

log数据表说明

字段名 数据类型 描述信息
id BIGINT Log ID
ip STRING User IP address
access_time STRING Access time
access_url STRING Access URL
status INT Status code
traffic BIGINT Traffic generated by the access
source_url STRING Referrer URL
shell 复制代码
hostname master && bash
vim /etc/hosts
ssh-keygen -R bigdata && ssh bigdata
schematool -dbType mysql -initSchema
bash /root/software/script/hybigdata.sh start
hive

# 1.在Hadoop上,安装并配置Hive数据仓库软件。完成后,启动Hive服务,创建"web"数据库,执行指令"show databases;"并输出相应结果。
# 启动Hive服务,创建"web"数据库,执行指令"show databases;"并输出相应结果。
create database web;
show databases;

# 2.创建库表并查看输出相应字段信息
# 在"web"数据库内分别创建数据表"ip"和"log"。字段及属性要求如题干所示。创建完成后,执行指令"DESCRIBE ip;"与"DESCRIBE log;"查看其字段信息,并输出相应结果。
use web;

CREATE TABLE ip(
    ip_start string,
    ip_end string,
    location string,
    isp string
)row format delimited fields terminated by ',';

CREATE TABLE log(
    id bigint,
    ip string,
    access_time string,
    access_url string,
    status int,
    traffic bigint,
    source_url string
)row format delimited fields terminated by '\t';

# 3.导入数据到Hive表中
# 将"log_processed.txt"数据导入上述"log"数据表中。
#执行"SELECT count(*) from web.log where log.status='301';" 指令,查询其记录总数
# 将表查询的数量结果存入ip_log_num表中
LOAD DATA LOCAL INPATH '/root/service/yunan/result/log_processed.txt' INTO TABLE log;

ip_log_num表

字段	数据类型	描述
type	STRING	ip或者log的查询
num	INT	数量

CREATE TABLE ip_log_num(
    type string,
    num int
)row format delimited fields terminated by ',';


INSERT INTO TABLE ip_log_num VALUES ('301', 2951);
select * from ip_log_num;
相关推荐
机器之心18 分钟前
一句话爆改三维场景!斯坦福吴佳俊团队新作:场景语言,智能补全文本到3D的场景理解
人工智能·后端
机器之心18 分钟前
Scaling Laws终结,量化无用,AI大佬都在审视这篇论文
人工智能·后端
985小水博一枚呀24 分钟前
【深度学习目标检测|YOLO算法4-4】YOLO家族进化史:从YOLOv1到YOLOv11的架构创新、性能优化与行业应用全解析——工业领域
网络·人工智能·深度学习·算法·yolo·目标检测·架构
亿佛28 分钟前
自动驾驶仿真:软件在环(SIL)测试详解(精简版入门)
人工智能·机器学习·自动驾驶
少喝冰美式1 小时前
大语言模型在序列推荐中的应用
人工智能·程序人生·自然语言处理·大模型·大语言模型·计算机技术·大模型应用
DisonTangor1 小时前
AMD-OLMo:在 AMD Instinct MI250 GPU 上训练的新一代大型语言模型。
人工智能·语言模型·自然语言处理
Q8137574601 小时前
探索金融科技:民锋科技如何利用数据驱动投资策略
人工智能·科技·金融
深圳市青牛科技实业有限公司1 小时前
【青牛科技】 GC6153——TMI8152 的不二之选,可应用于摇头机等产品中
人工智能·科技·单片机·嵌入式硬件·新能源·摇头机
人工智障调包侠1 小时前
Pytorch从0复现worc2vec skipgram模型及fasttext训练维基百科语料词向量演示
人工智能·pytorch·自然语言处理·nlp·word2vec·词向量·skipgram