Spark-SQL(四)

一 在Spark 环境下使用 Hive 功能,创建表、加载数据、查询数据以及进行数据转换

1 先将需要用的movie.txt文件放到Spark-SQL/input目录下

  1. 代码如图

1)进行数据转换,创建表、加载数据、查询数据进行数据转换

运行结果

二 spark-sql实验

实验内容:统计有效数据条数用户数量最多的前二十个地址

实验过程:

1 先将需要用的user_login_info.json文件放到Spark-SQL/input目录下

2 运行代码

统计有效数据条数及用户数量最多的前二十个地址。

运行结果

可以得到文件中有效的数据有78537条,以及用户数量最多的前二十个地址。

相关推荐
用户3610588626125 分钟前
Spark 核心之 Client 模式提交命令和特点分析
spark
IanSkunk8 分钟前
视光中心承接近视防控需求,核心是先把服务流程做成标准化工程
大数据
SEO_juper15 分钟前
用Google Search Console数据做内容审计:找出网站上哪些页面在“吃白饭“
大数据·人工智能·外贸独立站
独行侠影a2 小时前
Mojo:专为AI而生的“Python++”,能否真正挑战CUDA与C++的统治地位?
大数据·人工智能·深度学习
greenbbLV3 小时前
中小公司积分商城选型:SaaS与私有化方案对比解析
大数据·前端·小程序
半兽先生3 小时前
大模型技术开发与应用——5.大模型Agent开发(CrewAI)
大数据·人工智能·python·机器学习·ai
笨蛋不要掉眼泪3 小时前
RabbitMQ消息队列:发送者的可靠性
java·分布式·rabbitmq
空杆推不起4 小时前
穿透 Flink CDC 表层用法:数据库日志捕获机制、Flink Source 运行时、端到端一致性底层原理详解
大数据·数据库·flink
cyadyx4 小时前
RabbitMQ 使用说明文档
分布式·rabbitmq
用户3610588626124 小时前
Spark 核心之 YARN-Client 模式:原理、流程与源码级深度拆解
spark