spark的jdbc接口,类似于hiveserver2

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-server

Spark SQL可以作为一个分布式查询引擎,通过其JDBC/ODBC或命令行接口进行操作。通过JDBC/ODBC接口,用户可以使用常见的数据库工具或BI工具来连接和查询Spark SQL,这使得Spark SQL可以与现有的数据分析工具和报表工具集成,为用户提供了更加灵活和便捷的数据分析和查询方式。

这里实现的Thrift JDBC/ODBC服务器对应于Hive 1.2.1中的HiveServer2。您可以使用Spark或Hive 1.2.1附带的beeline脚本测试JDBC服务器。

这个脚本接受所有bin/spark-submit命令行选项,还可以使用--hiveconf选项来指定Hive属性。您可以运行./sbin/start-thriftserver.sh --help来获取所有可用选项的完整列表。默认情况下,服务器监听localhost:10000。您可以通过环境变量来覆盖这种行为,例如:

Thrift 接口的缺点

https://baijiahao.baidu.com/s?id=1695268888248206405&wfr=spider&for=pc

相关推荐
Just_Do_IT_OK29 分钟前
Docker--Spark
docker·容器·spark
会编程的李较瘦31 分钟前
【Spark学习】数据清洗
学习·ajax·spark
paperxie_xiexuo3 小时前
如何用自然语言生成科研图表?深度体验PaperXie AI科研绘图模块在流程图、机制图与结构图场景下的实际应用效果
大数据·人工智能·流程图·大学生
Mr_sun.3 小时前
Day07——RabbitMQ-高级
分布式·rabbitmq
Qiuner4 小时前
Spring Boot 配置文件高级实战指南 热更新/动态配置/安全加密/分布式同步/环境变量注入
spring boot·分布式·安全
旗讯数字4 小时前
旗讯 OCR 技术解析:金融行业手写表格识别方案与系统集成实践
大数据·金融·ocr
无心水5 小时前
【分布式利器:事务】4、SAGA模式:长事务的最佳选择?
分布式·seata·分布式事务·saga模式·tcc·分布式利器·长事务
lang201509286 小时前
Kafka延迟操作机制深度解析
分布式·python·kafka