pyspark 判断 Hive 表是否存在

python 复制代码
Catalog.tableExists(tableName: str, dbName: Optional[str] = None) → bool
'''
tableName:表名
dbName:库名(可选)
return:bool 值
'''
python 复制代码
from pyspark.sql import SparkSession
spark = SparkSession \
        .builder \
        .appName('tableExists') \
        .config('spark.num.executors', '6') \
        .config('spark.executor.memory', '12g') \
        .config('spark.driver.memory', '2g') \
        .config('spark.executor.cores', '4') \
        .config('spark.default.parallelism', '50') \
        .config('spark.executor.memoryOverhead', '2g') \
        .config('spark.task.maxFailures', '10') \
        .config("spark.dynamicAllocation.enabled", 'false') \
        .config("spark.sql.broadcastTimeout", "3600") \
        .enableHiveSupport() \
        .getOrCreate()
# 例1
spark.catalog.tableExists("unexisting_table") # False
_ = spark.sql("DROP TABLE IF EXISTS tbl1")
_ = spark.sql("CREATE TABLE tbl1 (name STRING, age INT) USING parquet")
spark.catalog.tableExists("tbl1") # True

# 例2 不同方式
spark.catalog.tableExists("default.tbl1")
spark.catalog.tableExists("spark_catalog.default.tbl1")
spark.catalog.tableExists("tbl1", "default")
_ = spark.sql("DROP TABLE tbl1")

pyspark.sql.Catalog.tableExists

相关推荐
2501_938780285 小时前
《不止 MapReduce:Hadoop 与 Spark 的计算模型差异及适用场景分析》
hadoop·spark·mapreduce
那我掉的头发算什么12 小时前
【数据库】增删改查 高阶(超级详细)保姆级教学
java·数据库·数据仓库·sql·mysql·性能优化·数据库架构
2501_9387739917 小时前
《Hadoop 与 Spark 融合路径:基于 Spark on YARN 的部署与调优技巧》
大数据·hadoop·spark
2501_9387739917 小时前
大数据离线处理:使用 Airflow 调度 Hive 脚本的工作流设计
大数据·hive·hadoop
智海观潮17 小时前
Hive的架构设计和建表语义
大数据·hadoop·apache hive
Timer_Cooker18 小时前
Hive 分区表变更字段长度不生效
数据仓库·hive·hadoop
B站_计算机毕业设计之家1 天前
python电商商品评论数据分析可视化系统 爬虫 数据采集 Flask框架 NLP情感分析 LDA主题分析 Bayes评论分类(源码) ✅
大数据·hadoop·爬虫·python·算法·数据分析·1024程序员节
2501_938782091 天前
《Ubuntu 系统下 MySQL 安装前的环境检查与依赖准备指南》
hive·mysql·ubuntu·adb
RestCloud1 天前
让数据流动更智能:元数据如何重塑DataOps与ETL
数据仓库·etl·数据处理·数据传输·元数据·数据集成平台·dataops
2501_938782091 天前
《大数据框架选型指南:Hadoop 与 Spark 的性能、成本与扩展性对比》
大数据·hadoop·spark