AWS Glue PySpark中日志设置

问题

需要在PySpark中设置日志

AWS Glue PySpark

python 复制代码
from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)
logger = glueContext.get_logger()
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

在AWS Glue Python任务中,应用程序日志都是输出到Error logs里面,Output logs里面的日志是print打印出来的日志。在AWS Glue Python Shell任务中,日志设置方式与上面不同:

AWS Glue Python Shell

python 复制代码
import logging

# 初始化日志
logger = logging.getLogger()
logger.setLevel(logging.INFO)


logger.info("info message")
logger.warn("warn message")
logger.error("error message")

参考

相关推荐
梯度下降者5 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
starzy19907 小时前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
wuyk5558 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
kyle~14 小时前
FastAPI --- 将业务能力以 API 的形式提供给外部系统
python·fastapi·前后端
aiotto资源分享14 小时前
Python 写 JSON 文件,程序中途退出会留下什么?
java·python·json·jsondecodeerror
梯度下降者15 小时前
Python信号量,条件变量,事件学习
python·条件变量·事件·信号量·线程通信
MSTcheng.16 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
the局外人17 小时前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
__underline__17 小时前
冷门Python知识点006篇:Python 类体里的名字,能被"凭空造出来"
后端·python
用户03321266636718 小时前
使用 Python 轻松移除 Excel 文档中的重复行
python·excel