问题
需要在PySpark中设置日志
AWS Glue PySpark
python
from awsglue.context import GlueContext
from pyspark.context import SparkContext
sc = SparkContext()
glueContext = GlueContext(sc)
logger = glueContext.get_logger()
logger.info("info message")
logger.warn("warn message")
logger.error("error message")在AWS Glue Python任务中，应用程序日志都是输出到Error logs里面，Output logs里面的日志是print打印出来的日志。在AWS Glue Python Shell任务中，日志设置方式与上面不同：
AWS Glue Python Shell
python
import logging
# 初始化日志
logger = logging.getLogger()
logger.setLevel(logging.INFO)
logger.info("info message")
logger.warn("warn message")
logger.error("error message")