Как записывать сообщения в журнал вывода на AWS Glue?

Попробуйте использовать встроенный логгер python из модуля logging, по умолчанию он записывает сообщения в стандартный поток вывода.

import logging

MSG_FORMAT = '%(asctime)s %(levelname)s %(name)s: %(message)s'
DATETIME_FORMAT = '%Y-%m-%d %H:%M:%S'
logging.basicConfig(format=MSG_FORMAT, datefmt=DATETIME_FORMAT)
logger = logging.getLogger(<logger-name-here>)

logger.setLevel(logging.INFO)

...

logger.info("Test log message")

Я знаю, что статья не нова, но, возможно, она может быть кому-то полезна: для меня вход в glue работает со следующими строками кода:

# create glue context
glueContext = GlueContext(sc)
# set custom logging on
logger = glueContext.get_logger()
...
#write into the log file with:
logger.info("s3_key:" + your_value)

Я заметил, что приведенные выше ответы написаны на Python. Для Scala вы можете сделать следующее

import com.amazonaws.services.glue.log.GlueLogger

object GlueApp {
  def main(sysArgs: Array[String]) {
    val logger = new GlueLogger
    logger.info("info message")
    logger.warn("warn message")
    logger.error("error message")
  }
}

Вы можете найти решение как для Python, так и для Scala в официальном документе здесь

Я столкнулся с той же проблемой. Я решил это, добавив logging.getLogger().addHandler(logging.StreamHandler(sys.stdout))

Раньше вообще не было отпечатков, даже уровня ОШИБКИ

Идея взята отсюда https://medium.com/tieto-developers/how-to-do-application-logging-in-aws-745114ac6eb7

Другой вариант - войти в стандартный вывод и привязать ведение журнала AWS к стандартному выводу (использование стандартного вывода на самом деле является одним из лучших методов ведения журнала в облаке).

Обновление: работает только для setLevel (ПРЕДУПРЕЖДЕНИЕ) и при выводе ERROR или WARING. Не нашел как управлять для уровня ИНФОРМАЦИИ :(

На всякий случай это поможет. Это работает для изменения уровня журнала.

sc = SparkContext()
sc.setLogLevel('DEBUG')
glueContext = GlueContext(sc)
logger = glueContext.get_logger()
logger.info('Hello Glue')

Это работало для уровня INFO в задании Glue Python:

import sys

root = logging.getLogger()
root.setLevel(logging.DEBUG)

handler = logging.StreamHandler(sys.stdout)
handler.setLevel(logging.DEBUG)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
root.addHandler(handler)
root.info("check")

исходный код