Есть ли приложения для журналов потока данных?

Можно ли зарегистрировать приложения для логбэка в Dataflow?

С помощью Beam я могу определить приложение для DirectRunner, но когда я развертываю его в Dataflow, кажется, что он больше не работает. Это просто мой logback.xml теряется или это потому, что у бегуна есть собственный отдельный корневой регистратор?


person meunierd    schedule 07.05.2017    source источник


Ответы (1)


Средство выполнения потока данных отвечает за оркестровку и параллелизацию вашего конвейера для работы в распределенной среде. В рамках этого он управляет ведением журнала с помощью SLF4J.

Если вы можете получить логбэк для работы поверх одной из поддерживаемых библиотек или просто использовать одну из них напрямую, вы сможете получать сообщения журнала своей работы в облачном журнале.

Документ предназначен для SDK Dataflow, но он также должен применяться к лучу: https://cloud.google.com/dataflow/pipelines/logging

person Pablo    schedule 09.05.2017
comment
Я искал возможность подключиться к системе журналирования, чтобы сообщать об ошибках внешней службе, потому что облачное ведение журнала ужасно при агрегации ошибок, а Stackdriver Error Reporting не поддерживается (пока?). Отправка фактических сообщений - это не моя проблема. - person meunierd; 11.05.2017