Cloud Composer выбрасывает InvalidToken после добавления еще одного узла

Недавно я добавил несколько новых групп DAG в производственный воздушный поток и в результате решил увеличить количество узлов в пуле Composer. После этого я получил ошибку: Can't decrypt _val for key=<KEY>, invalid token or value. Теперь это происходит для каждой группы DAG, использующей переменные. Это тоже не тот ключ, это зависит от того, какие переменные нужны DAG.

Я немедленно уменьшил Composer до 3 узлов, и проблема не исчезла.

Я попытался повторно сохранить все переменные, воссоздать их в пользовательском интерфейсе (в котором говорится, что все они действительны), воссоздать их в интерфейсе командной строки (в котором указано invalid для каждой из них).

Я также попытался обновить конфигурацию, чтобы попытаться перезагрузить сервер и вручную остановить экземпляры виртуальных машин.

Composer, похоже, также лишает возможности обновлять ключ Fernet, поэтому я не могу попробовать использовать новый. По какой-то причине кажется, что постоянный, который назначил Composer, теперь недействителен.

Что еще можно сделать для решения этой проблемы, кроме восстановления окружающей среды?


person KJS    schedule 14.11.2018    source источник
comment
Я никогда не использовал Composer, но есть ли способ просматривать журналы планировщика отдельно от веб-сервера, и если да, возникает ли ошибка в обоих?   -  person joebeeson    schedule 14.11.2018
comment
@joeb Stackdriver разделяет журналы для планировщика, к сожалению, он выдает ту же ошибку, когда пытается загрузить DAG. Ничего не изменилось сегодня утром, я думаю, что мой лучший способ действий - воссоздать окружающую среду.   -  person KJS    schedule 14.11.2018


Ответы (1)


Мне удалось решить эту проблему, добавив новый пакет python. Кажется, что добавление пакета - единственный способ действительно «перезагрузить» среду. Перезагрузка аннулировала все мои переменные и соединения, когда она была завершена, но я смог просто добавить их обратно, вместо того, чтобы воссоздавать всю среду.

Слышал об этой проблеме: согласно Google, Composer создает настраиваемый образ для среды и передает по одному каждому узлу, и если он был поврежден во время масштабирования, то единственный способ исправить это - добавить новый пакет python, чтобы он перестроил изображение. Кстати, версия 1.3.0 Composer намного лучше, поскольку планировщик перезапускается каждые 10 минут, что должно решить некоторые из последних проблем, с которыми я столкнулся.

person KJS    schedule 14.11.2018
comment
На какой версии Composer вы наблюдали эту проблему? А вы пытались вручную переопределить ключ фернета (не рекомендуется, просто любопытно)? - person Trevor Edwards; 14.11.2018
comment
@TrevorEdwards Да, я использовал изображение composer-1.1.1-airflow-1.9.0. Однако это не сработало, в документах Google они предписывают, чтобы он постоянно устанавливался при создании среды и чтобы они управляли ключом. Отказано в попытке переопределить конфигурацию или переменную среды для ключа фернета. - person KJS; 14.11.2018