Вопросы по теме 'airflow-scheduler'
Как Airflow подключается к Spark и можно ли установить разные права доступа для пользователей в Airflow?
Привет, я все еще новичок в Airflow. Я хотел бы знать, как Airflow подключается к Spark? У меня есть сервер с разными учетными записями (или профилями) для доступа к кластеру Spark. Интересно, есть ли у Airflow фиксированный профиль для подключения...
288 просмотров
schedule
04.07.2022
Как включить SSL в Apache Airflow?
Я использую Airflow 1.7.0 с LocalExecutor, и документация предполагает, что для включения SSL нам нужно передать путь сертификата и ключа и изменить порт на 443, как показано ниже.
[webserver]
web_server_ssl_cert = <path to cert>...
4885 просмотров
schedule
30.04.2023
Повторный запуск неудачных SubDAG
Я играл с SubDAG. Большой проблемой, с которой я столкнулся, является то, что всякий раз, когда что-то в SubDAG выходит из строя, и я повторно запускаю что-то, нажимая Clear, повторно запускается только очищенная задача; успех не распространяется на...
335 просмотров
schedule
26.11.2022
Ошибка воздушного потока - файл журнала не является локальным
Я пытаюсь выполнить сценарий Airflow и получаю сообщение об ошибке при проверке журналов Task_id в представлении графика:
Hi,
Я получаю, что файл журнала не является локальной ошибкой при запуске сценария Airflow. Ниже приводится сообщение об...
2044 просмотров
schedule
05.08.2022
Настройка среды Apache Airflow
Можно ли использовать одну установку Apache Airflow для работы с несколькими средами? например. Dev, QA1, QA2 и Production (если да, пожалуйста, объясните), или мне нужна отдельная установка для каждого? Какой будет лучший дизайн с учетом...
414 просмотров
schedule
23.04.2024
Как остановить выполнение задач Airflow с выключенных дагов
Я создал несколько DAG-файлов, запустил их и остановил их в середине выполнения (с помощью кнопки OFF).
Однако пользовательский интерфейс по-прежнему показывает «Выполняемые задачи» для этих остановленных групп DAG. Я попытался установить...
2943 просмотров
schedule
04.11.2023
Какую start_date следует использовать для DAG, запускаемого вручную?
Многие из дагов с примерами воздушного потока , для которых schedule_interval=None задано динамическое начало дата, например airflow.utils.dates.days_ago(2) или _ 3_ . Однако docs рекомендуют против динамической даты начала:
Мы не...
4596 просмотров
schedule
01.08.2023
Остановить выполнение оставшихся задач в воздушном потоке
У меня есть три задачи t1,t2,t3 . каждый вывод задачи является вводом следующей задачи, например, t1 вывод является t2 вводом. После завершения t1 я получаю пустую выходную папку (что может случиться в моем случае, и это приемлемо и помечено...
3891 просмотров
schedule
19.04.2023
Сбросить время выполнения DAG воздушного потока
В настоящее время у меня есть dag, который запланирован @daily и обычно должен срабатывать сразу после полуночи, чтобы работать с данными предыдущего дня.
Каким-то образом теперь он начал работать в 11:30 из-за того, что в прошлом были проблемы,...
2014 просмотров
schedule
03.06.2024
Airflow 1.10 - большая задержка между задачами
У меня проблема с долгим ожиданием между задачами в одной DAG. У меня Airflow 1.10. Кто-нибудь может указать, какие настройки актуальны для твика? См. пример ниже.
Самое долгое ожидание здесь — более полутора часов.
1120 просмотров
schedule
30.08.2022
Планировщик воздушного потока не получает задание
Я создал новый Dag со следующими аргументами:
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime.now(),
'email': ['[email protected]'],
'email_on_failure': False,
'email_on_retry':...
2865 просмотров
schedule
02.10.2023
Группы обеспечения доступности баз данных Airflow, не запущенные в Google Cloud Composer: зависимости, блокирующие задачу от получения расписания
Я только что установил среду Cloud Composer на Python 3 и версию образа Composer composer-1.4.0-airflow-1.10.0 . Все настройки в остальном "стоковые"; т.е. без переопределения конфигурации.
Я пытаюсь протестировать чрезвычайно простой DAG. Он...
1668 просмотров
schedule
09.03.2022
Секреты в Google Cloud Bucket
Мы хотим иметь производственную среду воздушного потока, но не знаем, как правильно обращаться с секретами, в частности с файлами JSON клиента google bigquery.
Мы попытались настроить секреты кубернетов в автоматически созданном кластере кубернетов...
76 просмотров
schedule
01.10.2022
python — Как настроить dag воздушного потока для запуска два раза в день
Благодаря моим недавним исследованиям я пришел к выводу, что schedule_interval для воздушного потока имеет некоторые особенности, и я сделал все возможное, чтобы попытаться интерпретировать, как это может влиять на то, что я делаю, но не совсем...
2280 просмотров
schedule
01.01.2023
Запуск хранимой процедуры в Airflow
Я пытаюсь запустить хранимую процедуру в Airflow. Просто я импортировал оператор mssql и попытался выполнить следующее:
sql_command = """ EXEC [spAirflowTest] """
t3 = MsSqlOperator( task_id = 'run_test_proc',
mssql_conn_id =...
2962 просмотров
schedule
19.03.2024
Airflow 1.10.3 - Пустые недавние задачи и запуски DAG
Я установил Airflow 1.10.3 на Ubuntu 18.10 и могу добавлять свои DAG-файлы и запускать их, но «Недавние задачи» и «DAG Runs» в веб-интерфейсе пусты. Все, что я вижу, - это черный пунктирный круг, который продолжает загружаться, но ничего не...
1263 просмотров
schedule
30.09.2022
Celery Принимает больше задач, чем параллелизм рабочих
Я выполняю несколько длительных задач в выделенной очереди. Так что краткосрочных задач не бывает. В настоящее время, когда я запускаю несколько задач в одной очереди, новые задачи отправляются работнику, который уже заполнен, т.е. нет задач =...
653 просмотров
schedule
06.12.2023
Изменение рабочей очереди в реальном времени в Apache Airflow
В Apache Airflow я могу указать рабочую очередь при запуске рабочего.
У меня есть вариант использования, когда я хотел бы изменить очередь, которую рабочий использует в прямом эфире, чтобы существующий рабочий вытягивал новые задания из этой...
92 просмотров
schedule
21.06.2022
Запуск внешнего тега с помощью другого тега в Airflow
Имея список задач, которые вызывают разные даги в главном даге. Я использую для этого TriggerDagrunoperator. Но столкнулся с несколькими проблемами.
TriggerDagrunoperator не дожидается завершения внешнего dag, он запускает следующую задачу. Я...
2643 просмотров
schedule
22.03.2022
Запретить Планировщику запускать перекрывающуюся задачу
airflow.cfg :
# airflow version = 1.10.1
executor = LocalExecutor
parallelism = 32
dag_concurrency = 16
И dag.py:
with DAG('mydag', schedule_interval="@hourly") as dag:
# define tasks
Но иногда моя задача выполняется дольше, чем...
370 просмотров
schedule
21.05.2022
