Публикации по теме 'airflow'
Плывите по течению. Кубэ, Эйр или МЛ?
TL;DR:
Kubeflow специализируется на рабочих процессах машинного обучения на основе Kubernetes с собственной интеграцией. Airflow предлагает универсальное универсальное управление рабочими процессами на разных платформах. MLflow управляет жизненным циклом машинного обучения независимо от платформы. Каждый инструмент предназначен для решения определенных задач в рамках экосистемы машинного обучения.
Недавно мне пришлось много думать об оркестровке, и я быстро понял, что не полностью..
Разблокировка MLOps с помощью Airflow: подробное руководство по оркестровке системы машинного обучения
ПОЛНЫЙ СТЕК 7-ШАГОВ MLOPS FRAMEWORK
Разблокировка MLOps с помощью Airflow: подробное руководство по оркестровке системы машинного обучения
Урок 4: Частный сервер PyPi. Организуйте все с помощью Airflow.
Этот учебник представляет собой урок 4 из курса из 7 уроков , который шаг за шагом проведет вас через проектирование, реализацию и развертывание системы машинного обучения с помощью >Передовой опыт MLOps . В ходе курса вы создадите готовую к производству модель для..
День Дагстера: мысли для пользователей Airflow
Над чем работает Dagster и что это значит для пользователей Airflow
Вчера в 12 часов по восточному времени стартовал Дагстер 1.0. Dagster позиционирует себя как платформу оркестрации нового поколения с открытым исходным кодом для разработки, производства и наблюдения за активами данных . Команда Dagster признает, что они намерены конкурировать с Airflow , но сообщество постоянно спрашивает, так ли это. На самом деле, Дагстер сравнивает себя с Airflow со статьей , которую они..
Вызов DAG Airflow в MWAA из n8n
Когда дело доходит до обработки данных, нам часто приходится создавать конвейеры данных для поэтапной обработки данных на всем пути от их извлечения из источника до их преобразования и агрегирования на целевой платформе. Эти конвейеры могут быть построены с использованием различных инструментов, и мы можем использовать комбинацию инструментов, чтобы получить максимальную отдачу от них, поскольку разные инструменты имеют разные наборы возможностей.
Эта статья является еще одной из..
Лучший инструмент оркестровки для MLOps: реальная история о сложном выборе
Данила Кузнецова и Натальи Царьковой.
Введение
Машинное обучение имеет широкий спектр возможных применений практически во всех отраслях. Архитектура модели, улучшение показателей производительности и оптимизация вычислений всегда были в центре внимания. В то же время машинное обучение еще не прошло тех же этапов процесса стандартизации, что и разработка программного обеспечения в последние десятилетия. На сегодняшний день в области машинного обучения нет единого общепринятого..
Простой способ управлять настройкой Airflow
Настройте Airflow как службу systemd
Airflow поддерживает интеграцию с любыми системами на основе systemd или upstart . Это мой предпочтительный способ запускать что-то автоматически каждый раз, когда система перезагружается, и контролировать ее поведение. Это дает нам возможность управлять и отслеживать состояние веб-сервера и планировщика воздушного потока. Это также позволяет нам автоматически перезапускать демоны воздушного потока при сбое или перезапуске.
Небольшое..
Вопросы по теме 'airflow'
Настройте клиенты SnakeBite HDFS для работы в режиме высокой доступности.
Я использую библиотеку snakebite для доступа к HDFS из моих дагов воздушного потока.
Мой кластер HDFS был переведен в режим высокой доступности. Теперь это означает, что клиенты, настроенные так, чтобы они указывали только на один узел имен, не...
1140 просмотров
schedule
14.03.2024
Планирование задания AirfFlow DAG
Я написал DAG AirFlow, как показано ниже:
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2016, 7, 5),
'email': ['[email protected]'],
'email_on_failure': False,
'email_on_retry':...
4014 просмотров
schedule
02.06.2023
Воздушный поток Этот DAG недоступен в объекте DagBag веб-сервера
когда я помещаю новый скрипт Python DAG в папку dags, я могу просмотреть новую запись DAG в пользовательском интерфейсе DAG, но она не была включена автоматически. Вдобавок к этому, похоже, тоже не загружается должным образом. Я могу только...
23500 просмотров
schedule
27.03.2024
Запуск `airflow scheduler` запускает 33 процесса планировщика
При использовании LocalExecutor с MySQL бэкэндом запуск airflow scheduler в моем блоке Centos 6 создает 33 процесса планировщика, например
deploy 55362 13.5 1.8 574224 73272 ? Sl 18:59 7:42 /usr/local/bin/python2.7...
2584 просмотров
schedule
06.01.2024
Воздушный поток: dag_id не может быть найден
Я запускаю сервер воздушного потока и рабочий на разных машинах AWS. Я синхронизировал эту папку dags между ними, запустил airflow initdb на обоих и проверил, что dag_id одинаковы, когда я запускаю airflow list_tasks <dag_id>
Когда я...
20282 просмотров
schedule
12.07.2023
Как Airflow подключается к Spark и можно ли установить разные права доступа для пользователей в Airflow?
Привет, я все еще новичок в Airflow. Я хотел бы знать, как Airflow подключается к Spark? У меня есть сервер с разными учетными записями (или профилями) для доступа к кластеру Spark. Интересно, есть ли у Airflow фиксированный профиль для подключения...
288 просмотров
schedule
04.07.2022
Создайте уникальное имя файла и получите доступ к этому файлу во всех задачах воздушного потока.
Можем ли мы создавать уникальное имя файла каждый раз, когда запускается даг воздушного потока, и получать доступ к этому файлу из всех задач? Я попытался создать глобальную переменную (output_filename) и добавить к ней метку времени. Но когда я...
1757 просмотров
schedule
21.09.2023
Как вручную запустить Airflow DAG в определенном каталоге
Я оцениваю, подходит ли Airflow для моих нужд (в биоинформатике). У меня проблемы с моделью Airflow. Конкретно:
Где на самом деле выполняется файл DAG? Каков его контекст? Как передать входные данные в файл определения DAG? (Например, я не...
1354 просмотров
schedule
29.11.2022
экспериментальный api dagrun воздушного потока дает ошибку 400: какой должен быть входной параметр
POST-запрос от почтальона к http://host:8080/api/experimental/dags/test_flow/dag_runs выдает «400 неверный запрос: браузер (или прокси) отправил запрос, который этот сервер не может понять». когда он пытается получить_json из запроса. т.е. в...
1903 просмотров
schedule
19.01.2023
Как успешно выйти из задачи на полпути в даге Airflow?
У меня есть даг, который проверяет файлы на FTP-сервере (воздушный поток работает на отдельном сервере). Если файл (ы) существует, он (ы) перемещается в S3 (мы архивируем здесь). Оттуда имя файла передается в задание отправки Spark. Искровое...
1533 просмотров
schedule
14.10.2022
Как настроить emr_default в воздушном потоке
Уважаемый участник Stackoverflow, Я пытаюсь использовать Airflow для планирования группы обеспечения доступности баз данных, которая запускает кластер, запускает несколько искровых заданий, а затем завершает свою работу. Я попытался последовать...
2391 просмотров
schedule
07.02.2022
Управление рабочими процессами и зависимостями непрерывной интеграции Apache Airflow
Я подумываю начать использовать Apache Airflow для проекта, и мне интересно, как люди управляют непрерывной интеграцией и зависимостями с помощью воздушного потока. В частности, скажем, у меня есть следующие настройки
3 сервера Airflow: разработка...
1814 просмотров
schedule
01.06.2024
Задача воздушного потока выполняется на всех узлах
У меня есть кластер воздушного потока с использованием сельдерея и Redis. У меня есть одна задача, которую я хочу запустить для всех рабочих. Как я могу это сделать ?
Причина: мы добавляем и уменьшаем воздушный поток в зависимости от нагрузки....
693 просмотров
schedule
15.05.2022
Рабочий Airflow не слушает очередь rabbitmq по умолчанию
Я настроил Airflow с помощью брокера rabbitmq, сервисы:
airflow worker
airflow scheduler
airflow webserver
идут без ошибок. Планировщик помещает задачи для выполнения в очередь default rabbitmq:
Даже я пробовал airflow...
3885 просмотров
schedule
23.09.2022
Airflow возвращает Backfill, выполненный без выполнения задач
Я запускаю Airflow и пытаюсь повторить какую-то задачу, которую мы создаем, из командной строки.
При запуске веб-сервера воздушного потока все работает как положено. Но когда я запускаю airflow backfill dag task '2017-08-12' , воздушный поток...
1265 просмотров
schedule
02.03.2023
воздушный поток продолжает читать конфигурацию по умолчанию для dags
Я новичок в apache airflow, я изменил конфигурацию по умолчанию на чтение из новой папки dag, однако, когда я запускаю планировщик, он продолжает читать dags из /home/airflow. вот моя конфигурация:
airflow_home = /home/airflow
dags_folder =...
948 просмотров
schedule
03.11.2022
BigQuery с Airflow — отсутствует идентификатор проекта
Пример ниже:
https://cloud.google.com/blog/big-data/2017/07/how-to-aggregate-data-for-bigquery-using-apache-airflow
При выполнении одной из команд:
airflow test bigquery_github_trends_v1 bq_check_githubarchive_day 2017-06-02
получаю...
3120 просмотров
schedule
12.03.2024
Apache Airflow - BigQueryOperator: как динамически установить раздел destination_dataset_table
Мне нужна задача BigQueryOperator, подобная следующей: в которой мне нужно сохранить результат запроса в многораздельную таблицу. Однако "month_start" должен быть получен из фактического DAG execution_date . Мне не удалось найти никаких...
2607 просмотров
schedule
12.02.2024
Apache Airflow Как указать пользователя Unix при использовании BashOperator
В настоящее время моя команда тестирует Airflow для создания рабочих процессов заданий Spark. Мы используем Airflow версии 1.8.0. У нас есть веб-сервер Airflow, работающий на удаленном компьютере, к которому у всех есть доступ по SSH. Другой член...
1341 просмотров
schedule
05.03.2024
Тупик SubDagOperator воздушного потока
Я столкнулся с проблемой, когда группа DAG, состоящая из нескольких SubDagOperators, зависает на неопределенный срок.
Настройка: Использование CeleryExecutor. Для целей этого примера предположим, что у нас есть один рабочий процесс, который может...
2269 просмотров
schedule
06.03.2024
