Публикации по теме 'data-engineering'


Последние достижения в сверточной графической сети (GCN)
Сеть свертки графов (GCN) приобрела популярность благодаря своей универсальности в решении глубоко взаимосвязанных реальных проблем. Если вам нужно быстро освежить в памяти GNN / GCN, следуйте здесь , прежде чем продолжить. В этом посте мы собираемся осветить некоторые достижения в архитектуре GCN, проще говоря… Таблица содержания: Строительные блоки GCN SAGEConv GINConv Сеть Graph Attention (GAT) Строительные блоки GCN GCN объединяет сверточный принцип более традиционной..
Шесть функций преобразования типов данных для предварительной обработки данных для машинного обучения
Включает весь код Python, предлагает цепочку панд и расширяет пакет pyjanitor. Введение в предварительную обработку данных: преобразование типов данных Работая инженером или специалистом по данным, вы потратите много времени на предварительную обработку данных, чтобы выполнить практическое обучение своему MLM, а затем составить точные прогнозы из вашего MLM. Что 70% студентов, изучающих науку о данных, делают неправильно Уроки, извлеченные из..
Архитектура для конвейера больших данных с высокой пропускной способностью и низкой задержкой в ​​облаке
Инженерия данных Архитектура для конвейера больших данных с высокой пропускной способностью и низкой задержкой в ​​облаке Масштабируемые и эффективные конвейеры данных так же важны для успеха аналитики, науки о данных и машинного обучения, как надежные каналы поставок для победы в войне. Для развертывания приложений аналитики больших данных, анализа данных и машинного обучения (ML) в реальном мире настройка аналитики и обучение моделей составляют лишь около 25% работы. Примерно 50%..
Как я бесплатно сдал экзамен на Google Professional Data Engineer
Я делюсь своей экзаменационной стратегией и способами возмещения ваших затрат на экзамен Как возместить затраты на экзамен (Cert + Prep) В культуре нашей компании, связанной с ростом (личным и профессиональным), и недавнем стремлении к облачным технологиям ... я смог получить полную компенсацию затрат на экзамен и подготовку. Я прошу вас проконсультироваться с руководителями / менеджерами ваших команд. Обычно у каждой команды есть бюджет, выделенный на сертификацию. В случае, если это..
Современная унифицированная архитектура данных
Сегодня основная ценность для бизнеса заключается в анализе данных и продуктов, основанных на данных, а не в самом программном обеспечении. Данные, генерируемые несколькими разрозненными приложениями, объединяются и значительно улучшаются, чтобы обеспечить лучшее обслуживание клиентов. Получение ценности из данных включает построение унифицированной архитектуры данных и совместные усилия групп инженеров и специалистов по обработке данных. Инжиниринг данных включает в себя создание и..
Пакетная нормализация и выпадение в нейронных сетях, объясненные с помощью Pytorch
В этой статье мы обсудим, зачем нам нужна пакетная нормализация и отсев в глубоких нейронных сетях, а затем эксперименты с использованием Pytorch на стандартном наборе данных, чтобы увидеть эффекты пакетной нормализации и отсева. Эта статья основана на моем понимании лекций по глубокому обучению от PadhAI. Примечание для цитирования: содержание и структура этой статьи основаны на лекциях по глубокому обучению от One-Fourth Labs - PadhAI . Зачем нормализовать входные данные?..
Сдерживание сложности в потоках
В ходе анализа входных данных мы видим исключения. Это данные, с которыми нужно обращаться по-другому, используя более сложные эвристики, модели или алгоритмы. К счастью , эти данные встречаются нечасто. К сожалению , нам все равно нужно обработать эти данные так же быстро и точно, как и в общем случае. Мы не хотим разрабатывать инфраструктуру, которая будет обрабатывать все эти исключения, потому что это усложнит наш конвейер. Однако мы хотим, чтобы наша инфраструктура была..