Публикации по теме 'kafka'


Платформа данных. Часть 1. Обзор
В течение последних двух лет я работал над платформой данных. Ниже приводится краткое изложение некоторых наиболее интересных задач, с которыми я сталкивался. В любой SaaS-компании в любой момент генерируется множество данных, будь то данные, относящиеся к клиентам, маркетингу, продажам или человеческим ресурсам. или лучше обучать наши модели ML/AI. Проблема Ниже приведены некоторые из основных бизнес-задач, которые мы пытаемся решить с помощью платформы данных: Собирайте показатели..
Начало работы с Kafka в .NET: пошаговое руководство
В этом посте я показал вам, как настроить Kafka на .NET и начать работать с ним в своих проектах. Вы можете использовать kafka-console-producer.sh и `kafka-console-consumer
Использование REST API Kafka с Go
Kafka REST API может быть решением, когда для нашего проекта недоступны родные драйверы. Вот пример того, как использовать его с Go. Apache Kafka зарекомендовал себя как масштабируемое решение и широко используется в качестве платформы потоковой передачи событий публикации / подписки. Экосистема вокруг Kafka обширна и богата, и вы, вероятно, использовали одно из ее многочисленных решений. Kafka использует собственный протокол TCP , который может быть реализован на любом языке..
Освойте оболочку Kafka за 5 минут - темы, производители и потребители
Изучите основы производителей и потребителей консолей Kafka с помощью этой практической статьи и видео В мире больших данных необходима надежная потоковая платформа. Здесь на помощь приходит Kafka. Он уже установлен и настроен с помощью Docker. Если это не так, прочтите эту статью или посмотрите это видео , прежде чем продолжить. Сегодня вы узнаете все о Kafka Topics, производителях консолей и потребителях. Вы освоите оболочку Kafka и к концу статьи будете готовы к более сложным..
Пять причин, по которым распределенные архитектуры на базе Kafka превосходят классический дизайн программного обеспечения
В настоящее время облачные решения день за днем ​​набирают популярность среди гигантских компаний, которые когда-то полагались на локальные инфраструктуры и высокопроизводительные компьютерные архитектуры, также известные как системы на основе мэйнфреймов. Эта тенденция была впервые поддержана крупными технологическими компаниями, особенно теми, которые определены как компании FAAMG . Имея это в виду, я решил создать статью, в которой исследуются некоторые из основных преимуществ..
Monokl - Простая визуализация Kafka
Monokl: инструмент разработки с открытым исходным кодом, который предоставляет простой способ визуализировать состояние вашего кластера Kafka Итак ... вам может быть интересно ... Что такое Кафка? Apache Kafka - это потоковая платформа с открытым исходным кодом. Платформа позволяет разработчикам создавать приложения, которые непрерывно создают и потребляют потоки записей данных. Другими словами, Kafka облегчает разработку приложений, управляемых событиями в реальном времени...
KSQL и зарегистрированные темы
Я рассматриваю KSQL как обертку вокруг Kafka Streams. Если мое приложение ETL не сложное и его можно обрабатывать с помощью KSQL, я предпочитаю именно так. В моем текущем проекте типичное приложение Kafka Streams состоит из загрузки данных через Kafka Connect в тему, их преобразования и помещения обратно в другую тему. Пока я не открыл для себя KSQL, это был довольно повторяющийся подход: написать схему Avro, сгенерировать соответствующие классы Java с помощью..