Вопросы по теме 'avro-tools'

Преобразование данных для поля с помощью AVRO
Я новичок в АВРО. Мы начали использовать схему AVRO для чтения данных. Теперь у нас есть вариант использования, когда мне нужно обрезать данные при чтении. Предположим, моя авро схема такая { "name": "table", "namepsace": "csd",...
420 просмотров
schedule 25.08.2023

Python3 apache avro 1.8.2 не предоставляет псевдонимы
У меня есть следующая программа avro python3: import avro.schema import json from avro.datafile import DataFileReader, DataFileWriter from avro.io import DatumReader, DatumWriter write_schema = avro.schema.parse(json.dumps({ "namespace":...
450 просмотров
schedule 19.12.2023

Spark 2.4.1 не может прочитать файл Avro из HDFS
У меня есть простой блок кода для записи, а затем чтения фрейма данных в формате Avro. Поскольку библиотека Avro уже встроена в Spark 2.4.x, Запись файлов Avro прошла успешно, и файлы были созданы в HDFS. Однако при чтении файлов возникает...
308 просмотров
schedule 24.12.2023

создать представление json для десятичного логического типа и типов байтов для схемы avro
Я пытаюсь создать строку JSON в соответствии с приведенной ниже схемой avro для десятичного значения. https://avro.apache.org/docs/1.8.2/spec.html#Logical+Types { "name": "score", "type": "bytes", "logicalType": "decimal", "precision": 10,...
1542 просмотров
schedule 14.06.2023