Вопросы по теме 'avro-tools'
Преобразование данных для поля с помощью AVRO
Я новичок в АВРО. Мы начали использовать схему AVRO для чтения данных.
Теперь у нас есть вариант использования, когда мне нужно обрезать данные при чтении.
Предположим, моя авро схема такая
{
"name": "table",
"namepsace": "csd",...
420 просмотров
schedule
25.08.2023
Python3 apache avro 1.8.2 не предоставляет псевдонимы
У меня есть следующая программа avro python3:
import avro.schema
import json
from avro.datafile import DataFileReader, DataFileWriter
from avro.io import DatumReader, DatumWriter
write_schema = avro.schema.parse(json.dumps({
"namespace":...
450 просмотров
schedule
19.12.2023
Spark 2.4.1 не может прочитать файл Avro из HDFS
У меня есть простой блок кода для записи, а затем чтения фрейма данных в формате Avro. Поскольку библиотека Avro уже встроена в Spark 2.4.x,
Запись файлов Avro прошла успешно, и файлы были созданы в HDFS. Однако при чтении файлов возникает...
308 просмотров
schedule
24.12.2023
создать представление json для десятичного логического типа и типов байтов для схемы avro
Я пытаюсь создать строку JSON в соответствии с приведенной ниже схемой avro для десятичного значения. https://avro.apache.org/docs/1.8.2/spec.html#Logical+Types
{
"name": "score",
"type": "bytes",
"logicalType": "decimal",
"precision": 10,...
1542 просмотров
schedule
14.06.2023