Вопросы по теме 'snappy'

mvn и ошибка make package
ХОРОШО. Вот проблема, и это сводит меня с ума!!! Я следовал онлайн-инструкции, установил hadoop, и при запуске текста он сказал, что локальная библиотека snappy не может быть загружена. Сказано, что я должен сначала установить snappy, а затем...
848 просмотров
schedule 10.09.2023

Как распаковать конец выходного файла hadoop с помощью snappy?
Наш кластер Hadoop использует snappy в качестве кодека по умолчанию. Задание Hadoop уменьшает имя выходного файла, например, part-r-00000.snappy . JSnappy не может распаковать файл, потому что JSnappy требует, чтобы файл начинался с SNZ. Выходной...
18500 просмотров
schedule 24.05.2023

Установить размер файла быстрого вывода паркета - улей?
Я пытаюсь разделить файлы parquet / snappy, созданные hive INSERT OVERWRITE TABLE ... на границе dfs.block.size, поскольку импала выдает предупреждение, когда файл в разделе больше, чем размер блока. Impala регистрирует следующие ПРЕДУПРЕЖДЕНИЯ:...
9434 просмотров
schedule 03.03.2022

как настроить snappy с помощью hbase
Я пытаюсь настроить hbase с помощью snappy. Я установил нативные библиотеки snappy и hadoop: ls /usr/local/lib adp.pm libprotobuf-lite.la libprotobuf.a libprotobuf.so.8.0.0 libprotoc.so.8 libsnappy.so.1.2.0...
1252 просмотров
schedule 10.02.2023

Чтение сжатых данных Snappy на HDFS из потоковой передачи Hadoop
В моей системе HDFS есть папка, содержащая текстовые файлы, сжатые с использованием кодека Snappy. Обычно при чтении сжатых файлов GZIP в задании потоковой передачи Hadoop распаковка выполняется автоматически. Однако этого не происходит при...
1274 просмотров

Используйте wkhtmltopdf в Linux
Я использую wkhtmltopdf в своем проекте Symfony, и на моем компьютере все работает. Но когда я помещаю свой проект на сервер CentOS, я больше не могу создавать файлы PDF. Я использую эту строку, но на Linux-сервере файлы .exe не могут быть...
430 просмотров

Установка Snappy на кластер HDP
У меня есть кластер HBase, построенный с использованием Hortonworks Data Platform 2.6.1. Теперь мне нужно применить сжатие Snappy к таблицам HBase. Не устанавливая Snappy, я выполнил тест сжатия и получил успешный результат. Я использовал...
594 просмотров

UnsatisfiedLinkError: /tmp/snappy-1.1.4-libsnappyjava.so Ошибка загрузки общей библиотеки ld-linux-x86-64.so.2: нет такого файла или каталога
Я пытаюсь запустить приложение Kafka Streams в kubernetes. Когда я запускаю модуль, я получаю следующее исключение: Exception in thread "streams-pipe-e19c2d9a-d403-4944-8d26-0ef27ed5c057-StreamThread-1" java.lang.UnsatisfiedLinkError:...
15417 просмотров

Как распаковать файл snappy (файл в формате hadoop) с помощью Scala
Следуя моему предыдущему вопросу, у меня есть сжатый файл в формате файла hadoop, и я хочу для распаковки и записи содержимого в CSV-файл, как это делает инструмент snzip , snzip -d /Path/to/file.snappy . Я обнаружил, что snappy-java не...
860 просмотров
schedule 29.06.2022

PDF Laravel snappy: текст не работает
Итак, эта проблема возникла, когда я загрузил несколько файлов PDF. Есть битый текст: в этом случае я использую команду слияния: $mergeCommand = "gs -q -sDEVICE=pdfwrite -dNOPAUSE -dBATCH -dSAFER -dNumRenderingThreads=1 -dNOGC -...
66 просмотров
schedule 08.02.2024

Недействительный файл Parquet: таблица каталога AWS Glue не работает с файлами Snappy
Использование конфигурации, идентичной той, которая использовалась в примере Terraform: https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/glue_catalog_table resource "aws_glue_catalog_table"...
74 просмотров