Вопросы по теме 'spark-csv'

Spark CSV Escape не работает
Я использую spark-core версии 2.0.1 со Scala 2.11. У меня есть простой код для чтения CSV-файла, который имеет \ escapes. val myDA = spark.read .option("quote",null) .schema(mySchema) .csv(filePath) Согласно документации \...
2679 просмотров
schedule 17.04.2024

Не удается прочитать текстовый файл из локального пути к файлу - программа чтения Spark CSV
Мы используем программу чтения CSV Spark для чтения CSV-файла для преобразования в DataFrame, и мы запускаем задание на yarn-client , оно отлично работает в локальном режиме. Мы отправляем задание искры в edge node . Но когда мы помещаем файл...
2898 просмотров
schedule 15.03.2023