Pyspark читает csv - NameError: имя 'spark' не определено

Я пытаюсь запустить следующий код в блоках данных, чтобы вызвать сеанс искры и использовать его для открытия файла csv:

spark
fireServiceCallsDF = spark.read.csv('/mnt/sf_open_data/fire_dept_calls_for_service/Fire_Department_Calls_for_Service.csv', header=True, inferSchema=True)

И я получаю следующую ошибку:

NameError:name 'spark' is not defined

Есть идеи, что может быть не так?

Я также пробовал запустить:

 from pyspark.sql import SparkSession

Но получил в ответ следующее:

ImportError: cannot import name SparkSession

Если это помогает, я пытаюсь следовать следующему примеру (вы поймете лучше, если посмотрите его с 17:30): https://www.youtube.com/watch?v=K14plpZgy_c&list=PLIxzgeMkSrQ-2Uizm4l0HjNSSjX2Nxgqq


apache-spark pyspark databricks
person Prosonic    schedule 23.11.2016    source источник
comment
в случае: ссылка   -  person mrsrinivas    schedule 23.11.2016
comment
Я использую блокнот с данными. Я следую этому примеру (если вы пропустите его до 17:00, это будет легче понять): youtube.com/   -  person Prosonic    schedule 23.11.2016
comment
Я даже не могу импортировать его с помощью следующего кода: from pyspark.sql import SparkSession Как я получаю следующее: ImportError: невозможно импортировать имя SparkSession   -  person Prosonic    schedule 23.11.2016

Ответы (2)


arrow_upward
1
arrow_downward

Я получил это с помощью следующего импорта:

from pyspark import SparkConf                                                                                                                 
from pyspark.context import SparkContext                                                                                                      
from pyspark.sql import SparkSession, SQLContext

Я получил эту идею, заглянув в код pyspark, когда обнаружил, что read csv работает в интерактивной оболочке.

person Asim Kanungo    schedule 16.04.2019

arrow_upward
-2
arrow_downward

Обратите внимание, что используемый вами пример кода предназначен для Spark версии 2.x.

«Spark» и «SparkSession» недоступны в Spark 1.x. Сообщения об ошибках, которые вы получаете, указывают на возможную проблему с версией (Spark 1.x).

Проверьте версию Spark, которую вы используете.

person Ricardo    schedule 23.11.2016
comment
Я использую Spark 2.0. - person Prosonic; 23.11.2016
comment
это не ответ - person Beyhan Gul; 07.03.2017