подключиться к memsql из оболочки pyspark

Можно ли подключиться к memsql из pyspark?

Я слышал, что memsql недавно построил инфраструктуру Streamliner поверх pyspark, чтобы можно было выполнять пользовательское преобразование Python.

Но означает ли это, что я могу запустить pyspark или отправить задание искры python, которое подключается к memsql?


pyspark singlestore
person Ahmad Qudan    schedule 25.02.2016    source источник
comment
Вы имеете в виду этот инструмент: docs.memsql.com/latest/ spark/memsql-spark-interface-python? Или в более общем плане? Это определенно возможно в обоих контекстах.   -  person eklhad    schedule 25.02.2016
comment
Нет, я про pyspark shell, например я хочу запустить memsql-ops pyspark   -  person Ahmad Qudan    schedule 26.02.2016

Ответы (1)


arrow_upward
0
arrow_downward

Да на оба вопроса.

Streamliner — наилучший подход, если ваша цель — передать данные в MemSQL или выполнить преобразование во время загрузки. Как использовать Python с Streamliner: http://docs.memsql.com/latest/spark/memsql-spark-interface-python/

Вы также можете запросить MemSQL из приложения Spark. Подробнее об этом здесь: http://docs.memsql.com/latest/spark/spark-sql-pushdown/

Вы также можете запустить оболочку Spark. См. http://docs.memsql.com/latest/ops/cli/SPARK-SHELL/ & http://docs.memsql.com/latest/spark/admin/#launching-the-spark-shell

person Douglas    schedule 26.02.2016
comment
Ни одна из ссылок не говорит о запуске оболочки pyspark. я хочу запустить оболочку pyspark, а не scala spark-shell. Если это невозможно, то как я могу создать искровое задание Python и отправить его с помощью spark-submit? - person Ahmad Qudan; 26.02.2016
comment
Вы можете найти pyspark и spark-submit в /var/lib/memsql-ops/data/spark/install/bin при развертывании Spark с помощью MemSQL-Ops. - person Douglas; 27.02.2016
comment
Какая команда запускает pyspark с поддержкой коннектора memsql-spark? В оболочке scala вы видите объект msc (memsql spark context), созданный и готовый к взаимодействию с memsql, но вы не найдете его при запуске pyspark. - person Ahmad Qudan; 27.02.2016
comment
В настоящее время нет ни одного, который можно запустить с помощью инструмента memsql-ops, как вы догадались из документации. - person eklhad; 27.02.2016