Как выполнить модульное тестирование кода Spark Streaming?

Я использую последнюю версию Spark 1.6.0.

Посмотрел еще один пост stackoverflow Как заставить Spark Streaming подсчитывать слова в файле в модульном тесте?

Я пытаюсь использовать образец @ https://gist.github.com/emres/67b4eae86fa92df69f61 есть для написания примера юнит-теста для искры. После этого я намерен написать модульный тест для моего фактического искрового приложения. Однако я не могу использовать пример @ https://gist.github.com/emres/67b4eae86fa92df69f61< /а>. Это дает мне ошибку

java.lang.IllegalStateException: добавление новых входных данных, преобразований и выходных операций после запуска контекста не поддерживается в oracle.security.ti.reportgenerator.test.StarterAppTest.testCountWords(StarterAppTest.java:62)

Любые идеи, как я могу решить эту проблему?


person CodeDreamer    schedule 11.02.2016    source источник
comment
Пожалуйста, включите код, который вы используете, который приводит к проблеме в вопросе.   -  person Jacek Laskowski    schedule 13.02.2016


Ответы (1)


Вы не можете выполнить wordCounts.print() для число слов JavaPairDStream после вы начали потоковую передачу контекста.

person Jacek Laskowski    schedule 12.02.2016