Spark MLlib — обучение совместной фильтрации с неявной обратной связью — странные предупреждения

Я пытаюсь создать модель совместной фильтрации для пользовательских заказов и получить некоторые полезные результаты с ALS.train(), но я хотел бы попробовать ALS.trianImplicit(), но trianImplicit() предсказывает только нули в том же наборе данных, который ASL.train() я получал приличные прогнозы.

При использовании ALS.trianImplicit() для обучения модели я получал следующие предупреждения:

15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

Означает ли это, что это была ошибка, а не предупреждения, а модель просто не могла ничего обучить из-за отсутствия библиотек?


apache-spark apache-spark-mllib collaborative-filtering
person Michal Laclavik    schedule 02.09.2015    source источник
comment
Это не странные предупреждения. Вам потребуется установить библиотеку BLAS.   -  person eliasah    schedule 02.09.2015
comment
Это предупреждение может немного снизить производительность, но вы можете выполнить обучение модели без каких-либо проблем.   -  person eliasah    schedule 02.09.2015

Ответы (1)


arrow_upward
1
arrow_downward

Как указал @eliasah, это предупреждение не является критическим, но может снизить производительность. Использование собственного BLAS может привести к значительному повышению производительности. Есть несколько инструкций на https://github.com/amplab/ml-matrix/blob/master/EC2.md о том, как настроить Spark + BLAS на EC2.

Если ваш кластер работает под управлением Ubuntu, вы можете установить следующие пакеты:

libblas3gf
libblas-doc
libblas-dev

liblapack3gf
liblapack-doc
liblapack-dev

Однако некоторые люди сообщают о повышении производительности при использовании http://www.openblas.net/, поэтому вы можете попробовать установив это на своих рабочих. Вам также потребуется включить com.github.fommil.netlib в свое приложение (в настоящее время Spark использует версию 1.1.2).

person Holden    schedule 02.09.2015
comment
каковы эквивалентные пакеты для centos 6.5? - person roy; 14.09.2015