LightGBMError: не поддерживать специальные символы JSON в имени функции — тот же код работает в jupyter, но не работает в Spyder

У меня есть следующий код:

    most_important = features_importance_chi(importance_score_tresh, 
    df_user.drop(columns = 'CHURN'),churn)
    X = df_user.drop(columns = 'CHURN')
    churn[churn==2] = 1
    y = churn

    # handle undersample problem
    X,y = handle_undersampe(X,y)

    # train the model

    X=X.loc[:,X.columns.isin(most_important)].values
    y=y.values

    parameters = {
    'application': 'binary',
    'objective': 'binary',
    'metric': 'auc',
    'is_unbalance': 'true',
    'boosting': 'gbdt',
    'num_leaves': 31,
    'feature_fraction': 0.5,
    'bagging_fraction': 0.5,
    'bagging_freq': 20,
    'learning_rate': 0.05,
    'verbose': 0
    }

    # split data
    x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

    train_data = lightgbm.Dataset(x_train, label=y_train)
    test_data = lightgbm.Dataset(x_test, label=y_test)
    model = lightgbm.train(parameters,
                       train_data,
                       valid_sets=[train_data, test_data], 
                       **feature_name=most_important,**
                       num_boost_round=5000,
                       early_stopping_rounds=100) 

и функция, которая возвращает параметр most_important

def features_importance_chi(importance_score_tresh, X, Y):
    model = ExtraTreesClassifier(n_estimators=10)
    model.fit(X,Y.values.ravel())
    feature_list = pd.Series(model.feature_importances_,
                             index=X.columns)
    feature_list = feature_list[feature_list > importance_score_tresh]
    feature_list = feature_list.index.values.tolist()
    return feature_list

Забавно, что этот код в Spyder возвращает следующую ошибку

LightGBMError: Do not support special JSON characters in feature name.

но в юпитере работает нормально. Я могу распечатать список наиболее важных функций.

Любая идея, что может быть причиной этой ошибки?


person zdz    schedule 07.03.2020    source источник
comment
Я думаю, вы забыли какой-то код о столбцах фреймов данных, чтобы использовать данные для обоих наборов данных (train+test). Убедитесь, что вы не используете его только на тестовом наборе   -  person Kasim Ecer    schedule 10.04.2020


Ответы (1)


Знаете что, такое сообщение часто встречается на моделях LGBMClassifier(), т.е. LGBM. Просто кидайте эту строчку в начале, как только закачаете данные с панд и у вас проблемы с головой:

import re
df = df.rename(columns = lambda x:re.sub('[^A-Za-z0-9_]+', '', x))
person Wojciech Moszczyński    schedule 13.06.2020