scikit-learn: FeatureUnion для включения функций, созданных вручную

Вы должны определить Transformer, который принимает ваш текст в качестве входных данных. Что-то такое:

from sklearn.base import BaseEstimator, TransformerMixin

custom_features_dict = {'contact':['contact details', 'e-mail'], 
                   'demographic':['gender', 'age', 'birth'],
                   'location':['location', 'geo']}

#helper function which returns 1, if one of the words occures in the text, else 0
#you can add more words or categories to custom_features_dict if you want
def is_words_present(text, listofwords):
  for word in listofwords:
    if word in text:
      return 1
  return 0

class CustomFeatureTransformer(BaseEstimator, TransformerMixin):
    def __init__(self, custom_feature_dict):
       self.custom_feature_dict = custom_feature_dict
    def fit(self, x, y=None):
        return self    
    def transform(self, data):
        result_arr = []
        for text in data:
          arr = []
          for key in self.custom_feature_dict:
            arr.append(is_words_present(text, self.custom_feature_dict[key]))
          result_arr.append(arr)
        return result_arr

Примечание. Этот Transformer генерирует массив, который выглядит следующим образом: [1, 0, 1], он не генерирует словарь, что позволяет нам сэкономить DictVectorizer.

Кроме того, я изменил способ обработки Multilabel-классификации, см. здесь:

#first, i generate a new column in the dataframe, with all the labels per row:
def create_textlabels_array(row):
  arr = []
  for label in ['contact', 'demographic', 'location']:
    if row[label]==1:
      arr.append(label)
  return arr

df['textlabels'] = df.apply(create_textlabels_array, 1) 

#then we generate the binarized Labels:
from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer().fit(df['textlabels'])
y = mlb.transform(df['textlabels'])

Теперь мы можем добавить все вместе в конвейер:

bow_pipeline = Pipeline(
    steps=[
        ("tfidf", TfidfVectorizer(stop_words=stop_words)),
    ]
)

manual_pipeline = Pipeline(
    steps=[
        ("costum_vect", CustomFeatureTransformer(custom_features_dict)),
    ]
)

combined_features = FeatureUnion(
    transformer_list=[
        ("bow", bow_pipeline),
        ("manual", manual_pipeline),
    ]
)

final_pipeline = Pipeline([
        ('combined_features', combined_features),
        ('clf', OneVsRestClassifier(LinearSVC(), n_jobs=1)),
    ]
)

#train your pipeline
final_pipeline.fit(df['text'], y) 

#let's predict something: (Note: of course training data is a bit low in that examplecase here)
pred = final_pipeline.predict(["write an e-mail to our location please"])
print(pred) #output: [0, 1, 1] 

#reverse the predicted array to the actual labels:
print(mlb.inverse_transform(pred)) #output: [('demographic', 'location')]

Если мы просто хотим исправить ту часть кода, которая помечена как исправленная, все, что нам нужно, — это реализовать новый оценщик, расширяющий класс sklearn.base.BaseEstimator (класс TemplateClassifier — хороший пример здесь).

Однако, похоже, здесь есть концептуальная ошибка. Информация в списке my_features, по-видимому, является самими метками (ну, можно утверждать, что это очень сильные функции...). Таким образом, мы не должны навешивать ярлыки на конвейер функций.

Как описано здесь,

Преобразователи обычно комбинируются с классификаторами, регрессорами или другими оценщиками для создания составной оценки. Наиболее распространенным инструментом является Pipeline. Pipeline часто используется в сочетании с FeatureUnion, который объединяет выходные данные преобразователей в составное пространство признаков. TransformedTargetRegressor имеет дело с преобразованием цели (т.е. логарифмическое преобразование y). Конвейеры, напротив, преобразуют только наблюдаемые данные (X).

Тем не менее, если вы все еще хотите поместить эту информацию списка в метод преобразования, это будет примерно так:

def transform_str(one_line_text: str) -> dict:
    """ Transforms one line of text to dict features using manually extracted information"""
    # manually extracted information
    custom_features_dict = {'contact': ['contact details', 'e-mail'],
                            'demographic': ['gender', 'age', 'birth'],
                            'location': ['location', 'geo']}
    # simple tokenization. it can be improved using some text pre-processing lib
    tokenized_text = one_line_text.split(" ")
    output = dict()
    for feature,tokens in custom_features_dict.items():
        output[feature] = False
        for word in tokenized_text:
            if word in tokens:
                output[feature] = True
    return output

def transform(text_list: list) -> list:
    output = list()
    for one_line_text in text_list:
        output.append(transform_str(one_line_text))
    return output

В этом случае вам не нужен метод подгонки, потому что подгонка производилась вручную.