🔥Поджог или поджог? Классификация твитов о стихийных бедствиях, часть вторая: разработка и выбор стартовых функций

Резюме части 1

В Часть 1 мы:

• Посмотрел проблему Kaggle
• Импортировал данные с помощью Pandas
• Посмотрел высокоуровневую статистику нашего набора данных
• Проверено на дисбаланс классов
• Внимательно изучил функцию Keyword

План для части 2

Теперь хорошо:

• Посмотрите на функцию Location
• Символ твита и длина токена
• Используйте U-критерий Манна-Уитни для выбора признаков

Часть 1: Исследование данных

Часть 2: Начало разработки и выбора функций — вы здесь!

Исследование локации

Далее мы рассмотрим функцию Location очень похоже на то, что мы сделали ранее для Keyword.

# Value counts
train_df['location'].value_counts(dropna=False)

Да, у нас много недостающих данных. На самом деле почти ровно одна треть данных о местоположении отсутствует. Другая очевидная проблема даже для этой небольшой выборки заключается в том, что имена местоположений не нормализованы.

• Сидней, Австралия
• Австралия
• США
• Соединенные Штаты
• Индиана
• Фредериксбург, Вирджиния

Мы также создадим интерактивную гистограмму названий местоположений и подсчетов, как мы делали ранее для Keyword.

# Create new dataframe with our count data
train_location_bar_df = train_df['location'].value_counts().reset_index()
train_location_bar_df.columns = ['location', 'count']
# Bar chart
fig = px.bar(train_location_bar_df, 
                x = "location",
                y = "count",
                height = 1000
)
fig.update_layout(xaxis_type='category',
                  title_text='Location')
fig.show()

Еще несколько интересных мест, с которыми я столкнулся:

• ?????
• Метвилл, США
• играть в футбол и есть пиццу
• Я гражданин мира
• я люблю смурфиков 2

Данные о местоположении, по-видимому, вводятся пользователем твиттера, вероятно, при создании своего профиля, а не на основе того, где был пользователь, когда твит был отправлен.

Давайте быстро суммируем проблемы

• Названия местоположений очень изменчивы и нестандартны.
• Местоположение вводится пользователем и, вероятно, не отражает фактическое местоположение, в котором находился пользователь при отправке твита.
• Отсутствует треть данных о местоположении

Удалить функцию

Как и в случае с отсутствующими данными, для данных, требующих очистки, существует несколько вариантов:

• Создайте столбец индикатора, отмечая, существует ли местоположение или нет
• Объедините локации в какую-нибудь полезную и логичную группу, которая заменит исходные локации.
• Создайте какую-нибудь отдельную модель идентификации и/или очистки местоположения, которая попытается отделить реальные местоположения от поддельных.
• Отключить функцию определения местоположения

Из-за отсутствия большого количества функций мы пока откажемся от этой функции. Тем не менее, вы можете захотеть поэкспериментировать и попробовать биннинг. Некоторые идеи включают в себя:

• Разделяйте реальные местоположения (независимо от фактического местоположения), поддельные местоположения и ерунду, а также пропущенные значения.
• Разделяйте правильно написанные названия местоположений в регистре.

Длины символов и токенов твитов

Мы можем создавать новые функции из нашего текста, считая длину каждого твита с точки зрения отдельных символов и количества токенов.

Длина символа

Это простой подсчет количества символов в необработанном тексте. Предложение «Красная собака и синяя собака во дворе». будет иметь количество символов 41. Обратите внимание, что пробелы и знаки препинания считаются как отдельные символы.

Длина токена

Токены в целом можно рассматривать как слова. Точнее, необработанные токены — это группы символов, разделенные пробелом. Это приводит к включению знаков препинания с любыми символами рядом с ними. (О пунктуации мы поговорим позже.)

Мы добавим эти счетчики в качестве столбцов функций в наш фреймворк данных:

train_df['char_len'] = train_df['text'].apply(lambda x: len(x))
train_df['token_len'] = train_df['text'].apply(lambda x: len([token for token in x.split()]))

Отображение длины твитов

Мы можем построить гистограмму всех твитов по длине символов. Мы видим всплеск длины чуть ниже предела в 140 символов.

# Hist chart
fig = px.histogram(train_df,
                   x='char_len'
                  )
fig.update_layout(
    title_text='Tweet Character Lengths'
)
fig.show()

Давайте также посмотрим на распределение длины токена для всех наших твитов.

# Hist chart
fig = px.histogram(train_df,
                   x='token_len'
                  )
fig.update_layout(
    title_text='Tweet Token Lengths'
)
fig.show()

Распределение по токенам гораздо менее искажено, чем наш предыдущий взгляд на длину символов.

Сравнение длин по классам

Что было бы действительно интересно, так это то, демонстрируют ли наши два целевых класса различия в длине твита. Если да, то эти функции могут оказаться полезными, когда мы приступим к моделированию.

Мы можем использовать параметр facet_row, чтобы расположить два графика рядом на одних и тех же осях для облегчения сравнения:

fig = px.histogram(train_df, x="token_len", color="target", facet_row="target")
fig.show()

Мы видим, что класс 0 имеет несколько более длинные хвосты и большее количество счетчиков, чем класс 1. Последнее объясняется тем, что в классе 0 просто больше примеров, чем в 1.

Мы будем использовать ту же технику для визуального сравнения длины символов.

fig = px.histogram(train_df, x="char_len", color="target", facet_row="target")
fig.show()

Класс 0 по-прежнему имеет более длинные хвосты, но пиковый всплеск длины символа немного выше, чем всплеск для класса 1.

Сравнение средств

Очень простой и быстрый способ вычислить средние значения между двумя целевыми классами — использовать метод groupby в нашем фрейме данных:

# Compare character length by class
train_df.groupby(by='target')['char_len'].mean()

# Compare token length by class
train_df.groupby(by='target')['token_len'].mean()

Сами по себе цифры не говорят нам, существенны ли различия в средствах. Мы можем использовать тест Манна-Уитни U, чтобы определить это.

U-тест Манна-Уитни

Помните, что мы посмотрели на наши распределения длины твитов, и ни одно из них не было даже отдаленно близко к нормальному, что является одним из предположений для использования стандартного t-критерия. Вместо этого мы используем двусторонний U-критерий Манна-Уитни, который устойчив к ненормальным распределениям (также часто называемый непараметрическим тестом), а также может обрабатывать нашу бинарную категориальную зависимую переменную (целевые классы).

# Mann Whitney U test
from scipy.stats import mannwhitneyu

Создайте новые переменные для хранения наших наборов образцов:

# Token length data split by target class
token_len_00 = train_df.loc[train_df['target'] == 0, 'token_len']
token_len_01 = train_df.loc[train_df['target'] == 1, 'token_len']
# Character length data split by target class
char_len_00 = train_df.loc[train_df['target'] == 0, 'char_len']
char_len_01 = train_df.loc[train_df['target'] == 1, 'char_len']

Когда мы запускаем тест, по умолчанию мы получаем результаты p-значения для одностороннего теста. P-значение — это статистическая мера, говорящая нам, насколько вероятно, что мы случайно увидим различия, которые мы имеем в наших двух выборках. Высокое p-значение означает, что мы могли бы иметь те же распределения благодаря случайности, в то время как низкое p-значение означает, что вероятность намного ниже.

Обычно термин «статистическая значимость» используется, когда возвращается p-значение менее 0,05 (5%), что означает, что вероятность того, что наблюдаемые распределения произошли случайно, а не из-за некоторой разницы между две группы.

Мы умножаем полученное одностороннее значение p на два, чтобы получить двустороннее значение. Двусторонний тест рассматривает различия между двумя образцами в любом направлении (выше или ниже), в то время как односторонний тест смотрит только в одном направлении. Используя двусторонний тест, мы увеличиваем возвращаемое значение p и повышаем стандарт, по которому мы называем что-то «статистически значимым».

# Token length results
print(mannwhitneyu(token_len_00, token_len_01))
print(f"Two-sided result: {mannwhitneyu(token_len_00, token_len_01)[1] * 2}")

Мы показываем очень низкое значение p для общей длины токена. Это может увеличить вероятность того, что мы сохраним количество токенов как функцию для нашей модели.

print(mannwhitneyu(char_len_00, char_len_01))
print(f"Two-sided result: {mannwhitneyu(char_len_00, char_len_01)[1] * 2}")

Мы также видим очень маленькое значение p для длины символа с тем же значением, что мы можем захотеть сохранить эту функцию в нашей модели.

Следующие шаги

В части 3 мы рассмотрим другие идеи разработки функций, такие как использование заглавных букв в тексте, использование смайликов и многое другое!

Сейчас самое время подумать о том, какие функции можно сгенерировать из имеющегося у нас текста, а также, возможно, поискать хороший способ убрать теги Location.