Машинное обучение используется для принятия крупномасштабных решений, которые могут сильно повлиять на жизнь людей. Не рассматривая и не анализируя такие сценарии, мы можем в конечном итоге построить модели, не относящиеся к обществу одинаково и даже нарушающие законы о борьбе с дискриминацией.
Существует несколько алгоритмических вмешательств для выявления несправедливого обращения на основе того, что считается справедливым. В этой статье мы рассмотрим их и объясним их преимущества и ограничения на примере конкретного случая.
👩🏻💻 Вы можете найти полный проект python в этом репозитории Github.
❗️Внимание: эта статья содержит много информации о матрице путаницы и связанных с ней метриках.
1) Источники дискриминации
Измерение
В рамках машинного обучения наш мир измеряется и сохраняется в наборе данных. Самая большая проблема в этой практике состоит в том, что она по своей природе субъективна. Людям необходимо придумать оптимальные ярлыки для категоризации нашего мира, что может привести к смещению выбора. Не только целевая переменная может быть правильной для всех групп, но и информация, собранная для ее описания.
С технической точки зрения, наборы данных также могут содержать неверную, неполную и / или устаревшую информацию (см. Полиция США тренирует ИИ для прогнозирования преступлений на основе фальсифицированных данных ). Также важно помнить, что по мере изменения мира меняются и ярлыки, которые его описывают. Это может привести к устареванию нашего окружения.
Наконец, мы также пропагандируем исторические предубеждения, при этом стереотипы и стигмы сохраняются как норма.
Обучение
Модель учится на данных, чтобы обнаруживать закономерности и делать их обобщения, которые могут включать в себя d несоответствия, искажения и смещения. Даже если мы явно не предоставляем конфиденциальную информацию во избежание предвзятости, есть несколько прокси, которые могут ее приблизительно описать (см. Личностные тесты американского рабочего терпят неудачу).
В то же время модели работают лучше, поскольку предоставляется более актуальная информация. Группы меньшинств по умолчанию находятся в невыгодном положении, учитывая, что у них обычно будет меньше данных для модели, чтобы учиться у (прочтите Amazon отказывается от секретного инструмента найма ИИ, который показал предвзятость в отношении женщин).
Действие
Действие - это принятие решения на основе модели, например предоставление кредита или показ рекламы. Когда модель откалибрована, наиболее вероятно, что она будет давать разную частоту ошибок для разных групп. Отсутствие анализа в этой группе может привести к несправедливому обращению (мы пересмотрим это позже во время изучения конкретного случая - также прочтите Предвзятость машины от ProPublica).
Обратная связь
Некоторые модели получают обратную связь от взаимодействия с пользователем для уточнения модели. Здесь мы можем столкнуться с проблемами дискриминации в виде самореализующихся прогнозов. Когда данные предвзяты, несправедливые прогнозы часто оказываются подтвержденными. В этом случае люди будут подвержены влиянию, так что их реакции подтвердят несправедливые прогнозы (прочтите Полиция США обучает ИИ для прогнозирования преступлений на основе фальсифицированных данных).
2) Алгоритмические вмешательства
В этом разделе мы рассмотрим пять различных методов, которые были рассмотрены для измерения несправедливости в контролируемом машинном обучении.
Справедливость через неосведомленность
Это тот случай, когда мы запускаем модель, просто исключая защищенные классы. Эта концепция очень неэффективна для обеспечения справедливости, поскольку существует множество прокси, которые могут предсказывать такие атрибуты.
Демографический паритет
Демографический паритет требует, чтобы каждая группа имела право на получение ссуд с одинаковой периодичностью. Это также означает, что решение не должно зависеть от защищенного атрибута A. Это можно описать, как в уравнении ниже.
Для кредитных моделей это можно интерпретировать как одинаковую долю квалифицированных кредитов для всех классов в группе (равная положительная ставка).
Равные возможности
Равные возможности предполагают, что доля правильно классифицированных членов в «привилегированном» результате, а именно Y = 1, должна быть одинаковой во всех группах. Например, мы могли бы рассматривать «благоприятный» результат, когда запись рассматривается как «не дефолт по ссуде». Для всех защищенных классов в пределах A должно выполняться следующее. Это можно сформулировать, как в приведенном ниже уравнении:
Эта концепция обычно приводит к большей полезности, но, как и в случае с демографическим паритетом, она может наказывать определенный класс менее точными ложными срабатываниями.
На практике это потребует, чтобы истинный положительный показатель в двух группах A = 1 и A = 0 был одинаковым.
Уравненные шансы
Выравнивание шансов, как и равные возможности, также требует, чтобы доля правильно классифицированных членов в «привилегированном» исходе была одинаковой для всех классов в группе. Однако это также требует, чтобы доля неправильно классифицированных членов в «привилегированном» результате была одинаковой для всех классов в соответствующих группах. Это можно сформулировать, как в приведенном ниже уравнении:
Тогда это будет означать, что не только частота истинных положительных результатов должна быть одинаковой для каждой группы, но и частота ложных срабатываний.
3) Пример использования
Для этого тематического исследования я использовал публичную кредитную книгу от Bondora, платформы P2P-кредитования, расположенной в Эстонии. Я изучил две разные защищенные группы: пол и возраст.
Bondora предоставляет кредиты менее кредитоспособным клиентам с гораздо более высокими показателями дефолта, чем в традиционных банках. Это означает, что собранные проценты значительно выше. В среднем сумма кредита для этого набора данных составляла около 2100 евро со сроком выплаты 38 месяцев и процентной ставкой 26,30%.
Для традиционных банков стоимость ложного ссуды (неправильная классификация просроченной ссуды) во много раз больше, чем вознаграждение истинно положительной ссуды (правильная классификация непогашенной ссуды). Учитывая более высокие процентные ставки, собираемые Bondora по сравнению с банками, в целях иллюстрации я предположу, что соотношение вознаграждения к стоимости намного меньше - 1 к 2. Это будет использоваться для поиска лучших пороговых значений для максимизации прибыли при соблюдении всех требований для каждого. алгоритмическое вмешательство.
Затем я разработал модель классификации, которая предсказывает, будет ли ссуда выплачиваться или нет, используя технику Gradient Boosted Decision Trees. На основе результатов прогнозов модели я проанализировал следующие сценарии:
- Максимизировать прибыль использует разные пороги классификации для каждой группы и направлен только на максимизацию прибыли.
- Справедливость через неосведомленность использует один и тот же порог классификации для всех групп при максимальном увеличении прибыли.
- Демографический паритет применяет разные пороги классификации для каждой группы, сохраняя при этом одинаковую долю положительных результатов в каждой группе.
- Равные возможности использует разные пороги классификации для каждой группы, сохраняя при этом одинаковую истинно положительную долю в каждой группе.
- Уравнение шансов применяет разные пороги классификации для каждой группы, сохраняя при этом одинаковую частоту истинных положительных и ложных положительных результатов в каждой группе.
Краткое исследование данных
Я выбрал все ссуды на платформе Bondora, которые были выданы жителям Эстонии. Это всего 21 450 записей с даты доступа. Ссуды, предоставленные женщинам, составили 39% всех заявок, тогда как процент ссуд, предоставленных мужчинам, составил 61%. Доля кредитов, полученных людьми до 40 лет, была выше - 63% по сравнению с 37% кредитов, полученных людьми старше 40 лет.
Общий уровень дефолта составил около 42%. Если мы посмотрим на уровень по умолчанию по полу, мы можем заметить, что у нас был почти одинаковый уровень по умолчанию для обеих групп - около 44%. Если мы посмотрим на возраст, уровень дефолта немного выше для людей младше 40 лет и составляет около 45% по сравнению с 42% для людей старше 40 лет.
ROC и AUC
Теперь мы посмотрим на кривые ROC для классов каждой группы. Различия, которые мы заметим среди кривых (например, мужчин и женщин), связаны с различиями в истинно положительных и ложноположительных показателях. Более низкие кривые, следовательно, с более низкими значениями AUC, предполагают, что прогнозы менее точны для этих классов.
Если мы посмотрим на кривую ROC для пола на графике выше, мы можем заметить, что линия для женщин в большинстве случаев находится ниже кривой для мужчин. Следовательно, мы можем видеть немного более низкое значение AUC 0,760 для женщин по сравнению с 0,767 для мужчин.
Если мы посмотрим на тот же график, но на этот раз для возрастной группы, мы можем заметить, что линия для людей старше 40 лет обычно выше линии для людей до 40 лет. Важно отметить, что в ссудном портфеле Bondora процент людей моложе 40 лет намного выше, чем процент людей старше 40 лет. Это означает, что могут потребоваться альтернативные характеристики для описания людей моложе 40 лет.
Что касается расхождений, выявленных в каждой группе, мы можем начать учитывать, что набор используемых характеристик может быть более репрезентативным для мужчин и / или людей старше 40 лет. Набор данных может быть смещен в сторону мужчин, обычно пожилых, поскольку исторически именно эти данные были более доступны для изучения и работы.
Алгоритмические вмешательства (пол)
Глядя на разбивку количества истинно положительных и ложных положительных результатов для каждого пола, мы можем заметить, что уровень прибыли меняется очень мало, за исключением вмешательства Максимизировать прибыль. В этом случае мы видим, что модель лучше классифицирует положительные результаты для мужчин (73%), чем для женщин (70%). Однако он также предоставляет немного более высокую долю ссуд людям, которые откажутся от обязательств перед мужчинами (33,6%), чем женщинам (32%).
Если посмотреть на прибыль, то она явно не соответствует алгоритмическому вмешательству Equalized Odds. Это происходит из-за использования более строгих пороговых значений. Пороговые значения для женской и мужской группы составляли 0,56 и 0,55 соответственно, в то время как средний порог, используемый для всех вмешательств, составлял 0,49 для женщин и 0,48 для мужчин.
Алгоритмические вмешательства (возрастная группа)
Если мы теперь посмотрим на возрастную группу, то увидим, что, когда мы выбираем общий порог для всех групп в групповой неосведомленности, мы склонны лучше классифицировать ссуды людям, которые могут выплатить тем, кто старше 40 лет, чем тем, кто моложе 40. Количество ложных срабатываний остается примерно таким же.
При демографическом паритете люди младше 40 лет (13%) имеют несколько более высокий риск получения ссуды, которую они не могут выплатить, по сравнению с людьми старше 40 лет (11%). Обратное происходит для максимальной прибыли.
С другой стороны, равные возможности, а также равные шансы обеспечивают лучший баланс в отношении компромисса между истинно положительной и ложноотрицательной долей каждой категории в группа.
Тем не менее, прибыль значительно снижается при уравнении шансов из-за очень ограничительных пороговых значений, приводящих к небольшому количеству ложных срабатываний. Пороговые значения, использованные для женщин, составляли 0,83, а для мужчин 0,81, в то время как средний порог, использованный для всех вмешательств, составлял 0,69 для женщин и 0,68 для мужчин.
4. Вывод
В этой статье мы рассмотрели, как дискриминация может происходить в контролируемом машинном обучении. Затем мы изучили различные алгоритмические вмешательства, чтобы определить, были ли определенные классы внутри защищенных групп подвергнуты несправедливому обращению. Мы пересмотрели подводные камни каждого вмешательства и оценили их на конкретном примере, используя публичный кредитный портфель от Bondora, платформы P2P-кредитования.
При анализе результатов для модели на основе пола и возраста с использованием дерева принятия решений с градиентным усилением мы могли сразу заметить, что прибыль была максимизирована, когда для каждого класса (например, женский / мужской) использовались разные пороговые значения без ограничений. Тем не менее, доля истинно положительных результатов в разных группах была разной.
Равные возможности, а также равные шансы обеспечили лучший баланс в отношении компромисса между истинно положительной и ложноотрицательной долей каждого класса в защищенной группе. Однако в уравненных шансах мы могли видеть, что прибыль значительно снизилась.
Преимущество этого простого анализа постобработки состоит в том, что он не требует изменения сложных моделей. Его можно использовать как показатель несправедливости, который помогает заинтересованным сторонам действовать, когда к определенному классу относятся несправедливо. Это также побуждает гарантировать, что информация собирается справедливым образом и что характеристики, используемые для описания целевой переменной, являются репрезентативными для каждого класса группы.
Наконец, этот анализ не ставит под сомнение причинную основу модели. Используемые критерии являются просто наблюдательными и зависят только от совместного распределения предиктора, защищенного атрибута, функций и результата.
Могу я увидеть код?
Я опубликовал свой код на Github. Я хотел бы услышать ваши отзывы и рекомендации по его улучшению 🙌🏼.
использованная литература
Данные
Ссудная книга Бондоры. Доступно по адресу: https://www.bondora.com/en/public-reports [по состоянию на 18 августа 2018 г.]
Основная литература
Барокас, С., Хардт, М. и Нараянан, А., 2018. Справедливость и машинное обучение. Доступно по адресу: http://fairmlbook.org/ [Доступ 29 августа 2018 г.].
Дворк, С. и др., 2012. Справедливость через осведомленность. В материалах 3-й конференции «Инновации в теоретической информатике. ITCS ’12. Нью-Йорк, Нью-Йорк, США: ACM, стр. 214–226 ».
