Восстание машин: этика финансовых услуг в автоматизированном мире
Есть школа мысли, которая предполагает, что машина свободна от предубеждений, поскольку действует исключительно логически и не имеет мыслей и чувств. Но на самом деле можем ли мы верить, что система принятия решений, оснащенная машинным обучением, сделает справедливый и правильный выбор? Можем ли мы принять на веру, что он не станет своего рода автоматической машиной предубеждений, быстро штампующей свои инженерные предубеждения?
Это были опасения, высказанные некоторыми участниками мероприятия «Автоматизация в финансовых услугах», которое я представлял в Эдинбурге в начале этого года.
Это то, о чем нам нужно беспокоиться? Я думаю, что это.
Бледный, мужской и несвежий?
Одна из проблем, с которыми сталкиваются финансовые услуги, наряду со многими другими отраслями (к сожалению), заключается в том, что действительно представлен только узкий спектр полов, рас, этносов и возрастов. Несмотря на достигнутый прогресс, когда многие организации стремятся поощрять многообразие с четким пониманием того, что разнообразная рабочая сила — это сильная рабочая сила, еще многое предстоит сделать.
Отсутствие разнообразия само по себе напрямую не приводит к предвзятости. Тем не менее, фундаментальный дизайн решения может и часто искажается на этапах проектирования и тестирования из-за индивидуальных взглядов тех, кто его создает.
Виртуальные проблемы
Давайте посмотрим на первые дни виртуальной реальности в качестве примера. The Verge сообщил, что во многих случаях большая часть аппаратного обеспечения, которое хорошо работает для среднего человека, не подходит для средней женщины, что может отражать отсутствие женщин в цикле разработки по сравнению с мужчинами. Кроме того, сообщается, что женщины-пользователи виртуальной реальности гораздо более восприимчивы к болезни виртуальной реальности, используя текущие предложения. Хотя эти недостатки почти наверняка не были задуманы командой дизайнеров, они вызывают вопрос о том, могло ли дополнительное гендерное разнообразие в этой области обеспечить более подходящий опыт для всех, а не только для XY среди нас.
Почему это проблема?
Финансовые услуги переживают концентрированный период цифровой трансформации, когда передовые технологии применяются для решения реальных задач в сложной среде. Из этих технологий машинное обучение предлагает одни из самых больших перспектив, но также и некоторые из самых больших проблем, с которыми приходится сталкиваться.
Машинное обучение — это технология, которая, как нам также говорят, отнимет у нас работу / поработит нас в стиле Терминатора. Хотя некоторые говорят, что это даст нам четырехдневную рабочую неделю и минимальный гарантированный доход; все зависит от того, насколько мы драматичны, апокалиптически пессимистичны или оптимистичны. Однако ясно одно: в ближайшие годы мы увидим все больше и больше решений, принимаемых машинами.
Что такое машинное обучение?
В двух словах, машинное обучение — это когда система запрограммирована так, чтобы она могла учиться на собственном опыте, чтобы она могла постоянно совершенствоваться. Для этого на каком-то уровне необходимо установить понятие «хорошего» результата или успеха; это, конечно, обратно означает, что понятие «плохого» результата также устанавливается прямо или косвенно.
Итак, что все это значит?
Стоит отметить, что машинному обучению не всегда нужно принимать решения, влияющие на нашу жизнь. Иногда машинное обучение можно использовать этично, не имея сложного понимания того, как широко социализироваться. Машинное обучение используется для понимания почерка, создания человеческой речи с помощью виртуальных помощников и для того, чтобы глаза Тано действительно выделялись в последних фильмах о Мстителях. Точно так же машинное обучение, используемое для определения того, сколько времени займет ваша поездка на автобусе домой или когда лучше всего бронировать продукты в онлайн-магазине, также вряд ли вызовет оскорбительные требования — независимо от используемых критериев.
Ситуации, которые вызывают беспокойство, могут быть разными, но в целом, если результатом является решение, которое может серьезно повлиять на чью-то жизнь, мы знаем, что вступаем на сложную территорию.
Один из самых крайних примеров можно найти в Системе правосудия США. Некоторые штаты в США используют компьютерные системы, чтобы помочь своим судьям при вынесении приговора, просматривая полученную окончательную оценку риска, которая, теоретически, позволит управлять риском повторного совершения преступления.
Это решение, по сути, представляет собой черный ящик, то есть то, как оно работает, не до конца понимают те, кто либо использует его, либо выступает за его использование. Создатели этой системы тщательно оберегают ее алгоритм (сущность того, как принимаются решения с использованием системы), поскольку он является коммерчески чувствительным. Это, в свою очередь, означает, что подробные факторы, касающиеся того, как было принято решение, часто недоступны.
Это порождает, возможно, самые большие проблемы при использовании этой технологии таким образом, а именно идею корреляции против причинно-следственной связи. Например, если ожидается, что члены определенного сообщества будут действовать определенным образом — этично ли экстраполировать это и предполагать (в любой степени), что совершенно отдельный человек, на которого вы смотрите, будет действовать таким же образом? Применение таких критериев, как семейная история человека, его известные друзья и район, в котором он проживает, также вызывает аналогичные этические дебаты. Использование обобщенного статистического представления об изолированном сообществе для формирования представления о вероятности повторного совершения преступления таким образом не приводит к первопричине повторного правонарушения и, возможно, вместо этого, в худшем случае, является примером глубокого институционального предубеждения, предвзятости и, в некоторых случаях, дела, расизм.
Итак, как это связано с финансовыми услугами?
Деньги правят миром, финансовые услуги лежат в основе глобальной торговли, создания продуктов, логистики и всего, что между ними. Ограничение финансов может иметь разрушительные последствия для людей, компаний и сообществ. Решения о предоставлении дополнительных кредитных ссуд, ипотечных кредитов, рефинансировании и рейтингах риска напрямую влияют на отдельных лиц и предприятия. При рассмотрении применения технологий в этих областях необходимо уделить внимание.
Так стоит ли избегать машинного обучения?
Определенно нет, машинное обучение будет играть центральную роль в следующем веке технологий и финансовых услуг. Но давайте будем реалистами: то, что он не дышит, не означает, что он не способен принимать плохие решения, которые разрушают жизни.
Как нам всем поступить?
Академическая строгость и инициативы, такие как Инициативы по этике ИИ и Исследование универсального базового дохода Y Combinator, необходимы для того, чтобы начать отвечать на некоторые из наиболее фундаментальных этических вопросов, касающихся отношений человека с машиной.
Несмотря на то, что эти инициативы легко отвергнуть, поскольку они просто вызваны паранойей по поводу маловероятного восстания роботов, все же есть реальная почва для решения. Как выглядит рабочая сила, когда больше не нужно выполнять многие ручные задачи? Когда мы должны использовать автоматизацию и в каких ситуациях мы все еще должны использовать человека?
Что нужно взять с собой
Если вы участвуете в создании или наблюдении за ключевыми процессами, в качестве отправной точки стоит принять во внимание следующее:
1. Понимаю ли я основу, на которой автоматизация принимает решения? Я понимаю, что это допущения и взвешивания?
2. Смогу ли я поддержать формулу принятия решения, если возникнут вопросы?
3. Как мои заказчики/клиенты относятся к использованию этой автоматизации? Что-то теряется при удалении человеческого фактора?
