В современных подходах входные данные и информация о классе могут быть обучены с высокой производительностью и протестированы с новыми входными данными. Однако эта модель зависит от размера набора данных, качества набора данных, набора гиперпараметров, используемых в моделях глубокого обучения, функций активации и алгоритмов оптимизации.
Уровни в глубокой сети позволяют машине распознавать то, что мы предоставляем. Нижние уровни предоставляют информацию о более общем аспекте ввода. Верхние слои предоставляют информацию о более подробных характеристиках ввода, а также предоставляют нам определение ввода. Однако пользователь не знает, почему машина выдает вывод вместо ввода. Модель глубокого обучения не может предоставить информацию, по которой создается результат. Например, могут быть вопросы, на которые система не может ответить за нас;
• Почему машина это сделала?
• Почему на выходе нет ничего другого?
• В каком состоянии машина работала успешно или вышла из строя?
«xAI создаст набор методов машинного обучения, которые позволят пользователям-людям понимать, должным образом доверять и эффективно управлять новым поколением партнеров с искусственным интеллектом» (Д. Ганнинг, 2017 г.)
Объясняемый ИИ (xAI) был нацелен на то, чтобы объяснить пользователю выходные данные, используя классические подходы машинного обучения. Другими словами, он показывает пользователю, какие причины принять решение и каковы последствия. Помимо ответов на вопросы о том, что или кто, xAI также может позволить пользователю узнать, почему, как, где и когда. Объяснимый ИИ можно рассматривать как пересечение трех областей.
• Объяснение для конечного пользователя
• Взаимодействие человека с компьютером
• Машинное обучение
xAI предоставляет пользователю дополнительную информацию о системе принятия решений. Таким образом, пользователь может понять, как принимается решение. В классическом машинном обучении сложность и расширяемость обратно пропорциональны. Чем выше сложность, тем выше точность, но меньше расширяемости. xAI обеспечивает баланс по этому вопросу.
Немного глубже с LIME и SHAP
Объяснимый ИИ помогает повысить доверие конечных пользователей, возможность аудита моделей и эффективное использование ИИ. Он также снижает комплаенс, юридические риски, риски безопасности и репутационные риски производства ИИ. Существует несколько способов объяснить работу моделей черного ящика .Преимущества всех этих методов в том, что вы можете взять свою предварительно обученную модель и нарастить на ней некоторые дескрипторы. Эти дескрипторы упрощают понимание модели.
Известными примерами таких пояснений являются Локальные интерпретируемые независимые от модели объяснения (LIME) и Аддитивное объяснение Шепли (SHAP). LIME интерпретирует и надежно объясняет прогнозы любого классификатора, изучая локально интерпретируемую модель вокруг прогноза. SHAP - это теоретико-игровой подход для объяснения результатов любой модели машинного обучения, сочетающий оптимальное распределение кредитов с локальными описаниями с использованием классических значений Шепли и связанных расширений. в теории игр.
Авторы SHAP показывают, что значения Shapley обеспечивают единственную гарантию точности и согласованности, и что LIME на самом деле является подмножеством SHAP, но не имеет тех же свойств. Для дальнейшего изучения я нашел полезные ресурсы на сайтах GitHub SHAP GitHub и LIME GitHub.
Ссылка
- Д. Ганнинг, Объяснимый искусственный интеллект (xAI), Tech. респ., Агентство перспективных оборонных исследовательских проектов (DARPA) (2017).
- Https://github.com/marcotcr/lime
- Https://github.com/slundberg/shap
