Watson - это проект, разработанный IBM с 2004 по 2011 год, чтобы победить лучших людей в телевизионном игровом шоу Jeopardy! Проект представлял собой пик использования вероятностного мышления, а также одну из последних успешных систем, использовавших его до того, как глубокое обучение стало основным решением для большинства проблем машинного обучения.

После победы Deep Blue над Гарри Каспаровым в 1997 году IBM искала новый вызов. В 2004 году Чарльз Ликель, в то время менеджер IBM по исследованиям, определил проект после обеда с коллегами. Ликель заметил, что большинство людей в ресторане смотрели на телевизор в баре. Опасность! был в эфире. Как оказалось, Кен Дженнингс провел свой 74-й матч, который оказался последней выигранной им игрой.

В проекте Deep Blue правила шахмат были полностью логичны и легко сводились к математике. Однако правила игры Jeopardy !, включали сложные формы поведения, такие как речь, и их было гораздо труднее решить. Когда проект стартовал, лучшие системы вопросов и ответов (QA) могли отвечать только на очень простые языковые вопросы, такие как «Какая столица Бразилии?» Опасность! это соревнование-викторина, в котором участникам предоставляется подсказка в виде ответа, и они должны сформулировать свой ответ как вопрос. Например, подсказка может быть такой: «Термины, используемые в этом ремесле, включают в себя ватин, привязку и блок месяца». Правильный ответ: «Что такое квилтинг?»

IBM уже работала над системой контроля качества под названием Practical Intelligent Question Answering Technology (Piquant) в течение шести лет, прежде чем Ферруччи основал Watson. В конкурсе правительства США Piquant правильно ответил только на 35% вопросов, потратив на это несколько минут. Эта установка даже близко не была к тому, что было необходимо для победы в Jeopardy !, и попытки адаптировать Piquant не увенчались успехом. Итак, требовался новый подход к обеспечению качества. Следующей попыткой был Уотсон.

В 2006 году Ферруччи провел первые тесты Watson и сравнил результаты с текущими результатами. Уотсон был намного ниже того, что было необходимо, чтобы соревноваться вживую. Watson не только правильно реагировал только в 15% случаев по сравнению с 95% для других программ, но и Watson был медленнее. Watson должен был быть намного лучше, чем лучшая программная система того времени, чтобы иметь хотя бы малейший шанс победить лучших людей. В следующем году IBM укомплектовала команду из 15 человек и дала срок от трех до пяти лет. Ферруччи и его команде предстояло много работы. И им это удалось. В 2010 году Уотсон успешно выигрывал у Jeopardy! конкурсанты.

Что сделало игру такой сложной для Watson, так это то, что в то время для компьютеров был очень сложен язык. Язык полон предполагаемого значения. Пример такого предложения: «Название этой шляпы элементарно, мой дорогой участник». Люди могут легко обнаружить игру слов, которая вспоминает «элементарно, мой дорогой Ватсон», крылатую фразу, использованную Шерлоком Холмсом, а затем вспомнить, что голливудская версия Шерлока Холмса носит шляпу охотника на оленей. Сложно запрограммировать компьютер так, чтобы он делал это для всех типов вопросов.

Чтобы обеспечить физическое присутствие в телевизионных играх, Ватсон был представлен «светящимся синим шаром, пересеченным нитями« мысли », точнее, 42 нитями», ссылаясь на значение числа 42 в книге Автостопом по Галактике. Уотсон представлял собой вершину и конец вероятностного мышления. Давайте посмотрим, как работал Watson.

Мозг

Главное отличие Watson от других систем - это скорость и память. Watson хранил в своей памяти миллионы документов, включая книги, словари и энциклопедии, а также новостные статьи. Данные были собраны либо онлайн из таких источников, как Википедия, либо офлайн. В алгоритме использовались разные техники, которые вместе помогли Уотсону выиграть соревнование. Ниже приведены некоторые из этих техник.

Учимся на чтении

Во-первых, Ватсон «прочитал» огромное количество текста. Он смотрел на текст семантически и синтаксически, а это означает, что он пытался разорвать предложения, чтобы понять его. Например, он определил местоположение подлежащего, глагола и объекта и построил граф предложений, синтаксические фреймы. И снова А. использовали методы обучения, очень похожие на людей. В данном случае, как ученик начальной школы изучает основы грамматики.

Затем Уотсон коррелировал и рассчитал оценки достоверности для каждого предложения в зависимости от того, сколько раз и в каком источнике была найдена информация. Например, в предложении: «Изобретатели изобретают патенты». Уотсон определил «изобретателей» как подлежащее предложения, «изобретать» как глагол и «патенты» как объект. Все предложение имеет показатель достоверности 0,8, потому что Уотсон нашел его в нескольких соответствующих источниках. Другой пример - предложение «Люди получают дипломы в школах», которое имеет показатель достоверности 0,9. Семантический фрейм - это предложение и оценка, и каждый из них также имеет связанную информацию о том, что каждое слово является синтаксическим.

На рис. 8.6 показано, как идет процесс обучения по чтению. Сначала текст анализируется и превращается в синтаксические фреймы. Затем посредством обобщения и статистической агрегации они превращаются в семантические фреймы.

В поисках ответа

Большинство алгоритмов в Watson не были новыми методами. Например, для подсказки: «Он был помилован президентом 8 сентября 1974 года» алгоритм обнаружил, что в этом предложении искался предмет. Затем он произвел поиск возможных предметов, содержащихся в семантических фреймах с похожими словами. На основе синтаксической разбивки, сделанной на первом этапе, был получен набор возможных ответов. Если одним из возможных ответов было «Никсон», это будет считаться возможным ответом . Затем Ватсон проделал хитрый трюк, заменив слово «он» на «Никсон», образуя новое предложение «Никсон был помилован президентом 8 сентября 1974 года».

Затем он провел новый поиск по сгенерированному семантическому фрейму, чтобы убедиться, что это правильный ответ. В результате поиска была обнаружена семантическая рамка «Форд помиловал Никсона 8 сентября 1974 года» с высоким баллом. Это была очень похожая фраза, дававшая ответ высокий балл, потому что предложения были похожи, а Семантический фрейм имел высокий балл. Но поиск и получение оценки уверенности были не единственной техникой, применявшейся Ватсоном.

Оценка гипотезы

Оценка гипотезы была еще одной умной техникой, которую Уотсон использовал для оценки своих ответов. С подсказкой: «При делении клетки митоз расщепляет ядро, а цитокинез расщепляет эту жидкость, амортизирующую ядро», Watson искал возможные ответы в своей базе знаний, которую он получил путем чтения. В этом случае было найдено много вариантов ответов:

  • Органелла
  • Вакуоль
  • Цитоплазма
  • Плазма
  • Митохондрии

Систематически он проверял возможные ответы, создавая промежуточную гипотезу, проверяя, соответствуют ли решения критерию ликвидности. Он рассчитал достоверность того, что каждое из решений является ликвидным, используя свои семантические рамки и тот же механизм поиска, описанный выше. У результатов были следующие проценты:

  • is («Цитоплазма», «жидкость») = 0,2
  • is («Органелла», «жидкость») = 0,1
  • is («Вакуоль», «жидкость») = 0,1
  • is («Плазма», «жидкость») = 0,1
  • Is («Митохондрии», «жидкость») = 0,1

Чтобы получить эти оценки достоверности, он просмотрел свою базу знаний и, например, нашел семантическую рамку:

Цитоплазма - это жидкость, окружающая ядро.

Затем он проверил, является ли жидкость жидкостью. Чтобы ответить на этот вопрос, он просмотрел разные ресурсы, одним из которых является WordNet, но не нашел доказательств того, что жидкость является жидкостью. Но благодаря своей базе знаний он узнал, что иногда люди считают жидкость жидкостью. Затем он проверил, была ли цитоплазма возможным ответом, и не исключил ее из набора возможных ответов . Обладая всей этой информацией, он создал возможный набор ответов, причем каждому ответу была присвоена собственная вероятность. Этот шаг помог Watson обновить свою оценку достоверности для каждого ответа в своем наборе ответов.

Перекрестная проверка места и времени

Еще одна техника, которую использовал Ватсон, заключалась в перекрестной проверке во времени и пространстве, проверяя, какие ответы можно исключить, или изменяя вероятность того, что ответ будет правильным.

Например, подсказка: «В 1594 году он устроился сборщиком налогов в Андалусии». Двумя главными ответами, полученными при первом проходе алгоритма, были «Торо» и «Сервантес». Когда Уотсон проанализировал «Торо» как возможный ответ, он обнаружил, что «Торо» родился в 1817 году, и в этот момент Уотсон исключил этот ответ, потому что в 1594 году его не было в живых.

Обучение через опыт

Вопросы Jeopardy! Основаны на категориях, что означает ограничение объема знаний. Watson использовал эту информацию и скорректировал достоверность своего ответа. Например, в категории Празднование месяца: первая подсказка была «День национальной благотворительности и День поминовения усопших». Исходя из своего алгоритма, Watson ответит «День мертвых», потому что он классифицирует эту категорию по типу «День», но правильным ответом был ноябрь. По этой причине Watson обновил тип категории, чтобы он представлял собой смесь «День» и «Месяц», что увеличило количество ответов типа «Месяц». Со временем Watson сможет обновить тип ответа для определенной категории.

Первый матч

Первый матч в прямом эфире состоялся через месяц, 14 февраля 2011 года, а второй матч - на следующий день. Ватсон выиграл первый матч, но совершил огромную ошибку. В финальном раунде первого матча Уотсон в категории «Города США» ответил: «Что такое Торонто ??????» Алекс Требек, ведущий Jeopardy! и уроженец Канады высмеивал Ватсона, в шутку говоря, что он узнал, что Торонто - американский город.

Дэвид Ферруччи, ведущий ученый, объяснил, что Watson не занимается структурированными базами данных, поэтому он использовал город США в качестве ключа к возможному ответу, и что многие американские города названы Торонто. Также канадская бейсбольная команда Toronto Blue Jays играет в Американской бейсбольной лиге. Это могло быть причиной, по которой Уотсон считал Торонто одним из возможных ответов. Ферруччи также заявил, что очень часто отвечает в Jeopardy! не являются типами вещей, которые названы в этой категории. Watson знал об этом, поэтому категория «США» Города »может быть ключом к ответу. Уотсон использовал другие элементы, чтобы внести свой вклад в свой ответ. Инженеры также заявили, что его уверенность была очень низкой. На это указывает количество вопросительных знаков после ответа Ватсона. У Watson был 14% -ный процент уверенности в вопросе «Что такое Торонто ??????» И правильный ответ: "Что такое Чикаго?" был близким вторым с процентом уверенности 11%. Однако к концу первого матча Уотсон имел более чем в три раза больше денег, чем второй лучший соперник. Уотсон выиграл с 35 734 долларами, Раттер с 10400 долларами и Дженнингс с 4800 долларами.

Второй матч

На второй день соревнований в поддержку Watson один из инженеров надел куртку Toronto Blue Jays. Игра началась, и Дженнингс выбрал подсказку Daily Double. Ватсон впервые неправильно ответил на подсказку для Daily Double. После первого раунда Уотсон впервые занял второе место в соревновании. Но в итоге Уотсон выиграл второй матч с 77 147 долларами, а Дженнингс занял второе место с 24 000 долларов. IBM Watson была первой машиной, выигравшей Jeopardy! против лучших людей, и это вошло в историю.