В 1950 году Алан Тьюринг опубликовал культовую статью «Вычислительные машины и интеллект». На первый взгляд, это философская статья, но она стала одним из самых важных и влиятельных первых шагов к разработке интеллектуальных систем, доказавпроверку/контрольный показатель того, как мы на самом деле узнаем, система интеллектуальная.
Вступительный абзац к статье написан красиво. Тьюринг пытается определить, что значит «думать машине», но признает, что это невозможно определить (что такое «машина» и что значит «думать» ???). Вместо этого он выбирает тесно связанный с ним четко определенный вопрос о том, сможет ли ИИ выиграть в игре с имитацией:
ПРЕДЛАГАЮ рассмотреть вопрос «Могут ли машины мыслить?». Начать следует с определения значения терминов «машина» и «мыслить». Определения могут быть составлены таким образом, чтобы, насколько это возможно, отражать нормальное употребление слов, но такое отношение опасно. Если значение слов «машина» и «думать» должно быть найдено путем изучения того, как они обычно используются, трудно избежать вывода о том, что значение и ответ на вопрос «Могут ли машины мыслить?» заключаются в следующем. ищут в статистическом обзоре, таком как опрос Гэллапа. Но это абсурд. Вместо того, чтобы пытаться дать такое определение, я заменю этот вопрос другим, который тесно связан с ним и выражается в относительно недвусмысленных словах. Новая форма проблемы может быть описана в терминах игры, которую мы называем «игрой в имитацию». .
игра в имитацию

В тесте участвует человек-следователь, который ведет разговор с другим человеком и с машиной, не зная, кто есть кто. Работа дознавателя состоит в том, чтобы решить, кто из двух является машиной, основываясь исключительно на их ответах на серию подсказок. Если следователь не может отличить машину от человека, говорят, что машина прошла тест Тьюринга.
Альтернативные тесты
На протяжении многих лет альтернативные тесты предназначались для измерения искусственного интеллекта, вот некоторые из них:
1. Полный тест Тьюринга (Харнад, 1989 г.)
Прямое расширение теста Тьюринга, включающее восприятие (компьютерное зрение) и манипулирование объектами (робототехника).
- Более сложный, чем оригинальный тест Тьюринга
- Помогают ли восприятие и способность двигаться созданию ОИИ, или это просто человеческая точка зрения?
2. Тест Лавлейса (Bringsjordet al. 2001)
Машина проходит тест, если делает что-то «удивительное», что ее создатель не может «объяснить».
- Нечеткие определения. Что значит удивить чем-то? Моя микроволновка удивляет меня каждый раз, когда еда выходит теплой! (невероятный инженерный подвиг, но вряд ли умный)
- Lovelace 2.0 делает акцент на творчестве, а не на удивлении (Ридл, 2014 г.)
3. Мина из Google
Meena от Google — это сквозная нейронная диалоговая модель. Не тест, а статья Мины, в которой представлены две интересные метрики для измерения способности ИИ к диалогу: разумность и специфичность.
- Разумность: ответы машин должны иметь смысл в контексте.
- Специфичность.Способность машин давать однозначно конкретные ответы на вопросы. Ответы типа «Я не знаю/не уверен/может быть… и т.д.» являются общими и могут использоваться ИИ для нескольких вопросов, хотя эти скучные ответы разумны, они получат низкий балл по показателю специфичности.
4. Действительно тотальный тест Тьюринга (Schweizer, 1998).
Типичные тесты Тьюринга длятся в течение короткого промежутка времени, которого может быть недостаточно, чтобы человек мог уверенно вынести суждение (т. Е. Машина может уклониться от обнаружения для небольшого количества вопросов).
Вместо этого Швейцер предлагает, чтобы мы судили не о производительности отдельного агента, а о работе, произведенной совокупностью агентов в ходе их эволюции.
5. Приз Хаттера
Интересным аспектом интеллекта является идея «сжатия». Способность сжимать набор данных можно рассматривать как признак интеллекта, поскольку она требует глубокого понимания базовых данных и способности определять шаблоны и структуры, которые можно использовать для уменьшения размера.
Задача — сжать 1 ГБ Википедии. В настоящее время лучшим является коэффициент сжатия 8,75 (115 МБ).
6. Задача абстракции и рассуждений (Шолле, 2019 г.)
Задание на абстракцию и рассуждение (ARC) можно рассматривать как тест IQ для компьютеров. Поскольку IQ в настоящее время является лучшим эталоном человеческого интеллекта, почему бы не сделать его эталоном и для искусственного интеллекта?
Проводится ряд тестов для измерения математических способностей машин, логического мышления, пространственного мышления и памяти. Например:

Подражание интеллекту = интеллект?
Для многих игра в шахматы считалась высшим уровнем интеллекта. Гарри Каспарова хвалили за его интеллект, но почему мы не приписываем ничего из этого DeepBlue (первому ИИ, победившему Каспарова). Это потому, что это машина, и мы знаем, что она была запрограммирована заранее?
Всегда ли мы собираемся поднимать планку «умного»? Трудно считать компьютер разумным, каким бы мощным он ни был.
В 1980 году Джон Сирл предложил мысленный эксперимент в китайской комнате, чтобы бросить вызов концепции сильного общего искусственного интеллекта. В мысленном эксперименте Сирл представил себя запертым в комнате со сводом правил, описывающим, как манипулировать китайскими иероглифами. Он получает китайские иероглифы в качестве входных данных и следует своду правил для создания китайских иероглифов в качестве выходных данных, не понимая их значения. Стороннему наблюдателю может показаться, что Сирл способен понимать китайский язык и общаться на нем, но на самом деле он просто следует набору правил, не понимая языка по-настоящему.
Конечно, современные большие языковые модели могут настолько хорошо имитировать статистику языка, что могут генерировать синтаксически правильные предложения.
Однако я считаю, что эта идея слишком ориентирована на человека. Идея Серла гласит: «Я человек, только я могу иметь разум и думать, может показаться, что ваш компьютер думает так же, как и я, но только я могу ДЕЙСТВИТЕЛЬНО думать!». Мы никогда не сможем по-настоящему узнать, думает ли на самом деле человек или компьютер, или это всего лишь видимость. Поэтому я согласен с Тьюрингом в том, что мы должны сосредоточиться только на видимости мышления, поскольку мы работаем над созданием этой видимости, надеюсь, мы поймем основы того, что значит думать/быть сознанием на этом пути.