Мне бы не хотелось жить в мире, где две компании умнее всех. Итак, ~ 9 месяцев назад у меня возникла идея о системе, которая будет устанавливать стимулы для организаций к сотрудничеству в развитии алгоритмов машинного обучения. Он называется DecentralizedAI (да, супер креативное название). Сначала я подумал о том, чтобы выпустить из этого технический документ. Но у меня нет ни времени, ни технических знаний в области машинного обучения, чтобы сделать это возможным. Поэтому я публикую свои мысли на всякий случай, если они пригодятся.

Я также узнал о таких проектах, как Голем, и надеюсь, что это может что-то добавить в их мыслительный процесс. Я думаю, что эта конкретная проблема достаточно глубока, чтобы заслужить свое собственное, очень индивидуальное решение.

DecentralizedAI - это ненадежная децентрализованная платформа с открытым исходным кодом для глубокого машинного обучения.

Он реализован в виде набора контрактов с использованием блокчейна Ethereum. Эти контракты позволяют создавать сети узлов, которые будут конкурировать и будут вознаграждены за обучение нейронной сети. Эти контракты также обеспечивают механизм достижения консенсуса по обучающему набору, который будет использоваться для обучения нейронной сети.

1. Введение

С развитием искусственного интеллекта (ИИ) мы видим, как машины начинают понимать наш мир. Они проводят 84% всех сделок на фондовых рынках США, они водят машины по нашим шоссе, они помогают нам лечить пациентов, они создают красивую музыку, они пишут некоторые заголовки, которые мы читаем ... они даже предлагают нам, что ответить нашим друзьям.

Это произошло благодаря как талантам, работавшим над машинным интеллектом в последние десятилетия , значительному повышению производительности компьютеров благодаря закону Мура, так и феномену больших данных, который принес нам большие наборы данных для обучения нейронные сети с.

Однако только несколько компаний, которые накопили эти огромные обучающие наборы, извлекают большую часть выгоды. При современном уровне развития техники те, кто владеет данными и вычислительной мощностью для обучения машины, являются явными победителями и могут создать огромное неравенство с остальным миром, будучи экспоненциально более умными.

Цитата Илона Маска: «Если сила ИИ будет широко распределена до такой степени, что мы сможем связать силу ИИ с волей каждого человека - у вас будет свой агент ИИ, у каждого будет свой агент ИИ - тогда, если кто-то действительно попытается что-то реально сделать. ужасно, тогда коллективная воля других сможет победить этого плохого актера »

Вместо того, чтобы придерживаться статус-кво компаний, имеющих собственные разрозненные хранилища глубокого обучения, мы стремимся предоставить им необходимые стимулы для совместного создания оптимальных учебных наборов и открытия процесса обучения для свободного рынка.

1.1. Движущие факторы

Искусственный интеллект (ИИ) существует довольно давно. Можно утверждать, что мы очень близки или очень далеки от достижения сингулярности, которая является точкой, когда машинный интеллект превосходит человеческий интеллект, поэтому улучшается экспоненциально в рекурсивном цикле, который трудно себе представить сегодня.

Сейчас никто не может возразить, что набор методов, разработанных в области искусственного интеллекта, очень полезен в современном мире.

Лучшим примером искусственного интеллекта в дикой природе может быть глубокое машинное обучение, которое представляет собой набор передовых статистических методов, которые в сочетании с доступом к большим объемам данных и быстродействующим компьютерам могут давать удивительные результаты.

Например, для многих программирование машины, которая могла бы обыграть чемпиона мира в древней игре го, было почти невозможным. В марте 2016 года AlphaGo выиграла 4 из 5 игр в го в матче с чемпионом по го Ли Седолом, став первой компьютерной системой для игры в го, которая обыграла профессионального игрока в го без препятствий.

Некоторые из наиболее успешных методов глубокого обучения включают искусственные нейронные сети, которые изначально были основаны на биологических наблюдениях за первичной зрительной корой.

Методы глубокого машинного обучения используют каскад из многих уровней нелинейных модулей обработки для извлечения и преобразования признаков. Каждый последующий слой использует выходные данные предыдущего слоя в качестве входных.

Можно сказать, что мы живем в третьей весне ИИ. Интернет, увеличение пропускной способности и появление совместного использования данных привели нас к тому моменту, когда мы можем обучать нейронные сети, получая невероятные результаты.

Однако эти наборы данных обычно принадлежат крупным корпорациям, которые также владеют средствами для выполнения интенсивных процессов обучения.

И в мире, в котором мы живем, где интеллект - это все, мы не хотим, чтобы пара корпораций владела самыми умными машинами в мире. Снова цитируя Маска: «Я не знаю многих людей, которым нравится идея жить под властью деспота».

1.2. Децентрализация

Децентрализованные сети существуют уже давно.

Цель DecentralizedAI - предоставить способ обучения нейронных сетей, который стимулирует обмен данными и соревновательное обучение - эти два момента являются ключевыми моментами для демократизации ИИ.

Это требует децентрализованного консенсуса, который требует решения Византийская Generals проблемы.

К счастью, эта проблема была уже решена Bitcoin и его дописать в конце, децентрализованной книга, в blockchain.

Blockchain все о Консенсус и сетевые эффекты, которые определяют, как обратимое сделки.

Создание другой blockchain для DecentralizedAI отбрасывается, так как новый старт будет означать небезопасную сеть, пока не дойдем до точки, имеющие сильные сетевые эффекты.

В другой стороны, астральная, общественное blockchain основе распределенных вычислительных платформы, показывая смарт-функциональность контракта. Она обеспечивает децентрализованную виртуальную машину, в Эфириуме виртуальной машину (EVM), который может выполнить равную-равному контракты, используя свою собственную криптовалюту называемого эфиром.

Ethereum уже превысила рыночную оценку в $ 1 млрд, который должен быть большим доказательством силы своей сети. Она также имеет очень мощный способ определения контрактов на языке, называемом монолитности, который похож на сильно набранные скомпилированный JavaScript.

Корневище является еще одной интересной альтернативой. Это EVM-совместимое, будучи поддержано Bitcoin, который является самым сильным blockchain на сегодняшний день, превысив $ 14 млрд рыночной капитализации.

Корневище использует 2-полосную привязки к Bitcoin и вознаграждает Bitcoin шахтеров через слияния добычи.

Он все еще находится в фазе testnet и будет готов к использованию продукции в будущем. В то же время, Ethereum наша платформа выбора.

2. Компоненты

DecentralizedAI позволит любому пользователю создавать учебные группы, , которые являются группы узлов, которые взаимодействуют друг с другом, чтобы достичь консенсуса по обучающему набору и соревнуются, чтобы обучить его.

Компоненты каждой учебной группы являются:

  • Сеть, которая достигает консенсуса по обучающему набору (входным данным) и модели для ИИ.
  • Набор компьютеров (тренажеров), которые будут обучать данную модель с заданными входными данными и соревноваться на своей скорости, чтобы обучить ИИ, то есть достичь наименьших потерь при обучении. Самая низкая функция потерь представляет собой большую меру прогресса в обучении нейронной сети. Это можно сравнить с майнерами по схеме Proof-Of-Work.

2.1. Обучающий набор и модель

Обучающее это данные, на которых программа обучения машины научиться выполнять корреляционные задачи.

Модель структура нейронной сети, которая будет использоваться для обучения сети.

Консенсус будет достигнут периодически изменять обучающий набор. Так как люди будут вынуждены голосовать на следующей дельте для изменения обучающего набора, этот срок будет установлен в течение недели.

После тренировки, контрольные точки создаются, которые в основном является представлением состояния нейронной сети.

Изменение входа не должна допускать какой-либо существенный ущерб процессу обучения, однако, изменяя модель могла.

По этой причине, в то время как обучение набора модификация будет регулярной, модификация модели будет предоставлена ​​в качестве жесткого элемента вилки в протоколе.

Узлы могут предлагать изменения в обучающем наборе, и через некоторое время будет применен набор изменений, получивший наибольшее количество голосов.

Каждый может предлагать изменения и голосовать в любое время, но сеть достигнет консенсуса в отношении того, какие данные следует добавлять в обучающий набор один раз в неделю. Этот период времени устанавливается произвольно, и большинство заинтересованных сторон обучающей группы смогут изменить продолжительность периода для группы.

Поскольку звонки Ethereum требуют газа для выполнения транзакций, нам не нужно беспокоиться о предотвращении спама.

Тем не менее, с целью стимулирования отличных предложений для обучающего набора, победившее предложение будет вознаграждено.

2.2. Тренеры

Инструкторы выделяют свои вычислительные мощности для обучения последней контрольной точки с согласованным обучающим набором и моделью, и их цель - максимально быстро обучить ее в течение ограниченного периода времени, что было бы эквивалентом блока в цепочке блоков.

Тренеры должны транслировать свою контрольную точку, чтобы остальная часть сети могла проверить, что данная контрольная точка имеет меньшие потери, чем та, что в текущем блоке.

После этого тренер-победитель сможет выкупить эквивалент транзакции на базе монеты, которая даст ему жетоны в обмен на это усилие.

Вы можете представить себе тренировочный процесс как Proof-Of-Work.

2.3. Токен

Токен необходим по двум основным причинам:

  • Стимулировать тренеров выделять ресурсы на учебный процесс, предоставляя единую валюту, которую можно заработать, участвуя в любой учебной группе.
  • Чтобы стимулировать отличные предложения, награждая наиболее проголосовавшие изменения в обучающем наборе в текущем блоке

Этот токен будет называться нейроном (N или NRN).

Первоначальный запас токенов будет хорошо распределен в случае продажи, а количество выпущенных токенов будет таким же, как и количество токенов, купленных на мероприятии продажи.

Дополнительные токены будут переданы посредством транзакций на базе монет как тренерам, так и победителям. Поскольку первоначальная поставка не будет известна заранее, вознаграждения будут устанавливаться на переменной основе.

Награды могут быть:

  • 0,001% от всех выпущенных токенов будут вознаграждены тренерам за каждый успешный блок.
  • 0,0001% всех выпущенных жетонов будет вознагражден предлагающим за каждое добавление выигравшего тренировочного набора.

Вознаграждение будет уменьшаться вдвое каждые 4 года, делая ставку на улучшения оборудования, методов машинного обучения и энергии, которые мы, возможно, испытаем, и это снизит затраты на инструкторов.

3. Реализация

3.1. Токен

Контракт токена должен быть токеном ERC20, единственная задача которого - отслеживать поставки и позволять владельцам токенов совершать транзакции.

3.2. Обучающий набор

Контракт на обучающий набор должен быть контрактом, задачей которого является отслеживание согласованных входных данных в обучающей группе.

В целях прослеживаемости входными данными будет список дельт. Каждая дельта будет файлом патча, который указывает, что добавить, а что удалить из предыдущего обучающего набора.

Поскольку обучающая выборка может стать очень большой, мы будем хранить только хеши дельт в качестве контрольной суммы. Сами дельты придется транслировать и хранить другими способами. В этом случае мы выбираем IPFS, потому что явный экономический стимул для узлов хранить контент не требуется: они уже заинтересованы в участии в системе, и им необходимо хранить данные для этого.

Применяя все дельты в хронологическом порядке, мы приходим к текущему тренировочному набору. Все участвующие узлы в обучающей группе должны поддерживать актуальную форму обучающей выборки группы.

3.3. Обучение

Тренеры сохранят актуальную копию обучающего набора и будут обучать модель на нем.

Тренеры смогут получить доступ к последней потере блока, и когда они создадут контрольную точку с меньшими потерями, чем у последнего блока, будут транслировать и подписывать свою контрольную точку всем узлам обучающей группы.

Хранители мудрости загрузят контрольную точку и проверит, что для заданных входных данных и модели контрольная точка достигла меньших потерь. В течение определенного периода времени они будут голосовать на контрольной точке победителя.

Когда период закончится, транзакция на основе монеты будет отправлена ​​тренеру, который первым транслировал эту контрольную точку и который поставил свою подпись.

Контракт на обучение должен включать способ перечисления всех предлагаемых контрольных точек, их авторов и их голоса.

Поскольку контрольные точки могут становиться очень большими, мы будем хранить в контракте только их хэши, и мы запретим посылать один и тот же хэш дважды, чтобы предотвратить атаки повторного воспроизведения.

4. Вывод

Целью DecentralizedAI является демократизация машинного обучения путем создания стимулов для того, чтобы учебные наборы оставались общедоступными, и снижения стоимости обучения за счет создания свободного рынка обучающих тренеров.

Спасибо за прочтение! Если у вас есть какие-либо вопросы или отзывы, просто напишите мне.

Я бы хотел, чтобы любой, кто обладает глубокими знаниями в области машинного обучения, действительно создал что-то подобное. Это нужно миру.