ИИ: пролить свет на темные данные
Мне нужно бояться Dark Data?
В детстве я часто боялся темноты; возможно, не столько самой темноты. Но больше неизвестное; то, что нельзя увидеть.
То же самое относится к данным, большая часть данных организаций скрыта и, следовательно, в значительной степени неизвестна.
По данным IBM, 90 процентов мировых данных было создано за последние два года. Большая часть этих данных неструктурирована или обычно называется темными данными.
Эти данные фиксируются датчиками, камерами или разговорами с клиентами, и это лишь некоторые из источников. И большинство организаций считали почти невозможным для них даже начать изучение и осмысление этих данных.
Что такое темные данные?
Эти темные данные очень неструктурированы. Это означает, что большая часть данных собирается структурированными средствами. Пользовательский интерфейс требует, чтобы данные находились в определенной структуре; люди структурируют данные в правильном формате в соответствии с требованиями пользовательского интерфейса (UI). Принимая во внимание, что структурированные данные можно классифицировать, сортировать, индексировать и т. д. и, следовательно, сделать их полезными; неструктурированные данные, с другой стороны, считаются темными, и из них трудно или невозможно извлечь пользу.
Традиционный сбор данных
В 80-х годах во многих организациях было множество людей, записывающих данные из документов в свои мэйнфреймы. Впоследствии организации начали оцифровывать свою среду, и ввод или сбор данных происходил как само собой разумеющееся и являлось частью рабочего процесса. Армии групп захвата данных были сочтены избыточными.
Теперь мы, как пользователи, настолько адаптируемся к вводу наших данных и данных, поэтому процесс был передан пользователю. Мы, как пользователи, должны организовать свои собственные данные для ввода через формы и тому подобное. Следовательно, помогая всему процессу сбора данных.
Введите неструктурированные данные
Вскоре видео должно составлять до 90% всего потребительского интернет-трафика; клиенты разговаривают с компаниями по электронной почте, голосу, чат-ботам и т.п. Просто подумайте обо всех датчиках, активности в социальных сетях и т. д., генерирующих крайне неструктурированные данные.
Примеры интерпретации темных данных
Вот несколько примеров того, как AI и ML можно использовать для поиска видео и аудио.
Видео 1; эта демонстрация поддерживается сервисами IBM Cloud и Watson, включая понимание естественного языка, преобразование речи в текст, визуальное распознавание, Cloudant, а также использует проект IBM Github под названием Dark data.
Пример приложения под названием Dark Vision обрабатывает видео, извлекая кадры и независимо помечая эти кадры. Никаких пользовательских моделей для обучения не создавалось; поэтому результаты просто по умолчанию.
Вы увидите, что три изображения также загружены. Первая из них — корзина с фруктами. Ключевые слова для изображения включают банан, фрукты, еду, дыню, оливковый цвет и лимонно-желтый цвет.
Загружается изображение Эштона Катчера, ключевые слова изображения: мужчина, лицо, чиновник, инвестор. На заднем плане также видно второе женское лицо.
Третье изображение Джинни Рометти помечено женским портретным фото, лицом, синим пальто. С распознаванием лица 87% женщин.
Для анализа видео использовались два видеоролика YouTube от GeoBeats. Оба продолжительностью около 90 секунд. Первый находится в Нью-Йорке. Из видео перечислены ключевые слова изображения с процентами, с ключевыми словами аудио. Перечисляются понятия и эмоциональный анализ из стенограммы. Видеозапись также доступна. Кадры можно искать по ключевым словам вроде башня, гидроцикл, небо и т. д. Переходим ко второму видео Парижа. Полная стенограмма снова доступна с ключевыми словами аудио.
Эмоции также анализируются. Понятия идентифицируются как Париж, Мона Лиза, Лувр и т. д. Опять же, видео можно искать по таким словам, как Башня, арка, Эйфелева. Это хороший пример того, как элементы IBM Cloud и Watson могут быть организованы для создания уникальных решений реальных проблем.
Видео 1 показывает, как видео можно обрабатывать покадрово со звуком, чтобы возвращать такие значения, как ключевые слова аудио, сущности, анализ эмоций и расшифровка видео. На кадрах можно обнаружить ориентиры, лица структур и многое другое.
Ниже представлено видео о том, как была создана модель с использованием 50 изображений каждой из моделей Tesla. После обучения модели может быть показано изображение транспортного средства, и может быть возвращена определенность, действительно ли это транспортное средство Tesla. И какая это модель Теслы.
Международная космическая станция, запущенная в 1998 году, служит лабораторией исследования микрогравитации и космической среды, в которой члены экипажа проводят эксперименты.
Эти эксперименты позволили получить большое количество данных, многие из которых доступны для общественности. Windows on Earth демонстрирует изображения, сделанные с МКС, и являются одними из самых популярных. Мы будем использовать изображения ночных городов в этом шаблоне кода для создания пользовательского классификатора визуального распознавания с помощью IBM Watson Visual Recognition.
МКС создала тысячи изображений, и с помощью ИИ мы можем классифицировать и систематизировать эти изображения. На видео изображен Чикаго. Ватсон определяет, что это действительно Чикаго с точностью восемь и семь десятых. Ближайший город — Хьюстон. Кроме того, я представил фотографию Токио. Распознается с точностью до девятого десятого.
Это видео представляет собой демонстрацию использования IBM Watson Visual Recognition с изображением, разбитым на плитки размером 200 x 200 пикселей. Каждая плитка тестируется с помощью модели Watson Visual Recognition на наличие признаков ржавчины. Это практическая реализация машинного обучения. Модель была создана и обучена на нескольких сотнях изображений ржавчины.
Подробнее здесь:
