Хотя мы видели, что для уменьшения линейной размерности у нас есть методы уменьшения размерности, такие как PCA, SVD и добавочное обучение; мы с нетерпением ждем возможности сделать линейные модели более общими по отношению к нелинейным наборам данных. Эти методы могут отображать нелинейное вложение из данных высокой размерности (которые лежат на многообразии) в пространство низкой размерности, создавая при этом необходимые условия для возврата исходной конструкции высокой размерности.

Мы подробно обсудим следующие разнообразные методы обучения:

  1. Изомакарты (с многомерным масштабированием)
  2. Локально-линейное вложение и модифицированное локально-линейное вложение
  3. Спектральное вложение

И. Изомап :-

Давайте начнем с обсуждения Isomaps, целью которого является сохранение «геодезического расстояния» между точками при уменьшении размерности. (Геодезическое расстояние – это расстояние, полученное по кратчайшему пути между двумя точками в многообразии, где каждая точка имеет окрестность, напоминающую евклидово пространство.)

II. Локально-линейное вложение и модифицированное локально-линейное вложение

Хотя мы смогли создать гомеоморфную функцию для сведения данных к низкоразмерному пространству в Isomap, мы можем альтернативно представить точку данных как линейную комбинацию ее соседних точек, которые лучше всего представляют точку данных на основе некоторой метрики расстояния между точки. Веса, присвоенные различным соседним точкам, затем используются для поиска подходящего представления точек данных в шкале более низкого измерения.

Вся концепция локально-линейного встраивания и его модифицированная версия показаны ниже:

III. Спектральное вложение

Алгоритм Laplacian Eigenmap применяется для нахождения низкоразмерного представления данных следующим образом:

Использованная литература:-

  1. Контролируемая Isomap с мерами несходства при внедрении обучения (Бернардете Рибейро, Армандо Виейра, Жоао Карвалью дас Невеш)
  2. Введение в локально-линейное вложение (от Саула и Ровейса)
  3. MLLE: Модифицированное локально-линейное вложение с использованием нескольких весов (Чжан и Ван)
  4. Документация Scikit Learn по многообразному обучению

PS: - Моя цель состояла в том, чтобы внести ясность в концепцию, как можно лучше понимая исходные коды и логику, представленные в документах. Любые комментарии, улучшения и предложения всегда приветствуются. Я довольно старомоден и склонен писать вещи на бумаге, прежде чем применять их где-либо, поэтому извините меня, если текстового содержания было меньше, а изображений больше.