Основы анализа независимых компонентов
1. О конечной выборочной идентифицируемости сравнительного нелинейного анализа независимых компонентов, основанного на обучении(arXiv)
Выдержка:Нелинейный анализ независимых компонентов (nICA) направлен на восстановление статистически независимых скрытых компонентов, смешанных с неизвестными нелинейными функциями. Центральное место в nICA занимает возможность идентификации скрытых компонентов, которая до недавнего времени была неуловимой. В частности, Hyvärinen et al. показали, что нелинейно смешанные латентные компоненты поддаются идентификации (вплоть до часто несущественных неоднозначностей) в формулировке обобщенного контрастивного обучения (GCL), учитывая, что латентные компоненты являются независимыми, обусловленными определенной вспомогательной переменной. Идентифицируемость nICA на основе GCL элегантна и устанавливает интересные связи между nICA и популярными парадигмами обучения без учителя/самоконтроля в репрезентативном обучении, причинном обучении и распутывании факторов. Тем не менее, все существующие анализы идентифицируемости nICA основаны на предположении о неограниченной выборке и использовании идеальных обучаемых с универсальными функциями, что создает значительный разрыв между теорией и практикой. Сокращение разрыва является нетривиальной задачей, поскольку отсутствует устоявшаяся «учебная» процедура для конечного выборочного анализа таких неконтролируемых задач. В этой работе представлен анализ идентифицируемости nICA на основе GCL на конечной выборке. Наша аналитическая структура разумно сочетает в себе свойства функции потерь GCL, анализа статистического обобщения и численного дифференцирования. Наша структура также принимает во внимание ошибку аппроксимации функции обучения и показывает интуитивный компромисс между сложностью и выразительностью используемой функции обучения. Для проверки теорем используются численные эксперименты.
2. Глубокий детерминированный анализ независимых компонентов для гиперспектрального разделения(arXiv)
Автор:Хунмин Ли, Шуцзянь Ю, Хосе С. Принцип
Аннотация: мы разрабатываем новый метод анализа независимых компонентов (ICA) на основе нейронной сети, напрямую минимизируя зависимость между всеми извлеченными компонентами. Используя основанный на матрице энтропийный функционал R{é}nyi α-порядка, наша сеть может быть напрямую оптимизирована с помощью стохастического градиентного спуска (SGD) без какой-либо вариационной аппроксимации или состязательного обучения. В качестве надежного приложения мы оцениваем нашу ICA в проблеме гиперспектрального разделения (HU) и опровергаем утверждение о том, что \emph{ICA не играет роли в разделении гиперспектральных данных}, которое первоначально было предложено \cite{nascimento2005does} . Код и дополнительные примечания нашего DDICA доступны на https://github.com/hongmingli1995/DDICA
3.Улучшение анализа независимых компонентов(arXiv)
Автор:Юнпэн Ли, ЧжаоХуэй Е
Вывод:Анализ независимых компонентов предназначен для извлечения взаимно независимых компонентов из их линейных смесей. Этот метод широко используется во многих областях, таких как анализ данных, обработка сигналов и машинное обучение. Чтобы уменьшить зависимость от предварительных знаний о неизвестных источниках, было предложено множество непараметрических методов. В этой статье мы представляем новый алгоритм на основе бустинга для анализа независимых компонентов. Наш алгоритм состоит из максимизации оценки правдоподобия посредством бустинга и поиска несмешанной матрицы методом фиксированной точки. Множество экспериментов подтверждают его эффективность по сравнению со многими известными в настоящее время алгоритмами.
