Обучение ансамблю, система множественных классификаторов

Я пытаюсь использовать MCS (мультисистему классификаторов), чтобы лучше работать с ограниченными данными, т.е. становиться более точными.

В настоящее время я использую кластеризацию K-средних, но могу выбрать FCM (нечеткие c-средние), когда данные группируются в группы (кластеры), данные могут представлять что угодно, например, цвета. Сначала я группирую данные после предварительной обработки и нормализации и получаю несколько отдельных кластеров с большим количеством промежуточных значений. Затем я продолжаю использовать кластеры в качестве данных для байесовского классификатора, каждый кластер представляет отдельный цвет, байесовский классификатор обучается, а данные из кластеров затем проходят через отдельные байесовские классификаторы. Каждый байесовский классификатор обучается только одному цвету. Если мы возьмем цветовой спектр 3–10 как синий, 13–20 как красный, а спектр между 0–3 как белый до 1,5, затем постепенно переходим в синий через 1,5–3 и то же самое для синего к красному.

Что я хотел бы знать, так это то, как или какой метод агрегирования (если это то, что вы будете использовать) можно применить, чтобы байесовский классификатор мог стать сильнее, и как он работает? Знает ли метод агрегирования ответ, или это будет вмешательство человека, которое корректирует выходные данные, а затем эти ответы возвращаются в обучающие данные Байеса? Или комбинация того и другого? Глядя на агрегирование Bootstrap, он включает в себя то, что каждая модель в ансамбле голосует с равным весом, поэтому не совсем уверен, что в этом конкретном случае я бы использовал пакетирование в качестве метода агрегирования? Однако бустинг включает в себя постепенное создание ансамбля путем обучения каждого нового экземпляра модели, чтобы выделить учебные экземпляры, которые предыдущие модели неправильно классифицировали, не уверен, что это будет лучшей альтернативой пакетированию, поскольку я не уверен, как он постепенно строится на новых экземплярах? И последним из них будет усреднение байесовской модели, которое представляет собой метод ансамбля, который пытается аппроксимировать Оптимальный классификатор Байеса путем выборки гипотез из пространства гипотез и их объединения с использованием закона Байеса, однако совершенно не уверены, как вы будете выбирать гипотезы из пространства поиска?

Я знаю, что обычно вы бы использовали конкурентный подход для переключения между двумя алгоритмами классификации, один говорит да, другой говорит, что, возможно, можно применить взвешивание, и если оно правильное, вы получаете лучшее из обоих классификаторов, но на всякий случай я не хочу конкурентный подход.

Другой вопрос заключается в том, чтобы использовать эти два метода вместе таким образом, было бы полезно, я знаю, что приведенный мной пример очень примитивен и может не применяться в этом примере, но может ли он быть полезен для более сложных данных.


person G Gr    schedule 02.03.2012    source источник
comment
Я думаю, вы получите лучшие ответы на доске DSP   -  person Ali    schedule 02.03.2012
comment
Привет, извините, что такое плата DSP, обработка сигналов?   -  person G Gr    schedule 03.03.2012
comment
Да, dsp.stackexchange.com   -  person Ali    schedule 03.03.2012
comment
Или на странице Cross-Validated.   -  person ely    schedule 14.03.2012
comment
Мой вопрос по обоим ответам нет.   -  person G Gr    schedule 15.03.2012
comment
Не могли бы вы более подробно описать ввод и вывод классификаторов и указать цель вашей оптимизации? Насколько я понимаю из текста, на данных работает несколько байесовских классификаторов; однако мне неясно, каково конечное использование выходных данных (есть ли дискретные классы? непрерывное действительное число?) и какова цель использования метода ансамбля в этом контексте.   -  person etov    schedule 18.07.2012
comment
Я бы порекомендовал вам разместить ссылки на другие сообщения (и в других сообщениях включить ссылку здесь). В противном случае люди не будут знать, будут ли они прилагать усилия для решения проблемы, которая, возможно, уже была решена в другом месте.   -  person Dennis Jaheruddin    schedule 17.09.2012


Ответы (1)


У меня есть некоторые проблемы с методом, которым вы следуете:

  1. K-means помещает в каждый кластер точки, наиболее близкие к нему. А затем вы обучаете классификатор, используя выходные данные. Я думаю, что классификатор может превзойти кластерную неявную классификацию, но только за счет учета количества выборок в каждом кластере. Например, если ваши обучающие данные после кластеризации имеют тип A (60%), тип B (20%), тип C (20%); ваш классификатор предпочтет использовать неоднозначные выборки для типа A, чтобы получить меньшую ошибку классификации.
  2. K-means зависит от того, какие «координаты»/«признаки» вы берете из объектов. Если вы используете функции, в которых смешаны объекты разных типов, производительность K-средних снизится. Удаление таких объектов из вектора признаков может улучшить ваши результаты.
  3. Ваши «признаки»/«координаты», представляющие объекты, которые вы хотите классифицировать, могут измеряться в разных единицах. Этот факт может повлиять на ваш алгоритм кластеризации, поскольку вы неявно устанавливаете преобразование единиц между ними через функцию ошибки кластеризации. Окончательный набор кластеров выбирается с помощью нескольких попыток кластеризации (которые были получены при разных инициализациях кластера) с использованием функции ошибок. Таким образом, выполняется неявное сравнение различных координат вашего вектора признаков (потенциально вводя неявный коэффициент преобразования).

Принимая во внимание эти три момента, вы, вероятно, повысите общую производительность своего алгоритма, добавив этапы предварительной обработки. Например, при распознавании объектов для приложений компьютерного зрения большая часть информации, получаемой из изображений, поступает только от границ изображения. Вся информация о цвете и часть информации о текстуре не используются. Границы вычитаются из изображения при обработке изображения для получения дескрипторов гистограммы ориентированных градиентов (HOG). Этот дескриптор возвращает «признаки»/«координаты», которые лучше разделяют объекты, тем самым повышая производительность классификации (распознавания объектов). Теоретически дескрипторы выбрасывают информацию, содержащуюся в изображении. Однако они имеют два основных преимущества: (а) классификатор будет работать с данными меньшей размерности и (б) дескрипторы, рассчитанные на основе тестовых данных, легче сопоставить с обучающими данными.

В вашем случае я предлагаю вам попытаться повысить точность, используя аналогичный подход:

  1. Дайте более богатые возможности вашему алгоритму кластеризации
  2. Воспользуйтесь предварительными знаниями в этой области, чтобы решить, какие функции вы должны добавить и удалить из своего вектора функций.
  3. Всегда учитывайте возможность получения размеченных данных, чтобы можно было применять алгоритмы обучения с учителем.

Надеюсь, это поможет...

person jespestana    schedule 10.10.2012