Сравните производительность генетического программирования

Я выполнил 30 * 7 запусков генетической программы для набора данных, 30 запусков с 7 различными настройками параметров, теперь я хотел бы сравнить результаты. Каждая программа выполнялась в течение 200 поколений. Я собрал данные для каждого поколения, но я хотел бы сравнить наилучшую тестовую пригодность из 30 запусков со всеми остальными 30 запусками для каждой настройки, чтобы проверить, есть ли разница между результатами различные параметры. Из-за характера вещей распределение не является нормальным, поэтому я подумал о проведении теста Крускала Уоллиса на 7 столбцах данных (каждый столбец с 30 выборками).

Что вы думаете, ребята ?

Спасибо, Хорхе.


statistics genetic-algorithm genetic-programming
person Jorge Canelhas    schedule 24.05.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Как вы определяете производительность? Предполагая, что вы имеете в виду сходимость к оптимуму (или, по крайней мере, к локальному экстремуму), вы можете сравнить:

  1. Оптимум достигается в каждом заезде
  2. Скорость, с которой вы их достигли (средний прирост или что-то подобное).

Для точки 2. вы можете даже захотеть вписать кривую (например, линию) и попытаться сравнить параметры i в yi=aix+bi

Глядя только на статистическую сторону, вы также можете использовать ранговый тест Уилкоксона, так как вы можете сгруппировать бегает парами.

И кстати, поскольку каждый прогон с заданным набором параметров (по крайней мере, теоретически) может давать немного отличающиеся результаты (из-за присущей генетическому программированию случайной природы), вы можете захотеть иметь по крайней мере несколько прогонов для каждого набора параметров. параметры, которые вы хотите настроить, чтобы устранить (неправильное?) удачное влияние случайности.

person sophros    schedule 25.05.2017
comment
это проблема минимизации, чем ближе к 0, тем лучше. у меня есть 30 запусков с каждой настройкой параметра. - person Jorge Canelhas; 25.05.2017
comment
Поэтому, прежде всего, вы можете сравнить, приближались ли прогоны к 0 (с некоторым допуском на эпсилон). Тогда можно было бы проверить скорость сходимости. - person sophros; 25.05.2017
comment
У меня уже есть некоторый графический анализ прогонов и т. д. Мне бы хотелось, чтобы какой-нибудь количественный метод сообщал мне, насколько различаются результаты методов, чтобы я мог измерить, есть ли смысл в использовании метода A или B. Существует 7 различных методов. алгоритмы «конкурируют». - person Jorge Canelhas; 25.05.2017
comment
Я не думаю, что парный метод Вилкоксона является правильным путем, поскольку в сериях нет значимых пар (конечно, не имеющих отношения к исследованию). d также необходимо контролировать множественные сравнения, что естественным образом учитывается Краскалом-Уоллисом. - person Charles Ofria; 05.06.2017