Многомерная полиномиальная регрессия второго порядка Python

Минимизация ошибок — огромная и сложная проблема. Таким образом, многие очень умные люди придумали много крутых решений. Вот некоторые из них:

(из всех я думаю, что байесовская оптимизация с помощью sklearn может быть хорошим выбором для вашего варианта использования, хотя я никогда не использовал его)

(также удалите последние s в URL-адресе изображения, чтобы увидеть полный размер)

Случайные подходы:

• генетические алгоритмы: форматирует вашу проблему, как хромосомы в геноме, и выводит оптимальное решение (мой личный фаворит)

• имитация отжига: форматирует вашу задачу как отжиг горячего металла, который пытается перейти в стабильное состояние, теряя тепло.

• случайный поиск: лучше, чем кажется. случайным образом проверяет истинность входных переменных.

• Поиск по сетке: прост в реализации, но часто менее эффективен, чем методы, использующие настоящую случайность (повторное исследование). вдоль определенной оси интереса. Эта стратегия часто тратит вычислительные ресурсы впустую)

Многие из них возникают при оптимизации гиперпараметров для моделей машинного обучения.

Более предписывающие подходы:

• Градиентный спуск: использует градиент, вычисленный в дифференцируемой функции, для перехода к локальным минимумам.

• DeepAR: использует байесовскую оптимизацию в сочетании со случайным поиском для уменьшения потерь гиперпараметров. тюнинг. Хотя я считаю, что это доступно только на AWS, похоже, что sklearn имеет реализацию байесовской оптимизации

• scipy.optimize.minimize: я знаю вы уже используете это, но есть 15 различных алгоритмов, которые можно использовать, изменив флаг method.

Руб

в то время как минимизация ошибок концептуально проста, на практике сложные топологии ошибок в многомерных пространствах могут быть очень трудными для эффективного прохождения. Он соответствует локальным и глобальным экстремумам, проблеме исследования/использования и нашему математическому пониманию. что такое вычислительная сложность. Часто хорошее уменьшение ошибок достигается за счет сочетания глубокого понимания проблемы и экспериментов с несколькими алгоритмами и гиперпараметрами. В ML это часто называется настройкой гиперпараметров и, если хотите, является своего рода шагом по уменьшению мета-ошибок.

примечание: не стесняйтесь рекомендовать другие методы оптимизации, я добавлю их в список.

У меня есть пример с использованием имитации отжига, как указано в хорошем списке в этой теме.

Во-первых, мне нужно загрузить данные и определить целевую функцию. Я сохранил ваши данные в data.csv и загрузил с помощью

import pandas as pd
data = pd.read_csv("../data.csv", sep="   ", header=None, engine='python')

И получите свои значения с помощью

X = data[ [0,1,2] ].values
Y = data[ 3 ].values

Я определяю вашу полифункцию с помощью

from itertools import combinations

def poly_function(X, beta):
    X_dimension = X.shape[1]

    i,j = zip( *list(combinations( range(X_dimension), 2)) )
    X_cross = X[:,i] * X[:,j] 
    X_expanded = np.concatenate([X,X**2,X_cross] , axis=1)
    
    assert X_expanded.shape[1] == beta.shape[0], "Expect beta to be of size {}".format(X_expanded.shape[1])
    
    return np.matmul(X_expanded, beta)

Для имитации отжига нам просто нужна объективная

def obj(beta,X=X,Y=Y):
    
    Y_hat = poly_function(X, beta)
    
    BOOSTER = 10**5
    
    return BOOSTER * np.mean( (Y-Y_hat)**2 )**.5

и некоторые предложения

def small_delta(beta):
    new_beta = beta.copy()
    
    random_index = np.random.randint(0,new_beta.shape[0])
    
    new_beta[ random_index ] += (np.random.random() - .5) * .01
 
    return new_beta

def large_delta(beta):
    new_beta = beta.copy()
    
    random_index = np.random.randint(0,new_beta.shape[0])
    
    new_beta[ random_index ] += np.random.random() - .5 
 
    return new_beta

И рандомный старт

def random_beta():
    return np.random.random(size=9)

И СА с

import frigidum


local_opt = frigidum.sa(random_start=random_beta, 
                        neighbours=[small_delta, large_delta], 
                        objective_function=obj, 
                        T_start=10**2, 
                        T_stop=10**-12, 
                        repeats=10**3, 
                        copy_state=frigidum.annealing.copy)

RMSE, который я нашел с вашими данными, был около 0.026254 с бета-версией.

array([ 7.73168440e+00,  2.93929578e+00,  4.10133180e-02, -1.37266444e+01,
       -3.43978686e+00, -1.12816177e-02, -1.00262307e+01, -3.12327590e-02,
        9.07369588e-02])

где вам нужно знать, что он построен как (X1,X2,X3,X1**2, X2**2, X3**2, X1*X2,X1*X3,X2*X3)

Более длительный запуск с большим количеством повторов может привести к ошибке 0.026150 с бета-версией.

array([ 7.89212770e+00,  3.24138652e+00,  1.24436937e-02, -1.41549553e+01,
       -3.31912739e+00, -5.54411310e-03, -1.08317125e+01,  2.09684769e-02,
        6.84396750e-02])

Вы можете попробовать statsmodelslibrary в сочетании с объяснением по этой ссылке, чтобы соответствовать полиномиальным моделям. https://ostwalprasad.github.io/machine-learning/Polynomial-Regression-using-statsmodel.html

После некоторых проб и ошибок я, наконец, нашел решение. Задачу можно рассматривать как линейную с использованием замены переменных. Я использовал scikit- научиться строить модель. После некоторых тестов на реальных случаях это работает очень хорошо