Реализация градиентного спуска в октаве

То, что вы делаете в первом примере, во втором блоке вы пропустили шаг, не так ли? Я предполагаю, что вы объединили X с вектором из единиц.

   temp=X(:,2) * temp

Последний пример будет работать, но его можно еще больше векторизовать, чтобы сделать его более простым и эффективным.

Я предположил, что у вас есть только 1 функция. он будет работать одинаково с несколькими функциями, поскольку все, что происходит, это добавление дополнительного столбца в матрицу X для каждой функции. В основном вы добавляете вектор из единиц к x, чтобы векторизовать перехват.

Вы можете обновить матрицу тета 2x1 в одной строке кода. С помощью x соедините вектор из единиц, сделав его матрицей nx2, тогда вы можете вычислить h(x) путем умножения на тета-вектор (2x1), это (X * тета) бит.

Вторая часть векторизации заключается в транспонировании (X * тета) - y), что дает вам матрицу 1 * n, которая при умножении на X (матрица n * 2) будет в основном объединять оба (h (x) -y) x0 и (h(x)-y)x1. По определению оба тета выполняются одновременно. Это приводит к матрице 1 * 2 моих новых тета, которые я просто снова транспонирую, чтобы перевернуть вектор, чтобы он был тех же размеров, что и тета-вектор. Затем я могу выполнить простое скалярное умножение на альфа и векторное вычитание с тета.

X = data(:, 1); y = data(:, 2);
m = length(y);
X = [ones(m, 1), data(:,1)]; 
theta = zeros(2, 1);        

iterations = 2000;
alpha = 0.001;

for iter = 1:iterations
     theta = theta -((1/m) * ((X * theta) - y)' * X)' * alpha;
end

В первом случае, если бы X была матрицей 3x2, а тета была матрицей 2x1, то «гипотезы» были бы матрицей 3x1.

Предполагая, что y представляет собой матрицу 3x1, вы можете выполнить (гипотезы - y) и получить матрицу 3x1, тогда транспонирование этого 3x1 представляет собой матрицу 1x3, назначенную temp.

Затем матрице 1x3 присваивается значение тета (2), но это не должна быть матрица.

Последние две строки вашего кода работают, потому что, используя мои примеры mxn выше,

(X * theta)

будет матрица 3x1.

Затем эта матрица 3x1 вычитается из y (матрица 3x1), и в результате получается матрица 3x1.

(X * theta) - y

Таким образом, транспонированная матрица 3x1 представляет собой матрицу 1x3.

((X * theta) - y)'

Наконец, матрица 1x3, умноженная на матрицу 3x1, будет равна скалярной матрице или матрице 1x1, что вам и нужно. Я уверен, что вы уже знаете, но для большей ясности скажу, что X(:,2) — это второй столбец матрицы 3x2, что делает ее матрицей 3x1.

Когда вы обновляете, вам нужно сделать как

Start Loop {

temp0 = theta0 - (equation_here);

temp1 = theta1 - (equation_here);


theta0 =  temp0;

theta1 =  temp1;

} End loop

Это может быть более просто векторизовано с помощью

h = X * theta   % m-dimensional matrix (prediction our hypothesis gives per training example)
std_err = h - y  % an m-dimensional matrix of errors (one per training example)
theta = theta - (alpha/m) * X' * std_err

Помните, что X — это матрица проектирования, и поэтому каждая строка X представляет обучающий пример, а каждый столбец X представляет заданный компонент (скажем, нулевой или первый компоненты) во всех обучающих примерах. Таким образом, каждый столбец X — это именно то, что мы хотим поэлементно умножить на std_err перед суммированием, чтобы получить соответствующий компонент тета-вектора.