Я ожидаю, что LASSO без штрафов ($ \ lambda = 0 $) даст такие же (или очень похожие) оценки коэффициентов, что и подгонка OLS. Однако я получаю разные оценки коэффициентов в R, помещая одни и те же данные (x, y) в
glmnet(x, y , alpha=1, lambda=0) для LASSO подходит без штрафов иlm(y ~ x) для OLS подходит.Это почему?
Вы неправильно используете функцию. x должен быть модельной матрицей. Не исходное значение предиктора. Когда вы это сделаете, вы получите точно такие же результаты:
x <- rnorm(500)
y <- rnorm(500)
mod1 <- lm(y ~ x)
xmm <- model.matrix(mod1)
mod2 <- glmnet(xmm, y, alpha=1, lambda=0)
coef(mod1)
coef(mod2)
У меня была та же проблема, я безрезультатно расспрашивал меня, а затем я отправил электронное письмо сопровождающему пакета (Тревору Хасти), который дал ответ. Проблема возникает, когда ряды сильно коррелированы. Решение состоит в том, чтобы уменьшить порог в вызове функции glmnet() (а не через glmnet.control()). В приведенном ниже коде используется встроенный набор данных EuStockMarkets и применяется VAR с lambda=0. Для XSMI коэффициент OLS ниже 1, коэффициент glmnet по умолчанию больше 1 с разницей около 0,03, а коэффициент glmnet с thresh=1e-14 очень близок к коэффициенту OLS (разница 1.8e-7).
# Use built-in panel data with integrated series
data("EuStockMarkets")
selected_market <- 2
# Take logs for good measure
EuStockMarkets <- log(EuStockMarkets)
# Get dimensions
num_entities <- dim(EuStockMarkets)[2]
num_observations <- dim(EuStockMarkets)[1]
# Build the response with the most recent observations at the top
Y <- as.matrix(EuStockMarkets[num_observations:2, selected_market])
X <- as.matrix(EuStockMarkets[(num_observations - 1):1, ])
# Run OLS, which adds an intercept by default
ols <- lm(Y ~ X)
ols_coef <- coef(ols)
# run glmnet with lambda = 0
fit <- glmnet(y = Y, x = X, lambda = 0)
lasso_coef <- coef(fit)
# run again, but with a stricter threshold
fit_threshold <- glmnet(y = Y, x = X, lambda = 0, thresh = 1e-14)
lasso_threshold_coef <- coef(fit_threshold)
# build a dataframe to compare the two approaches
comparison <- data.frame(ols = ols_coef,
lasso = lasso_coef[1:length(lasso_coef)],
lasso_threshold = lasso_threshold_coef[1:length(lasso_threshold_coef)]
)
comparison$difference <- comparison$ols - comparison$lasso
comparison$difference_threshold <- comparison$ols - comparison$lasso_threshold
# Show the two values for the autoregressive parameter and their difference
comparison[1 + selected_market, ]
R возвращает:
ols lasso lasso_threshold difference difference_threshold
XSMI 0.9951249 1.022945 0.9951248 -0.02782045 1.796699e-07
Я запустил с набором данных примера "простаты" из книги Хасти следующий код:
out.lin1 = lm( lpsa ~ . , data=yy )
out.lin1$coeff
out.lin2 = glmnet( as.matrix(yy[ , -9]), yy$lpsa, family="gaussian", lambda=0, standardize=T )
coefficients(out.lin2)
и результат коэффициентов аналогичен. Когда мы используем опцию стандартизации, коэффициенты, возвращаемые функцией glmnet (), находятся в исходных единицах входных переменных. Пожалуйста, убедитесь, что вы используете семейство «гауссов»
Из справки glmnet: обратите внимание, что для «гауссовского», glmnet стандартизирует y, чтобы иметь единичную дисперсию перед вычислением его лямбда-последовательности (а затем нестандартизирует результирующие коэффициенты); если вы хотите воспроизвести / сравнить результаты с другим программным обеспечением, лучше всего предоставить стандартизированное y.
