Публикации по теме 'lasso-regression'


Регрессия и ее виды.
В прошлом посте мы рассмотрели, что такое машинное обучение и его виды. Там я обсуждал, что контролируемое обучение является одним из методов. Сегодня давайте обсудим, что такое регрессионный анализ и каковы его разновидности. Что такое регрессия? Регрессия прогнозирует среднее значение целевой переменной на основе значений других переменных (независимых переменных). Примерами могут быть время и стоимость, когда стоимость может зависеть от различных других факторов, и необходимо..
Набор данных о лесных пожарах в Алжире
У нас есть интересный набор данных о лесных пожарах в Алжире, где нам нужно предсказать, будет ли пожар или нет, на основе различных независимых признаков. Поскольку это проблема классификации, я подумал о преобразовании ее в задачу регрессии, в которой мы будем прогнозировать индекс пожарной погоды (FWI), который будет нашей зависимой функцией. Давайте углубимся в набор данных, который мы получили от Kaggle. Информация о наборе данных: Набор данных включает 244 экземпляра, которые..
Введение в регуляризацию
Когда модель действительно хорошо работает на наборе поездов, но плохо работает на невидимых данных, мы знаем, что у нас есть проблема: переоснащение. Мы знаем, что существует компромисс между предвзятостью и дисперсией. Простая модель будет иметь высокое смещение и низкую дисперсию, тогда как сложная модель будет иметь низкое смещение и высокую дисперсию. В любом случае общая ошибка будет высокой. Нам нужна наименьшая общая ошибка, то есть низкое смещение и низкая дисперсия. Для..
Проблема переобучения
.. и как с этим бороться — Часть 2 В Части 1 этого блога я довольно подробно описал проблему переобучения, и мы увидели, как переоснащенная модель хорошо работает на обучающем наборе данных, но не может обобщать. В этом блоге мы обсудим Регуляризацию , широко используемый метод для решения проблемы переобучения. Регуляризация — это метод, который снижает сложность модели ML, добавляя штраф к функции потерь. Функция штрафа или «термин регуляризации» добавляется ко всем параметрам..
Регуляризация: Ридж и Лассо
Регуляризация  – это процесс добавления информации для решения проблем машинного обучения, таких как переобучение. Это одна из самых важных концепций машинного обучения. С математической точки зрения регуляризация может применяться к задачам оптимизации, где можно добавить член регуляризации или штраф, чтобы найти оптимальное решение задачи оптимизации. Наиболее часто используемые методы регуляризации следующие: Регуляризация L1 Регуляризация L2 Чтобы лучше понять Ридж и..
Введение в регуляризацию с использованием регрессий Риджа и Лассо
Вы можете спросить себя: зачем нужна регуляризация? Прежде всего, регуляризация регрессионных моделей позволяет избежать переобучения при автоматической подгонке нашей модели. Регуляризация выполняется путем добавления штрафа к нашей функции потерь. Вспомните нашу функцию потерь для простой регрессии методом наименьших квадратов (OLS). Путем выбора значения бета, которое минимизирует сумму квадратов ошибок (SSE), находится линия наилучшего соответствия. Переоснащение может..

Вопросы по теме 'lasso-regression'

glmnet lasso диаграммы ROC
Я использовал k-кратную перекрестную проверку в glmnet (которая реализует лассо-регрессию), но я не могу сделать ROC-диаграммы из этого. library(glmnet) glm_net <- cv.glmnet(dev_x_matrix,dev_y_vector,family="binomial",type.measure="class")...
5007 просмотров
r glmnet lasso-regression roc
schedule 03.03.2024
Большая матрица для запуска glmnet()
У меня проблема с запуском glmnet lasso с широким набором данных. Мои данные имеют N = 50, но p> 49000, все факторы. Итак, чтобы запустить glmnet, мне нужно создать model.matrix, НО мне просто не хватает памяти, когда я вызываю model.matrix(формула,...
10368 просмотров
r glmnet lasso-regression model.matrix
schedule 05.06.2023
Почему я получаю некоторые отрицательные значения (предикторы) в качестве выходных данных регрессорных оценок (Lasso, Ridge, ElasticNet)
Для моей проблемы регрессии я использую GridSearchCV из scikit-learn, чтобы получить наилучшее альфа-значение и использую это альфа-значение в своей оценке (Lasso, Ridge, ElasticNet). Мои целевые значения в наборе обучающих данных не содержат...
1840 просмотров
machine-learning regression scikit-learn lasso-regression
schedule 12.11.2022
Лассо-регрессия, ни одна переменная не была удалена
Я выполняю лассо-регрессию в R для бинарной переменной ответа. Я использую cv.glmnet , чтобы найти лучшую лямбду, и использую glmnet , чтобы проверить коэффициенты для лучшей лямбды. При вызове обеих функций я указываю standardize =TRUE и...
989 просмотров
classification statistics lasso-regression
schedule 19.07.2022
LASSO с $ \ lambda = 0 $ и OLS дают разные результаты в R glmnet
Я ожидаю, что LASSO без штрафов ($ \ lambda = 0 $) даст такие же (или очень похожие) оценки коэффициентов, что и подгонка OLS. Однако я получаю разные оценки коэффициентов в R, помещая одни и те же данные (x, y) в glmnet(x, y , alpha=1,...
2839 просмотров
r lm lasso-regression least-squares
schedule 06.06.2024
Лассо-регрессия с Python: простой вопрос
Предположим, у меня есть таблица значений: df = pd.DataFrame({'Y1':[1, 2, 3, 4, 5, 6], 'X1':[1, 2, 3, 4, 5, 6], 'X2':[1, 1, 2, 1, 1, 1], 'X3':[6, 6, 6, 5, 6, 4], 'X4':[6, 5, 4, 3, 2, 1]}) Я хочу сделать простую регрессию Лассо,...
1184 просмотров
python pandas regression scikit-learn lasso-regression
schedule 30.06.2023
Недообучение, переоснащение, хорошее_обобщение
Итак, в рамках моего задания я применяю линейную регрессию и регрессию лассо, и вот вопрос 7. Основываясь на результатах ответа на вопрос 6, какое значение гаммы соответствует неподходящей модели (и имеет наихудшую точность тестового набора)?...
709 просмотров
python-3.x python linear-regression lasso-regression
schedule 22.03.2023
ошибка glmnet (nulldev == 0) stop(y постоянна; гауссовский glmnet не работает на этапе стандартизации)
Я запускаю следующий (усеченный) код, используя glmnet в R # do a lot of things to create the design matrix called x.design > glmnet(x.design, y, thresh=1e-11) где x.design — это матрица дизайна n x p , где n > p и y — это n x 1...
5420 просмотров
r glmnet regression linear-regression lasso-regression
schedule 15.06.2023
Как выполнить обратное преобразование прогнозов регрессии после конвейера?
Я пытаюсь выяснить, как масштабировать мои данные (предположительно, используя inverse_transform) для прогнозов, когда я использую конвейер. Приведенные ниже данные являются лишь примером. Мои фактические данные намного больше и сложнее, но я хочу...
1509 просмотров
python-3.x python machine-learning pipeline lasso-regression
schedule 19.03.2022
Сравнение регрессионных моделей по важности переменных
Я хотел бы сравнить модели (множественная регрессия, LASSO, Ridge, GBM) по важности переменных. Но я не уверен, верна ли процедура, потому что полученные значения не в одном масштабе. При множественной регрессии и GBM значения варьируются от 0 до...
148 просмотров
r r-caret linear-regression lasso-regression gbm
schedule 31.10.2022
Добавьте все взаимодействия между категориальными переменными в лассо в R
Я хочу добавить все возможные взаимодействия между восемью переменными, которые являются категориальными. Мой набор данных выглядит следующим образом: введите здесь описание изображения Я использую as.formula для включения всех взаимодействий....
120 просмотров
r interaction categorical-data lasso-regression
schedule 26.04.2023
Ошибка перекрестной проверки и регуляризации лассо для логистической регрессии
Я хочу создать 5-кратную модель логистической регрессии CV с регуляризацией лассо, но получаю это сообщение об ошибке: Something is wrong; all the RMSE metric values are missing: . Я начал с логистической регрессии с регуляризацией лассо,...
188 просмотров
r glmnet logistic-regression cross-validation lasso-regression
schedule 14.09.2023
Lasso Regression glmnet - ошибка входных данных
Я пытаюсь подогнать под модель регрессии Лассо с помощью glmnet (). Поскольку я никогда раньше не работал с регрессией Лассо, я пытался обойтись с учебными пособиями, но при применении модели всегда возникала следующая ошибка: Error in lognet(x,...
168 просмотров
r glmnet lasso-regression
schedule 19.09.2023
glmnet выдает ошибку при использовании предсказания
Кажется, у меня проблема с glmnet . Я хочу запустить обычную регрессию LASSO, чтобы понять, какая из 10 переменных ( Dim1 , Dim2 ...) больше всего способствует прогнозированию моей непрерывной переменной ptScores . Все переменные являются...
63 просмотров
r glmnet lasso-regression variable-selection
schedule 20.12.2022
Ошибка получения RMSE и R2 после обучения модели на тестовом наборе
У меня есть тренировочные данные (train.dat) и тестовые данные (test.dat). Я хотел бы запустить свою модель LASSO на тестовых данных после обучения ее на данных обучения, которые, похоже, прошли нормально. Оттуда я хотел бы получить RMSE и R2,...
36 просмотров
r r-caret lasso-regression
schedule 13.01.2024