- Регрессия хребта максимального правдоподобия (arXiv)
Автор : Роберт Л. Обенчейн
Аннотация: Моя первая статья исключительно о гребневой регрессии была опубликована в Technometrics и выбрана для приглашенной презентации на Объединенном статистическом собрании 1975 года в Атланте. К сожалению, эта статья содержала множество разнообразных деталей и результатов. К счастью, обсуждение этой статьи, опубликованное Гэри Макдональдом, было сосредоточено главным образом на моем использовании оценки максимального правдоподобия в рамках теории нормального распределения. В этом обзоре некоторых результатов всех четырех моих публикаций о хребте за период с 1975 по 2022 год я выделяю результаты Максимального правдоподобия, которые кажутся наиболее важными для практического применения усадки в регрессии. △
2. Целевое выравнивание в регрессии усеченного гребня ядра (arXiv)
Автор: Араш А. Амини, Ричард Баумгартнер, Дай Фэн.
Аннотация: Регрессия гребня ядра (KRR) недавно привлекла к себе новый интерес из-за ее потенциала для объяснения переходных эффектов, таких как двойной спуск, которые возникают во время обучения нейронной сети. В этой работе мы изучаем, как согласование между целевой функцией и ядром влияет на производительность KRR. Мы сосредоточимся на усеченном KRR (TKRR), который использует дополнительный параметр, управляющий спектральным усечением матрицы ядра. Мы показываем, что для полиномиального выравнивания существует режим \emph{over-aligned}, в котором TKRR может достигать более высокой скорости, чем достигается при полном KRR. Скорость TKRR может улучшаться вплоть до параметрической скорости, в то время как скорость полного KRR ограничена неоптимальным значением. Это показывает, что целевое выравнивание можно лучше использовать, используя спектральное усечение в методах ядра. Мы также рассматриваем параметр выравнивания с ограниченным диапазоном и показываем, что поверхность регуляризации TKRR может демонстрировать переходные эффекты, включая множественный спуск и немонотонное поведение. Наши результаты показывают, что существует сильная и измеримая связь между формой \emph{спектра выравнивания} и эффективностью обобщения ядерных методов как с точки зрения скоростей, так и с конечными выборками.
