Большинство проблем машинного обучения сводятся к подгонке набора наблюдений (точек) к некоторой математической кривой (упрощенно называемой «моделью» на языке машинного обучения). Это дает сжатое представление , которое можно использовать для приложений, включая прогнозирование и распознавание образов. Процесс подбора обычно включает в себя минимизацию того, что называется функцией стоимости , которая представляет ошибку в выбранной кривой по отношению к наблюдаемым выборкам,..