|
Линейная модель. Понятие переобученияНа предыдущем занятии мы увидели, что задачи машинного обучения – это задачи оптимизации, в частности минимизации эмпирического риска:
зависящего, в
общем виде, от модели
Здесь В случае
параметрических моделей
После обучения
мы принимаем Вот так математически можно кратко записать то, о чем мы говорили на предыдущем занятии. Давайте снова вернемся к нашему простейшему примеру – методу наименьших квадратов. Здесь у нас данные формируются по закону:
где
Неизвестные
параметры
если выбрать: В общем случае любую линейную модель можно представить в виде следующей суммы:
Почему такая
модель считается линейной? Если мы перейдем в пространство признаков
Такие модели достаточно просты, хорошо изучены и нередко приводят к приемлемым результатам. Мы с вами вначале подробно изучим работу этих моделей. Давайте для примера рассмотрим задачу линейной регрессии, в которой будем строить аппроксимацию эмпирических данных, сформированных по правилу:
Строго говоря,
мы здесь имеем одномерную величину
то, как вы
понимаете, мы очень грубо будем описывать изменения представленных (на графике)
точек. Здесь явно нелинейная зависимость
Причем, преобразования, как правило, выбираются так, чтобы признаки были линейно независимыми. Иначе, один признак просто сведется к другому. Например, пара преобразований:
это, фактически, один и тот же признак, т.к. значение +5 с успехом может быть добавлено признаком
Вот на это следует обращать внимание при формировании нового признакового пространства – оно должно быть информативным, а не просто дублировать данные. Итак, расширение пространства признаков с помощью функциональных преобразований – это нормальная практика. В результате, наша линейная модель будет вычислять выходные значения в виде полинома:
где
Увеличивая порядок полинома, мы все точнее и точнее будем описывать экспериментальные зависимости. Казалось бы, мы с вами только что нашли универсальное решения для задачи регрессии (да и классификацию тоже можно делать по этому принципу)? Берем полином сколь угодно большой степени и описываем им эмпирические данные с нужной точностью. Но, увы, природа так просто не сдает своих позиций и в полиномах с высокими степенями кроется один неприятный момент. Давайте возьмем функцию вида:
И будем ее приближать полиномом степени n = 54. Но коэффициенты полинома будем вычислять только по половине всех точек, взятых через отсчет. Тогда в другой половине точек полученная модель
будет строить прогноз. На рисунке ниже
красными точками показаны значения функции, участвующие в расчетах параметров
Как видите, при
больших значениях А вот с полиномами меньших степеней таких проблем, как правило, нет. Я приведу еще один график, где покажу, как меняется значение эмпирического риска для двух моделей:
В результате, имеем два выражения для эмпирических рисков:
и их графики при
разных степенях полиномов
Здесь синий
график – это С точки зрения машинного
обучения – это яркий пример эффекта переобучения (overfitting). То есть,
переобучение – это несоответствие найденной модели Надо сказать,
что абсолютно любая модель Видео по теме |
и
вида функции потерь 
.
То есть, нам нужно выбрать такую модель, чтобы функционал принимал наименьшее
значение на обучающей выборке. Математически это можно записать так:
- найденная
модель на этапе обучения по всем возможным моделям 
; argmin – определяет
значение аргумента, при котором функция принимает наименьшее значение.
это
выражение может быть записано относительно вектора параметров 
:
и
используем найденную зависимость в продакшене (при практической реализации).
- по
прежнему гауссовский шум с нулевым средним. Для такой задачи оптимальная модель
имеет вид линейной функции:
я
обозначил с крышечкой, что означает, что мы не можем их точно определить
(всегда будет погрешность, неточность). Так вот, эту же модель можно записать и
в таком виде:
и 
. Модели,
которые представляют собой линейную комбинацию признаков с некоторыми
настраиваемыми параметрами (весами), называются линейными.
, то
в нем модель 
:
, по
которой нужно спрогнозировать выходное значение 
. То
есть, исходные измерения – это 
, а целевые
выходные – это 
.
Однако, если строить линейную модель по одному признаку 
- вектор
весовых коэффициентов, которые определяются по входным эмпирическим данным
(обучающей выборке). То есть, для каждого 
мы
будем вычислять 
),
то получим аппроксимацию точек линейной функцией:
, а
зелеными – точки, в которых строится прогноз по полученной модели.
- вычисленная
по всем точкам функции 
-
вычисленная по половине точек, взятых через отсчет.
:
, а
красный - 
. Хорошо
видно, что сначала увеличение степени полиномов приводит к улучшению степени
аппроксимации функции, а затем, при больших степенях синий график резко
возрастает и расходится с красным. Это, как раз, связано с непредсказуемостью
поведения полиномов с большими степенями и ухудшением их предсказательной
способности.
той
же природы, что и в обучающей выборке. А это именно то, что мы хотим от нашей
модели – применять ее для новых наблюдений и получать корректные результаты. То
есть, здесь важно не просто провести функцию по эмпирическим зависимостям, а
выделить их модель, закон природы. В этом и заключается главная задача
машинного обучения.
