|
Постановка задачи машинного обученияПрактический курс по ML: https://stepik.org/course/209247/ Здравствуйте,
дорогие друзья! Мы продолжаем курс по машинному
обучению. На предыдущем занятии мы ввели понятие обучающей выборки
имеем неизменные
исходные данные измерений Получается, что
идеальный алгоритм должен уметь отображать входы
Причем, функциональная в широком смысле слова – это может быть любой алгоритм, связывающий вход с выходом. Но мы эту взаимосвязь не знаем. Целью обучения, как раз и является найти такую модель, решающую функцию (decision function), которая бы приближала ответы
к требуемым Конечно, в таком
виде совершенно непонятно, как ее решать, как искать правило преобразования Как можно ее
решить? Наверное, одним из самых простых подходов (и наиболее часто
используемых), представить функционал
с настраиваемым
набором параметров Чтобы все это было понятнее, давайте рассмотрим классический пример такой задачи – линейную регрессию, когда входы и выходы имеют ярко выраженную функциональную зависимость вида:
(здесь
В результате, мы
имеем вектор параметров Вот принцип параметрической оптимизации, который расширяется на произвольные функциональные зависимости выходов от входов. Этап обученияХорошо, решающая
функция
Но сама по себе ошибка в качестве оптимизируемой величины не очень удобна, т.к. в точке минимума (нуля) она не образует точки экстремума. Математически было бы лучше использовать функцию, которая бы возрастала с увеличением ошибки и убывала бы с ее уменьшением. Например, можно выбрать, следующие:
Подобные функции
получили название функций потерь Однако, сама по
себе функция потерь – это случайная величина, которая зависит от алгоритма
(Здесь Например, если вернуться к нашей задаче линейной регрессии и в качестве функции потерь выбрать квадрат ошибки, то получим функционал качества в виде:
В данном случае
параметры
Это известная задача под названием метод наименьших квадратов (МНК) и я ее подробно рассматривал в одном из видео: Если вы с ним не знакомы, то советую посмотреть этот материал. Итак, резюмируя материал этого занятия, можно отметить следующие четыре пункта:
Эти четыре этапа представляют собой общий принцип, лежащий в основе всех алгоритмов машинного обучения. Практический курс по ML: https://stepik.org/course/209247/ Видео по теме |
и
признакового пространства в виде матрицы 
.
Будем полагать, что набор этих признаков и подается на вход алгоритмов. Причем,
в частном случае, когда
.
.
На уровне математики это можно записать через функциональную зависимость между
входами и выходами:
на
всем множестве возможных входных данных X (не только для
обучающей выборки, но для всех возможных наблюдений той же природы). Это и есть
общая постановка задачи машинного обучения.
? Необходима
конкретизация. По сути, весь курс машинного обучения – это и есть различные
вариации решения поставленной задачи.
в
виде некоторой выбранной нами параметрической функции:
.
То есть, мы сводим задачу обучения к поиску неизвестных параметров 
может
быть сколь угодно сложным (в математическом смысле) и в общем случае состоять
из композиции других, более простых функций. То есть, вид функции 
-
гауссовский (нормальный) шум с нулевым средним и некоторой небольшой дисперсией).
Так как мы не можем прогнозировать случайные отклонения, то самое разумное
описать модель данных в виде линейной функции с двумя неизвестными параметрами 
:
,
которые определяют конкретный наклон и сдвиг линейной функции. То есть,
исходная функция 
описывает
весь класс прямых, а при конкретных 
обучающей
выборки? Очевидно, они должны быть подобраны так, чтобы уменьшить ошибки между
заданными выходами 
и
теми, которые получаются в нашей модели 
- абсолютная ошибка;
- квадратичная
ошибка.
(loss function), которые,
фактически, вычисляет меру потерь (несоответствия) между нашей моделью и
обучающей выборкой. Конечно, таких функций огромное количество и с некоторыми
из них мы будем знакомиться по мере прохождения этого курса.
.
Поэтому оптимизировать одно какое-то конкретное значение функции потерь –
неправильно. Нужно сделать так, чтобы на всем обучающем множестве, в среднем, ошибка
была бы минимальна. В результате мы приходим к понятию среднего
эмпирического риска:
- обучающее
множество). Фактически, это и есть показатель качества, который нужно
минимизировать, подбирая значения вектора параметров 
легко
вычисляются из решения следующей системы линейных уравнений:
и
целевых выходных значений 
.
Минимизируя этот показатель качества, получаем набор параметров 
при
предъявлении нового входного вектора 
той
же природы, что и при обучении.
