Машинное обучение

Линейные модели. Градиентный алгоритм

  1. Что такое машинное обучение? Обучающая выборка и признаковое пространство
  2. Постановка задачи машинного обучения
  3. Линейная модель. Понятие переобучения
  4. Способы оценивания степени переобучения моделей
  5. Уравнение гиперплоскости в задачах бинарной классификации
  6. Решение простой задачи бинарной классификации
  7. Функции потерь в задачах линейной бинарной классификации
  8. Стохастический градиентный спуск SGD и алгоритм SAG
  9. Пример использования SGD при бинарной классификации образов
  10. Оптимизаторы градиентных алгоритмов: RMSProp, AdaDelta, Adam, Nadam
  11. L2-регуляризатор. Математическое обоснование и пример работы
  12. L1-регуляризатор. Отличия между L1- и L2-регуляризаторами

Вероятностный подход в ML

  1. Логистическая регрессия. Вероятностный взгляд на машинное обучение
  2. Вероятностный взгляд на L1 и L2-регуляризаторы
  3. Формула Байеса при решении конкретных задач
  4. Байесовский вывод. Наивная байесовская классификация
  5. Гауссовский байесовский классификатор
  6. Линейный дискриминант Фишера

SVM, PCA, показатели качества

  1. Введение в метод опорных векторов (SVM)
  2. Реализация метода опорных векторов (SVM)
  3. Метод опорных векторов (SVM) с нелинейными ядрами
  4. Вероятностная оценка качества моделей
  5. Показатели precision и recall. F-мера
  6. Метрики качества ранжирования. ROC-кривая
  7. Метод главных компонент (Principal Component Analysis)
  8. Сокращение размерности признакового пространства с помощью PCA
  9. Сингулярное разложение и его связь с PCA
  10. Многоклассовая классификация. Методы one-vs-all и all-vs-all

Метрические методы

  1. Метрические методы классификации. Метод k ближайших соседей
  2. Методы парзеновского окна и потенциальных функций
  3. Метрические регрессионные методы. Формула Надарая-Ватсона
  4. Задачи кластеризации. Постановка задачи
  5. Алгоритм кластеризации Ллойда (K-средних, K-means)
  6. Алгоритм кластеризации DBSCAN
  7. Агломеративная иерархическая кластеризация. Дендрограмма

Решающие деревья

  1. Логические методы классификации
  2. Критерии качества для построения решающих деревьев
  3. Построение решающих деревьев жадным алгоритмом ID3
  4. Усечение (prunning) дерева, обработка пропусков и категориальных признаков
  5. Решающие деревья в задачах регрессии. Алгоритм CART
  6. Случайные деревья и случайный лес. Бутстрэп и бэггинг

Бустинг и нейронные сети

  1. Введение в бустинг (boosting). Алгоритм AdaBoost при классификации
  2. Алгоритм AdaBoost в задачах регрессии
  3. Градиентный бустинг и стохастический градиентный бустинг
  4. Нейронные сети. Краткое введение в теорию
  5. Обучение нейронной сети. Алгоритм back propagation