Введение в нейронные сети

1. Структура и принцип работы полносвязных нейронных сетей
2. Персептрон - возможности классификации образов, задача XOR
3. Back propagation - алгоритм обучения по методу обратного распространения
4. Ускорение обучения, начальные веса, стандартизация, подготовка выборки
5. Переобучение - что это и как этого избежать, критерии останова обучения
6. Функции активации, критерии качества работы НС
7. Keras - установка и первое знакомство
8. Keras - обучение сети распознаванию рукописных цифр
9. Как нейронная сеть распознает цифры
10. Оптимизаторы в Keras, формирование выборки валидации
11. Dropout - метод борьбы с переобучением нейронной сети
12. Batch Normalization (батч-нормализация) что это такое?

Сверточные нейронные сети

1. Как работают сверточные нейронные сети
2. Делаем сверточную нейронную сеть в Keras
3. Примеры архитектур сверточных сетей VGG-16 и VGG-19
4. Теория стилизации изображений (Neural Style Transfer)
5. Делаем перенос стилей изображений с помощью Keras и Tensorflow
6. Как нейронная сеть раскрашивает изображения

Рекуррентные нейронные сети

1. Введение в рекуррентные нейронные сети
2. Как рекуррентная нейронная сеть прогнозирует символы
3. Делаем прогноз слов рекуррентной сетью Embedding слой
4. Как работают RNN. Глубокие рекуррентные нейросети
5. LSTM - долгая краткосрочная память
6. Как делать сентимент-анализ рекуррентной LSTM сетью
7. Рекуррентные блоки GRU. Пример их реализации в задаче сентимент-анализа
8. Двунаправленные (bidirectional) рекуррентные нейронные сети

Дополнительно

1. Автоэнкодеры. Что это и как работают
2. Вариационные автоэнкодеры (VAE). Что это такое?
3. Делаем вариационный автоэнкодер (VAE) в Keras
4. Расширенный вариационный автоэнкодер (CVAE)
5. Что такое генеративно-состязательные сети (GAN)
6. Делаем генеративно-состязательную сеть в Keras и Tensorflow

Цифровая обработка сигналов

1. Метод наименьших квадратов
2. Метод градиентного спуска
3. Метод градиентного спуска для двух параметров
4. Марковские процессы в дискретном времени
5. Фильтр Калмана дискретного времени
6. Фильтр Калмана для авторегрессионого уравнения
7. Векторный фильтр Калмана
8. Фильтр Винера
9. Байесовское построение оценок, метод максимального правдоподобия
10. Байесовский классификатор, отношение правдоподобия

Введение во фракталы и L-системы

1. Кривая Коха и снежинка Коха
2. Рисуем кривую Коха и снежинку Коха
3. Простая L-система на плоскости
4. L-система для дракона Хартера-Хайтвея, ковра Серпинского и кривой Гильберта
5. L-система с ветвлениями. Рисуем деревья и травы
6. Добавляем параметры в L-систему
7. Добавляем случайности в L-систему
8. Добавляем цвет в L-систему

СИФ, множества Жюлиа и Мандельброта

1. Как вычисляется фрактальная размерность по Хаусдорфу
2. Системы итерированных функций СИФ
3. Рандомизированная система итерированных функций
4. Примеры фракталов, сгенерированных СИФ
5. Как построить множества Жюлиа
6. Рисуем множество Мандельброта

Основы работы

1. Основные этапы работы генетического алгоритма
2. Делаем генетический алгоритм для задачи OneMax
3. DEAP - пакет для создания генетических алгоритмов
4. Как генетический алгоритм находит решения
5. Обзор методов отбора, скрещивания и мутации

Примеры реализаций

1. Поиск минимальных маршрутов в графе
2. Делаем элитизм. Жесткие и мягкие ограничения
3. Расставляем корабли в игре Морской бой
4. Пример поиска минимума функции
5. Обучение с подкреплением или как загнать машину на гору
6. Не дай шесту упасть или как нейросеть держит баланс

Введение в Tensorflow

1. Что такое Tensorflow? Примеры применения. Установка
2. Тензоры tf.constant и tf.Variable. Индексирование и изменение формы
3. Математические операции и функции над тензорами
4. Реализация автоматического дифференцирования. Объект GradientTape
5. Строим градиентные алгоритмы оптимизации Adam, RMSProp, Adagrad, Adadelta
6. Делаем модель с помощью класса tf.Module. Пример обучения простой нейросети
7. Делаем модель нейросети для распознавания рукописных цифр
8. Декоратор tf.function для ускорения выполнения функций

Введение в Keras

1. Введение в модели и слои бэкэнда Keras
2. Keras - последовательная модель Sequential
3. Keras - введение в функциональное API
4. ResNet - революция глубокого обучения. Исчезающие и взрывающиеся градиенты
5. Создаем ResNet подобную архитектуру для классификации изображений CIFAR-10
6. Тонкая настройка и контроль процесса обучения через метод fit()
7. Тонкая настройка обучения моделей через метод compile()
8. Способы сохранения и загрузки моделей в Keras

Линейные модели. Градиентный алгоритм

1. Что такое машинное обучение? Обучающая выборка и признаковое пространство
2. Постановка задачи машинного обучения
3. Линейная модель. Понятие переобучения
4. Способы оценивания степени переобучения моделей
5. Уравнение гиперплоскости в задачах бинарной классификации
6. Решение простой задачи бинарной классификации
7. Функции потерь в задачах линейной бинарной классификации
8. Стохастический градиентный спуск SGD и алгоритм SAG
9. Пример использования SGD при бинарной классификации образов
10. Оптимизаторы градиентных алгоритмов: RMSProp, AdaDelta, Adam, Nadam
11. L2-регуляризатор. Математическое обоснование и пример работы
12. L1-регуляризатор. Отличия между L1- и L2-регуляризаторами

Вероятностный подход в ML

1. Логистическая регрессия. Вероятностный взгляд на машинное обучение
2. Вероятностный взгляд на L1 и L2-регуляризаторы
3. Формула Байеса при решении конкретных задач
4. Байесовский вывод. Наивная байесовская классификация
5. Гауссовский байесовский классификатор
6. Линейный дискриминант Фишера

SVM, PCA, показатели качества

1. Введение в метод опорных векторов (SVM)
2. Реализация метода опорных векторов (SVM)
3. Метод опорных векторов (SVM) с нелинейными ядрами
4. Вероятностная оценка качества моделей
5. Показатели precision и recall. F-мера
6. Метрики качества ранжирования. ROC-кривая
7. Метод главных компонент (Principal Component Analysis)
8. Сокращение размерности признакового пространства с помощью PCA
9. Сингулярное разложение и его связь с PCA
10. Многоклассовая классификация. Методы one-vs-all и all-vs-all

Метрические методы

1. Метрические методы классификации. Метод k ближайших соседей
2. Методы парзеновского окна и потенциальных функций
3. Метрические регрессионные методы. Формула Надарая-Ватсона
4. Задачи кластеризации. Постановка задачи
5. Алгоритм кластеризации Ллойда (K-средних, K-means)
6. Алгоритм кластеризации DBSCAN
7. Агломеративная иерархическая кластеризация. Дендограмма

Решающие деревья

1. Логические методы классификации
2. Критерии качества для построения решающих деревьев
3. Построение решающих деревьев жадным алгоритмом ID3
4. Усечение (prunning) дерева, обработка пропусков и категориальных признаков
5. Решающие деревья в задачах регрессии. Алгоритм CART
6. Случайные деревья и случайный лес. Бутстрэп и бэггинг

Бустинг и нейронные сети

1. Введение в бустинг (boosting). Алгоритм AdaBoost при классификации
2. Алгоритм AdaBoost в задачах регрессии
3. Градиентный бустинг и стохастический градиентный бустинг
4. Нейронные сети. Краткое введение в теорию
5. Обучение нейронной сети. Алгоритм back propagation