Введение в нейронные сети

1. Структура и принцип работы полносвязных нейронных сетей
2. Персептрон - возможности классификации образов, задача XOR
3. Back propagation - алгоритм обучения по методу обратного распространения
4. Ускорение обучения, начальные веса, стандартизация, подготовка выборки
5. Переобучение - что это и как этого избежать, критерии останова обучения
6. Функции активации, критерии качества работы НС
7. Keras - установка и первое знакомство
8. Keras - обучение сети распознаванию рукописных цифр
9. Как нейронная сеть распознает цифры
10. Оптимизаторы в Keras, формирование выборки валидации
11. Dropout - метод борьбы с переобучением нейронной сети
12. Batch Normalization (батч-нормализация) что это такое?

Сверточные нейронные сети

1. Как работают сверточные нейронные сети
2. Делаем сверточную нейронную сеть в Keras
3. Примеры архитектур сверточных сетей VGG-16 и VGG-19
4. Теория стилизации изображений (Neural Style Transfer)
5. Делаем перенос стилей изображений с помощью Keras и Tensorflow
6. Как нейронная сеть раскрашивает изображения

Рекуррентные нейронные сети

1. Введение в рекуррентные нейронные сети
2. Как рекуррентная нейронная сеть прогнозирует символы
3. Делаем прогноз слов рекуррентной сетью Embedding слой
4. Как работают RNN. Глубокие рекуррентные нейросети
5. LSTM - долгая краткосрочная память
6. Как делать сентимент-анализ рекуррентной LSTM сетью
7. Рекуррентные блоки GRU. Пример их реализации в задаче сентимент-анализа
8. Двунаправленные (bidirectional) рекуррентные нейронные сети

Дополнительно

1. Автоэнкодеры. Что это и как работают
2. Вариационные автоэнкодеры (VAE). Что это такое?
3. Делаем вариационный автоэнкодер (VAE) в Keras
4. Расширенный вариационный автоэнкодер (CVAE)
5. Что такое генеративно-состязательные сети (GAN)
6. Делаем генеративно-состязательную сеть в Keras и Tensorflow

Введение во фракталы и L-системы

1. Кривая Коха и снежинка Коха
2. Рисуем кривую Коха и снежинку Коха
3. Простая L-система на плоскости
4. L-система для дракона Хартера-Хайтвея, ковра Серпинского и кривой Гильберта
5. L-система с ветвлениями. Рисуем деревья и травы
6. Добавляем параметры в L-систему
7. Добавляем случайности в L-систему
8. Добавляем цвет в L-систему

СИФ, множества Жюлиа и Мандельброта

1. Как вычисляется фрактальная размерность по Хаусдорфу
2. Системы итерированных функций СИФ
3. Рандомизированная система итерированных функций
4. Примеры фракталов, сгенерированных СИФ
5. Как построить множества Жюлиа
6. Рисуем множество Мандельброта

Основы работы

1. Основные этапы работы генетического алгоритма
2. Делаем генетический алгоритм для задачи OneMax
3. DEAP - пакет для создания генетических алгоритмов
4. Как генетический алгоритм находит решения
5. Обзор методов отбора, скрещивания и мутации

Примеры реализаций

1. Поиск минимальных маршрутов в графе
2. Делаем элитизм. Жесткие и мягкие ограничения
3. Расставляем корабли в игре Морской бой
4. Пример поиска минимума функции
5. Обучение с подкреплением или как загнать машину на гору
6. Не дай шесту упасть или как нейросеть держит баланс

Введение в Tensorflow

1. Что такое Tensorflow? Примеры применения. Установка
2. Тензоры tf.constant и tf.Variable. Индексирование и изменение формы
3. Математические операции и функции над тензорами
4. Реализация автоматического дифференцирования. Объект GradientTape
5. Строим градиентные алгоритмы оптимизации Adam, RMSProp, Adagrad, Adadelta
6. Делаем модель с помощью класса tf.Module. Пример обучения простой нейросети
7. Делаем модель нейросети для распознавания рукописных цифр
8. Декоратор tf.function для ускорения выполнения функций

Введение в Keras

1. Введение в модели и слои бэкэнда Keras
2. Keras - последовательная модель Sequential
3. Keras - введение в функциональное API
4. ResNet - революция глубокого обучения. Исчезающие и взрывающиеся градиенты
5. Создаем ResNet подобную архитектуру для классификации изображений CIFAR-10
6. Тонкая настройка и контроль процесса обучения через метод fit()
7. Тонкая настройка обучения моделей через метод compile()
8. Способы сохранения и загрузки моделей в Keras

Линейные модели. Градиентный алгоритм

1. Что такое машинное обучение? Обучающая выборка и признаковое пространство
2. Постановка задачи машинного обучения
3. Линейная модель. Понятие переобучения
4. Способы оценивания степени переобучения моделей
5. Уравнение гиперплоскости в задачах бинарной классификации
6. Решение простой задачи бинарной классификации
7. Функции потерь в задачах линейной бинарной классификации
8. Стохастический градиентный спуск SGD и алгоритм SAG
9. Пример использования SGD при бинарной классификации образов
10. Оптимизаторы градиентных алгоритмов: RMSProp, AdaDelta, Adam, Nadam
11. L2-регуляризатор. Математическое обоснование и пример работы
12. L1-регуляризатор. Отличия между L1- и L2-регуляризаторами

Вероятностный подход в ML

1. Логистическая регрессия. Вероятностный взгляд на машинное обучение
2. Вероятностный взгляд на L1 и L2-регуляризаторы
3. Формула Байеса при решении конкретных задач
4. Байесовский вывод. Наивная байесовская классификация
5. Гауссовский байесовский классификатор
6. Линейный дискриминант Фишера

SVM, PCA, показатели качества

1. Введение в метод опорных векторов (SVM)
2. Реализация метода опорных векторов (SVM)
3. Метод опорных векторов (SVM) с нелинейными ядрами
4. Вероятностная оценка качества моделей
5. Показатели precision и recall. F-мера
6. Метрики качества ранжирования. ROC-кривая
7. Метод главных компонент (Principal Component Analysis)
8. Сокращение размерности признакового пространства с помощью PCA
9. Сингулярное разложение и его связь с PCA
10. Многоклассовая классификация. Методы one-vs-all и all-vs-all

Метрические методы

1. Метрические методы классификации. Метод k ближайших соседей
2. Методы парзеновского окна и потенциальных функций
3. Метрические регрессионные методы. Формула Надарая-Ватсона
4. Задачи кластеризации. Постановка задачи
5. Алгоритм кластеризации Ллойда (K-средних, K-means)
6. Алгоритм кластеризации DBSCAN
7. Агломеративная иерархическая кластеризация. Дендрограмма

Решающие деревья

1. Логические методы классификации
2. Критерии качества для построения решающих деревьев
3. Построение решающих деревьев жадным алгоритмом ID3
4. Усечение (prunning) дерева, обработка пропусков и категориальных признаков
5. Решающие деревья в задачах регрессии. Алгоритм CART
6. Случайные деревья и случайный лес. Бутстрэп и бэггинг

Бустинг и нейронные сети

1. Введение в бустинг (boosting). Алгоритм AdaBoost при классификации
2. Алгоритм AdaBoost в задачах регрессии
3. Градиентный бустинг и стохастический градиентный бустинг
4. Нейронные сети. Краткое введение в теорию
5. Обучение нейронной сети. Алгоритм back propagation

Введение в нейронные сети

1. Структура и принцип работы полносвязных нейронных сетей
2. Установка PyTorch совместно с CUDA
3. Создание тензоров. Конвертирование в NumPy
4. Тензоры. Автозаполнение, изменение формы
5. Тензоры. Индексирование и срезы
6. Тензоры. Базовые математические операции
7. Тензоры. Тригонометрические и статистические функции
8. Тензоры. Векторно-матричные операции
9. Использование CPU и GPU на примере простой НС
10. Персептрон - возможности классификации образов

Обучение нейронных сетей. Переобучение

1. Идея обучения НС градиентным алгоритмом
2. Алгоритм back propagation. Пример работы
3. Функции активации и потерь в PyTorch
4. Автоматическое дифференцирование
5. Оптимизаторы. Реализация SGD на PyTorch
6. Классы nn.Linear и nn.Module
7. Форматы представления выборок. Сбалансированность и репрезентативность
8. Классы Dataset и Dataloader
9. Применение классов Dataset и Dataloader
10. Классификация изображений цифр БД MNIST
11. Трансформации transform. Класс ImageFolder
12. Сохранение и загрузка моделей. Функции torch.save() и torch.load()
13. Переобучение (overfitting). Критерии останова обучения
14. L2-регуляризатор и Dropout
15. Алгоритм Batch Normalization
16. Классы Sequential, ModuleList и ModuleDict

Сверточные нейронные сети

1. Введение в сверточные нейронные сети CNN
2. Классы Conv2d и MaxPool2d
3. Пример реализации сверточной нейронной сети
4. Сверточные нейронные сети VGG-16 и VGG-19
5. Теория стилизации изображений (Neural Style Transfer)
6. Делаем стилизацию изображений на PyTorch
7. Остаточные нейронные сети (residual networks - ResNet)
8. Архитектуры ResNet-18 и ResNet-50
9. Использование ResNet моделей. Связь ResNet с Dropout и бустингом
10. Transfer Learning (трансферное обучение)
11. Архитектура сети U-Net. Семантическая сегментация изображений
12. Реализация U-Net для семантической сегментации изображений

Рекуррентные нейронные сети

1. Введение в рекуррентные нейронные сети
2. Класс nn.RNN рекуррентного слоя
3. Рекуррентная сеть для прогноза символов
4. Понятие эмбеддинга. Embedding слов
5. Прогноз слов рекуррентной нейронной сетью
6. Функции активации в RNN. Двунаправленные (bidirectional) RNN-слои
7. Двунаправленные RNN в PyTorch. Сентимент-анализ фраз
8. LSTM - долгая краткосрочная память
9. Рекуррентный блок GRU

Автоэнкодеры. Генеративные сети

1. Введение в автоэнкодеры
2. Вариационные автоэнкодеры (VAE)
3. Реализация вариационного автоэнкодера (VAE)
4. Генеративно-состязательные сети (GAN)
5. Реализация GAN на PyTorch