Нейросети на PyTorch

Введение в нейронные сети

  1. Структура и принцип работы полносвязных нейронных сетей
  2. Установка PyTorch совместно с CUDA
  3. Создание тензоров. Конвертирование в NumPy
  4. Тензоры. Автозаполнение, изменение формы
  5. Тензоры. Индексирование и срезы
  6. Тензоры. Базовые математические операции
  7. Тензоры. Тригонометрические и статистические функции
  8. Тензоры. Векторно-матричные операции
  9. Использование CPU и GPU на примере простой НС
  10. Персептрон - возможности классификации образов

Обучение нейронных сетей. Переобучение

  1. Идея обучения НС градиентным алгоритмом
  2. Алгоритм back propagation. Пример работы
  3. Функции активации и потерь в PyTorch
  4. Автоматическое дифференцирование
  5. Оптимизаторы. Реализация SGD на PyTorch
  6. Классы nn.Linear и nn.Module
  7. Форматы представления выборок. Сбалансированность и репрезентативность
  8. Классы Dataset и Dataloader
  9. Применение классов Dataset и Dataloader
  10. Классификация изображений цифр БД MNIST
  11. Трансформации transform. Класс ImageFolder
  12. Сохранение и загрузка моделей. Функции torch.save() и torch.load()
  13. Переобучение (overfitting). Критерии останова обучения
  14. L2-регуляризатор и Dropout
  15. Алгоритм Batch Normalization
  16. Классы Sequential, ModuleList и ModuleDict

Сверточные нейронные сети

  1. Введение в сверточные нейронные сети CNN
  2. Классы Conv2d и MaxPool2d
  3. Пример реализации сверточной нейронной сети
  4. Сверточные нейронные сети VGG-16 и VGG-19
  5. Теория стилизации изображений (Neural Style Transfer)
  6. Делаем стилизацию изображений на PyTorch
  7. Остаточные нейронные сети (residual networks - ResNet)
  8. Архитектуры ResNet-18 и ResNet-50
  9. Использование ResNet моделей. Связь ResNet с Dropout и бустингом
  10. Transfer Learning (трансферное обучение)
  11. Архитектура сети U-Net. Семантическая сегментация изображений
  12. Реализация U-Net для семантической сегментации изображений

Рекуррентные нейронные сети

  1. Введение в рекуррентные нейронные сети
  2. Класс nn.RNN рекуррентного слоя
  3. Рекуррентная сеть для прогноза символов
  4. Понятие эмбеддинга. Embedding слов
  5. Прогноз слов рекуррентной нейронной сетью
  6. Функции активации в RNN. Двунаправленные (bidirectional) RNN-слои
  7. Двунаправленные RNN в PyTorch. Сентимент-анализ фраз
  8. LSTM - долгая краткосрочная память
  9. Рекуррентный блок GRU

Автоэнкодеры. Генеративные сети

  1. Введение в автоэнкодеры
  2. Вариационные автоэнкодеры (VAE)
  3. Реализация вариационного автоэнкодера (VAE)
  4. Генеративно-состязательные сети (GAN)
  5. Реализация GAN на PyTorch