Установка PyTorch совместно с CUDA

Смотреть материал на YouTube | RuTube

Это занятие мы с вами начнем с установки на локальный компьютер фреймворка PyTorch, который значительно облегчает построение и обучение самых разных нейронных сетей (НС). Но почему именно PyTorch? В действительности, на сегодняшний день, в этой области существуют два основных конкурирующих между собой фреймворка:

PyTorch и Tensorflow/Keras

Оба имеют довольно схожий функционал. Однако полагается, что использование PyTorch несколько проще для построения самых разнообразных архитектур НС, а также он обладает более удобным процессом отладки (debug) программного кода. По этим причинам PyTorch чаще используют в научных, исследовательских целях. В то время как Tensorflow/Keras больше зарекомендовал себя в коммерческих приложениях (в продакшене, production) благодаря, как правило, более высокой скорости обучения НС. Однако различия по скорости работы между этими двумя фреймворками не так существенны, а иногда и вовсе незаметны, чтобы отказываться от удобства PyTorch в пользу Tensorflow/Keras. Не зря по статистике PyTorch на сегодняшний день номер один в научных исследованиях. Мало того, изучив PyTorch, вы легко сможете перейти на Tensorflow/Keras и, наоборот.

Установка PyTorch

Фреймворком PyTorch можно воспользоваться в Google Colaboratory:

https://colab.google

Там все распространенные пакеты уже установлены, в том числе и PyTorch. Проверить это можно командами: 

import torch
 
print(torch.__version__)

Должна отобразиться версия пакета PyTorch и возможность поддержки GPU – графического процессора.

Но, конечно, лучше и удобнее установить этот фреймворк на свой локальный компьютер. Подробная инструкция, как это делается, приведена на странице официальной документации:

https://pytorch.org/get-started/locally/

Так как PyTorch использует свои версии стандартных пакетов, то его установку лучше выполнить в отдельное виртуальное окружение, например, с помощью команды:

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

если для возможности использования графического процессора фирмы Nvidia, либо командой:

pip3 install torch torchvision torchaudio

без использования GPU.

Видео по теме

Нейронная сеть - краткая история триумфа

#1. Структура и принцип работы полносвязных нейронных сетей

#2. Установка PyTorch совместно с CUDA

#3. Создание тензоров. Конвертирование в NumPy

#4. Тензоры. Автозаполнение, изменение формы

#5. Тензоры. Индексирование и срезы

#6. Тензоры. Базовые математические операции

#7. Тензоры. Тригонометрические и статистические функции

#8. Тензоры. Векторно-матричные операции

#9. Использование CPU и GPU на примере простой НС

#10. Персептрон - возможности классификации образов

#11. Идея обучения НС градиентным алгоритмом

#12. Алгоритм back propagation. Пример работы

#13. Функции активации и потерь в PyTorch

#14. Автоматическое дифференцирование

#15. Оптимизаторы. Реализация SGD на PyTorch

#16. Классы nn.Linear и nn.Module

#17. Форматы представления выборок. Сбалансированность и репрезентативность

#18. Классы Dataset и Dataloader

#19. Применение классов Dataset и Dataloader

#20. Классификация изображений цифр БД MNIST

#21. Трансформации transform Класс ImageFolder

#22. Сохранение и загрузка моделей. Функции torch.save() и torch.load()

#23. Переобучение (overfitting). Критерии останова обучения

#24. L2-регуляризатор и Dropout

#25. Алгоритм Batch Normalization

#26. Классы Sequential, ModuleList и ModuleDict

#27. Введение в сверточные нейронные сети CNN

#28. Классы Conv2d и MaxPool2d

#29. Пример реализации сверточной нейронной сети

#30. Сверточные нейронные сети VGG-16 и VGG-19

#31. Теория стилизации изображений (Neural Style Transfer)

#32. Делаем стилизацию изображений на PyTorch

#33. Остаточные нейронные сети (residual networks - ResNet)

#34. Архитектуры ResNet-18 и ResNet-50

#35. Использование ResNet моделей. Связь ResNet с Dropout и бустингом

#36. Transfer Learning (трансферное обучение)

#37. Архитектура сети U-Net. Семантическая сегментация изображений

#38. Реализация U-Net для семантической сегментации изображений

#39. Введение в рекуррентные нейронные сети

#40. Класс nn.RNN рекуррентного слоя

#41. Рекуррентная сеть для прогноза символов

#42. Понятие эмбеддинга. Embedding слов

#43. Прогноз слов рекуррентной нейронной сетью

#44. Функции активации в RNN. Двунаправленные (bidirectional) RNN-слои

#45. Двунаправленные RNN в PyTorch. Сентимент-анализ фраз

#46. LSTM - долгая краткосрочная память

#47. Рекуррентный блок GRU

#48. Введение в автоэнкодеры

#49. Вариационные автоэнкодеры (VAE)

#50. Реализация вариационного автоэнкодера (VAE)

#51. Генеративно-состязательные сети (GAN)

#52. Реализация GAN на PyTorch