Pytorch 분산학습 코드를 짜보자: Distributed Training

GPU를 여러개 사용한다면, 분산학습은 피할 수 없는 숙명이다.

이를 위해 다음 모듈들을 적용하여 코드를 짜야한다.

•

DataParallel

•

Custom DataParallel

•

Distributed DataParallel

•

Nvidia Apex

이에 대해 명쾌하게 설명한 포스트가 있어 남겨놓는다.

🔥PyTorch Multi-GPU 학습 제대로 하기

딥러닝은 기본적으로 GPU 에서 학습을 합니다. Deep Neural Network는 기본적으로 매트릭스 연산을 하기 때문에 GPU를 사용할 경우 연산처리 속도가 상당히 빨라집니다. 딥러닝이 발전함에 따라 점점 네트워크의 크기도 커졌습니다. 비전 분야에서 Neural Network를 깊게 쌓는 방식이 성공하면서부터 그 이후의 딥러닝 연구에서는 대부분 큰...

https://medium.com/daangn/pytorch-multi-gpu-%ED%95%99%EC%8A%B5-%EC%A0%9C%EB%8C%80%EB%A1%9C-%ED%95%98%EA%B8%B0-27270617936b

[U stage DAY 14] pytorch (4) - multi GPU, hyperparameter tuning, trouble shooting

single vs multi GPU vs Node node: 1대의 컴퓨터 single Node Single GPU 한대의 컴퓨터에 한대의 GPU single Node Multi GPU 한대의 컴퓨터에 여러대의 GPU Multi Node Multi GPU 여러개의 컴퓨터에 여러대의 GPU (ex.

https://velog.io/@dust_potato/U-stage-DAY-14-pytorch-4-multi-GPU-hyperparameter-tuning-trouble-shooting