TF32란?
엔비디아 A100 GPU의 AI 성능이 달라진 이유는 | NVIDIA Blog
인공지능(AI)을 제대로 이용하기 위해서는 여타 모든 컴퓨팅에서 그렇듯 수학을 잘 활용해야 합니다. 딥 러닝은 새롭게 뜨고 있는 신생분야이기 때문에 훈련과 추론 단계에서 어떤 분야의 수학
blogs.nvidia.co.kr
FP32, FP16등과 같은 데이터형태로, torch에서는 직접 데이터 형태로 정해주는 것이 아닌, backend 엔진의 설정으로 이루어짐.
아래 설명에 나와 있듯이, Torch 1.12 버전부터는 TF32형변환 적용이 기본 false이기 때문에 실행하는 스크립트에서 해당 필요한 아래 기능들을 True로 해줘야 한다
# The flag below controls whether to allow TF32 on matmul. This flag defaults to False
# in PyTorch 1.12 and later.
torch.backends.cuda.matmul.allow_tf32 = True
# The flag below controls whether to allow TF32 on cuDNN. This flag defaults to True.
torch.backends.cudnn.allow_tf32 = True
torch 해당 API에 대한 글은 아래에 자세히 나와있다.
CUDA semantics — PyTorch 1.13 documentation
CUDA semantics torch.cuda is used to set up and run CUDA operations. It keeps track of the currently selected GPU, and all CUDA tensors you allocate will by default be created on that device. The selected device can be changed with a torch.cuda.device cont
pytorch.org
성능 향상 정도는?
테스트 예정
반응형