pytorch로 A100 gpu 사용 시 퍼포먼스 향상을 위한 참고 사항

TF32란? 엔비디아 A100 GPU의 AI 성능이 달라진 이유는 | NVIDIA Blog 인공지능(AI)을 제대로 이용하기 위해서는 여타 모든 컴퓨팅에서 그렇듯 수학을 잘 활용해야 합니다. 딥 러닝은 새롭게 뜨고 있는 신생분야이기 때문에 훈련과 추론 단계에서 어떤 분야의 수학 blogs.nvidia.co.kr FP32, FP16등과 같은 데이터형태로, torch에서는 직접 데이터 형태로 정해주는 것이 아닌, backend 엔진의 설정으로 이루어짐. 아래 설명에 나와 있듯이, Torch 1.12 버전부터는 TF32형변환 적용이 기본 false이기 때문에 실행하는 스크립트에서 해당 필요한 아래 기능들을 True로 해줘야 한다 # The flag below controls whether to allow TF..