전체 글
pytorch로 A100 gpu 사용 시 퍼포먼스 향상을 위한 참고 사항
TF32란? 엔비디아 A100 GPU의 AI 성능이 달라진 이유는 | NVIDIA Blog 인공지능(AI)을 제대로 이용하기 위해서는 여타 모든 컴퓨팅에서 그렇듯 수학을 잘 활용해야 합니다. 딥 러닝은 새롭게 뜨고 있는 신생분야이기 때문에 훈련과 추론 단계에서 어떤 분야의 수학 blogs.nvidia.co.kr FP32, FP16등과 같은 데이터형태로, torch에서는 직접 데이터 형태로 정해주는 것이 아닌, backend 엔진의 설정으로 이루어짐. 아래 설명에 나와 있듯이, Torch 1.12 버전부터는 TF32형변환 적용이 기본 false이기 때문에 실행하는 스크립트에서 해당 필요한 아래 기능들을 True로 해줘야 한다 # The flag below controls whether to allow TF..
오프라인 환경 Vim 플러그인 설치, python wheel 설치
VIM 플러그인 설치 인터넷 환경이 가능한 환경에서 플러그인 설치(우분투 기준) 【Ubuntu 18.04 LTS】VIM Plug-in 설치하기 VIM 플러그인 설치 방법에 대해서 포스팅하도록 하겠습니다. 기본 VIM을 사용하면 조금 불편합니다.. 그리고 개멋이 안 납니다.. 개 멋나게 꾸며서 IDE(Integrated Development Environment)와 같이 VIM을 꾸며 itlearningcenter.tistory.com 해당 플러그인들이 설치되고 나면 ~/ 경로 아래에 .vim, .viminfo, vimrc 3가지 폴더가 존재함 위 링크를 보고 설정한 파일들을 모두 tar로 압축 후, 옮긴 우분투 환경에서 압축을 풀어 ~/ 경로 아래로 옮기면 플러그인이 적용된 상태에서 사용 가능 파이썬 패..
2022년 돌아보기
시작하는 글 빈지노의 노래 ' If I die tomorrow ' 노래 2절에는 이런 가사가 있습니다 고개를 45도 기울여 담배 연기와 함께 품은 기억력 추억을 소리처럼 키우면 눈을 감아도 보이는 theater 시간은 유연하게 휘어져 과거로 스프링처럼 휘어져 아주 작고 작았던 미니어쳐 시절을 떠올리는 건 껌처럼 쉬워져 빨주노초 물감을 덜어 하얀색 종이 위를 총처럼 겨눴던 어린 화가의 경력은 뜬금없게도 힙합에 눈이 멀어 멈춰버렸지만 전혀 두렵지 않았어 cuz I didn`t give a fuck about 남의 시선, cuz life is like 나 홀로 걸어가는 터널 Bold체로 적힌 부분을 말하고자 앞 뒤를 다 적었네요. 뜬금없게도 인공지능에 눈이 멀어 10년 이상 직업군인으로 복무한 사람은 전역 전..
corrupted size vs. prev_size
폐쇄망 환경에서 cuda 및 torch를 설치 후, Transformers의 Trainer class를 활용해 학습을 진행할 때 발생하는 메세지로, C++ 관련 백엔드 부분에 문제가 생기는 것으로 보이는데, 아직 정확한 해결책은 찾지 못한 상황 참고해볼만한 링크들 https://discuss.pytorch.org/t/malloc-and-corrupted-size-errors/37080 Malloc, and corrupted size errors Hi. I’m using pytorch in multi gpu setting, and also with some multiprocessing for loading and preprocessing and quite often encountering these err..