23년 이전 글/TPU
Huggingface Trainer로 TPU Multicore 활용 학습 예제코드
from datasets import load_dataset from transformers import AutoTokenizer, DataCollatorWithPadding from transformers import TrainingArguments, AutoModelForSequenceClassification from transformers import Trainer def main(index): # 예제로 활용할 데이터셋 raw_datasets = load_dataset('glue','mrpc') # 예제 활용 모델 model_name = 'klue/roberta-large' tokenizer = AutoTokenizer.from_pretrained(model_name) #raw_dataset은 ..
TPU 자원 할당을 위한 간단한 스크립트
TPU 자원이 모두 사용중이면 보게 되는 에러 입니다 최근 TPU 자원 활용도가 많아지면서 자원을 빌리기도 어려워지고 있네요 손으로 하기가 아파서 새로운 방법을 찾아봤습니다 1. 매번 실행할 sh 파일 만들기 아래 파일은 하나의 sh 파일에 저장하고 쓰면 됩니다 export PROJECT_ID=[프로젝트 ID 명으로 변경] - PROJECT ID를 변수에 할당 gcloud config set project ${PROJECT_ID} - PROJECT ID를 활용해서 config 설정 gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID - tpu 서비스 계정 값을 받을 수 있음 gcloud compute..
TPU-starter 프로젝트 소개
TPU starter 프로젝트? TPU는 일반적으로 직접 물건을 접할 수 없기 때문에 접근하기 어렵고, 그 존재조차 모르는 사람이 많습니다. 효용에 비해서 상대적으로 덜 알려져 있고, 정보도 많이 부족합니다. 이러한 부분을 해결하고자, tpu-starter-pack 프로젝트를 진행하는 사람이 있었고, 한국어로 번역하는 부분을 원작자의 허락을 맡아 진행했습니다. 깃허브를 참고하시고 어렵거나 필요한 내용이 있으면 알려주시면 반영하도록 할게요 https://github.com/dlfrnaos19/tpu-starter-korean GitHub - dlfrnaos19/tpu-starter-korean Contribute to dlfrnaos19/tpu-starter-korean development by crea..
TPU-VM Colab처럼 활용하기
이 글을 읽기전에, 아래의 세팅을 해두고 오셔야 내용이 이어집니다 Cloud TPU-VM에 VSCODE로 SSH 접속하기 TRC(TPU Research Cloud) TRC에 지원하면, 구글에서 경우에 따라 한달, 또는 두달 등의 TPU 무료 사용을 허가해줌 그러면 다음에 해당하는 자원을 마음껏 사용할 수 있음 us-central1-f 영역의 선점형 Cloud TPU. okdone.tistory.com 1. VSCODE Workspace 열기 폴더 열기를 눌러서, VSCODE Workspace 환경을 생성 확인 버튼 클릭 VSCODE 창이 다시 열리면서, 다시 passphrase를 입력하면 workspace가 열리게 됨 여기서부터 사실상 Vscode에 Jupyter Notebook을 적용해본 사람이라면 로..