TPU
Huggingface Trainer로 TPU Multicore 활용 학습 예제코드
from datasets import load_dataset from transformers import AutoTokenizer, DataCollatorWithPadding from transformers import TrainingArguments, AutoModelForSequenceClassification from transformers import Trainer def main(index): # 예제로 활용할 데이터셋 raw_datasets = load_dataset('glue','mrpc') # 예제 활용 모델 model_name = 'klue/roberta-large' tokenizer = AutoTokenizer.from_pretrained(model_name) #raw_dataset은 ..
TPU 자원 할당을 위한 간단한 스크립트
TPU 자원이 모두 사용중이면 보게 되는 에러 입니다 최근 TPU 자원 활용도가 많아지면서 자원을 빌리기도 어려워지고 있네요 손으로 하기가 아파서 새로운 방법을 찾아봤습니다 1. 매번 실행할 sh 파일 만들기 아래 파일은 하나의 sh 파일에 저장하고 쓰면 됩니다 export PROJECT_ID=[프로젝트 ID 명으로 변경] - PROJECT ID를 변수에 할당 gcloud config set project ${PROJECT_ID} - PROJECT ID를 활용해서 config 설정 gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID - tpu 서비스 계정 값을 받을 수 있음 gcloud compute..
TPU 에러 모음
PermissionDeniedError: open(/dev/accel0): Operation not permitted: Operation not permitted; Couldn't open device: /dev/accel0; Unable to create Node RegisterInterface for node 0, config: device_path 주피터 노트북으로 작업하던 중 발생한 에러로, TPU 접근이 불가한 현상임.발생한 경위는 알 수 없으나, VM을 재부팅 하면 해결 shutdown -r now
TPU-starter 프로젝트 소개
TPU starter 프로젝트? TPU는 일반적으로 직접 물건을 접할 수 없기 때문에 접근하기 어렵고, 그 존재조차 모르는 사람이 많습니다. 효용에 비해서 상대적으로 덜 알려져 있고, 정보도 많이 부족합니다. 이러한 부분을 해결하고자, tpu-starter-pack 프로젝트를 진행하는 사람이 있었고, 한국어로 번역하는 부분을 원작자의 허락을 맡아 진행했습니다. 깃허브를 참고하시고 어렵거나 필요한 내용이 있으면 알려주시면 반영하도록 할게요 https://github.com/dlfrnaos19/tpu-starter-korean GitHub - dlfrnaos19/tpu-starter-korean Contribute to dlfrnaos19/tpu-starter-korean development by crea..