전체 글
Huggingface Trainer로 TPU Multicore 활용 학습 예제코드
from datasets import load_dataset from transformers import AutoTokenizer, DataCollatorWithPadding from transformers import TrainingArguments, AutoModelForSequenceClassification from transformers import Trainer def main(index): # 예제로 활용할 데이터셋 raw_datasets = load_dataset('glue','mrpc') # 예제 활용 모델 model_name = 'klue/roberta-large' tokenizer = AutoTokenizer.from_pretrained(model_name) #raw_dataset은 ..
시각화 라이브러리 plotly를 편하게 사용하는 방법
Plotly 파이썬에서 주로 사용하는 시각화 라이브러리인 Matplotlib과 뚜렷하게 구분되는 라이브러리로, 특히 기본적으로 반응형의 차트를 그려주며, 기본적으로 그려주는게 많은게 장점인 라이브러리이다. api도 깔끔하고, 특히 문서가 좋아서 이용하게 되었다. 그러나 단점이 있었으니.. 바로 fig.update_traces라는 형태의 api이다 import plotly.express as px df = px.data.gapminder().query("year == 2007").query("continent == 'Americas'") fig = px.pie(df, values='pop', names='country', title='Population of American continent', hover..
Git Fork 후 Pull Request 할 때 conflict 해소 방법
여기에서 Git은 전적으로 VSCODE에 의존하여 사용합니다. 우선 현재 문제 상황에 대한 이해. 1. 해당 Repo에서 Fork 하게 되면, 코드는 Fork 한 상태에서 멈추며, 내가 업데이트 하는 것만 반영이 됨. 2. 빠르게 수정하고 반영하면 상관없으나, 시간이 걸리게 될 경우 다른 사람 또한 해당 코드에 자신의 코드를 반영하게 됨. 3. 시간이 지날수록 내가 Fork한 코드는 원본 코드와 괴리가 발생하게됨. 4. 내가 PR을 날릴 때 코드는 바뀌어져 있으므로, 필연적으로 conflict가 발생하게 됨 문제 상황을 만들기 위한 Repo를 2개 준비. 1개는 메인 코드, 1개는 fork 하여 PR 하는 레포가 됨. main repo로, readme를 통해 업데이트 반영 여부를 확인할 예정 현재 상황에..
VSCODE 단축키 모음 PDF
https://code.visualstudio.com/shortcuts/keyboard-shortcuts-windows.pdf