전체 글
FULL PARAMETER FINE-TUNING FOR LARGE LANGUAGE MODELS WITH LIMITED RESOURCES 리뷰(bing과 함께)
Prompt : 좌측 논문에 대해서 읽고 각 챕터별로 상세하게 설명해줘. 좌측 논문은 "FULL PARAMETER FINE-TUNING FOR LARGE LANGUAGE MODELS WITH LIMITED RESOURCES"라는 제목의 논문입니다. 이 논문은 Kai Lv, Yuqing Yang, Tengxiao Liu, Qinghui Gao, Qipeng Guo, Xipeng Qiu 등이 Fudan University에서 작성한 것입니다. 이 논문은 큰 언어 모델들을 제한된 자원으로 전체 파라미터를 미세 조정하는 방법에 대해 다룹니다. 이를 위해 저자들은 새로운 최적화 알고리즘인 LOw-Memory Optimization (LOMO)을 제안합니다. 이 알고리즘은 기울기 계산과 파라미터 업데이트를 한 단계..
Bing과 함께 구현해보는 Hyena
안녕하세요, 이것은 빙입니다.😊 논문을 참고해서 예제 코드를 생성하고 싶으시다고 하셨는데요, 논문의 주제는 **Hyena Hierarchy: Towards Larger Convolutional Language Models**¹ 입니다. 이 논문은 **Transformer** 대신 **Convolutional Neural Network (CNN)** 을 사용하여 **텍스트 생성**을 수행하는 방법을 제안합니다. 예제 코드를 생성하기 전에, 논문의 내용을 이해하시는 것이 좋습니다. 논문의 내용을 요약하면 다음과 같습니다. - Transformer는 attention operator를 사용하여 텍스트의 의미와 구조를 학습합니다. 하지만 attention operator는 시퀀스 길이에 따라 계산 비용이 제곱으..
cvpr 대회 참여를 위한 정보 수집
Image Difference Captioning with Pre-training and Contrastive Learning Image Difference Captioning with Pre-training and Contrastive Learning The Image Difference Captioning (IDC) task aims to describe the visual differences between two similar images with natural language. The major challenges of this task lie in two aspects: 1) fine-grained visual differences that require learning stronger vis..
NBME Score Clinical Patient Notes 솔루션 분석해보기 -Medical NLP
참고한 대회 솔루션 NBME - Score Clinical Patient Notes | Kaggle www.kaggle.com NBME - Score Clinical Patient Notes | Kaggle www.kaggle.com 선 결론 후 내용 이전의 캐글에서도 느꼈지만 높은 점수를 내는 사람은 굉장히 많은 시도 후 피드백 과정을 통해서 성능을 검증하고, 점수를 축적해 나간다. 특히 어떠한 결과가 높은 성능을 나타냈다는 것을 기록한다는 것은, 1개의 변화마다 성능을 테스트 하고 검증한다는 것을 뜻한다. 크게 구분하면 피처 엔지니어링, 모델의 설계, 모델의 학습, 예측 정도로 나눌 수 있다. 피처엔지니어링 부분에서는 데이터, 도메인, 그리고 annotator에 대한 3단계에 대한 이해도를 높힌 상태..