23년 이전 글
ChatGPT로 만든 사회, 기억을 가진 NPC와 상호작용 [SELECTSTAR Webinar 박준성 박사님 유튜브 내용]
유튜브의 스크립트를 기반으로 Bing 사용 Prompt: 좌측 페이지는 무엇에 대해 이야기 하고 있습니까? - **셀렉스타 회사 소개**: 셀렉스타는 AI 학습 데이터를 제공하고 분석하고 큐레이션하는 All-in-one Data Platform for AI 회사이다. 텍스트, 비전, 오디오 데이터에 대한 레이블링, 분석, 생성 서비스를 제공하고, LLM 벤치마크 데이터셋과 윤리성 평가 데이터셋을 개발하고 있다. Forbes 30 under 30 Asia의 엔터프라이즈 테크놀로지 분야에 선정되었다. - **웨비나 주제 및 목적**: 생성 에이전트 인간 행동의 상호작용 시뮬레이션이라는 주제로 박준성 박사님의 발표와 파일사이드챗, Q&A 세션을 진행한다. 인공지능을 개발할 때 필요한 데이터를 수집하고 가공하는..
FULL PARAMETER FINE-TUNING FOR LARGE LANGUAGE MODELS WITH LIMITED RESOURCES 리뷰(bing과 함께)
Prompt : 좌측 논문에 대해서 읽고 각 챕터별로 상세하게 설명해줘. 좌측 논문은 "FULL PARAMETER FINE-TUNING FOR LARGE LANGUAGE MODELS WITH LIMITED RESOURCES"라는 제목의 논문입니다. 이 논문은 Kai Lv, Yuqing Yang, Tengxiao Liu, Qinghui Gao, Qipeng Guo, Xipeng Qiu 등이 Fudan University에서 작성한 것입니다. 이 논문은 큰 언어 모델들을 제한된 자원으로 전체 파라미터를 미세 조정하는 방법에 대해 다룹니다. 이를 위해 저자들은 새로운 최적화 알고리즘인 LOw-Memory Optimization (LOMO)을 제안합니다. 이 알고리즘은 기울기 계산과 파라미터 업데이트를 한 단계..
Bing과 함께 구현해보는 Hyena
안녕하세요, 이것은 빙입니다.😊 논문을 참고해서 예제 코드를 생성하고 싶으시다고 하셨는데요, 논문의 주제는 **Hyena Hierarchy: Towards Larger Convolutional Language Models**¹ 입니다. 이 논문은 **Transformer** 대신 **Convolutional Neural Network (CNN)** 을 사용하여 **텍스트 생성**을 수행하는 방법을 제안합니다. 예제 코드를 생성하기 전에, 논문의 내용을 이해하시는 것이 좋습니다. 논문의 내용을 요약하면 다음과 같습니다. - Transformer는 attention operator를 사용하여 텍스트의 의미와 구조를 학습합니다. 하지만 attention operator는 시퀀스 길이에 따라 계산 비용이 제곱으..
cvpr 대회 참여를 위한 정보 수집
Image Difference Captioning with Pre-training and Contrastive Learning Image Difference Captioning with Pre-training and Contrastive Learning The Image Difference Captioning (IDC) task aims to describe the visual differences between two similar images with natural language. The major challenges of this task lie in two aspects: 1) fine-grained visual differences that require learning stronger vis..