워드 임베딩과 편향

워드 임베딩의 편향성 참조링크 https://arxiv.org/pdf/1607.06520.pdf Word Embedding을 2차원으로 차원축소하고 시각화 했을 때 각자의 성별에 가깝워 지는 직업종류 WEAT(Word Embedding Association Test) WEAT에 대한 논문 https://arxiv.org/pdf/1608.07187.pdf 편향을 보기 위해 워드임베딩에서 단어간의 의미를 찾기 위해 사용했던 코사인 유사도를 사용함 Male과 Female, Scient와 Art라는 개념을 대표하는 단어들을 골라 단어 세트를 만들고 세트에 속한 단어의 편향성을 전부 계산하고 평균해서 수치화함 이러한 아이디어는 심리학의 IAT(Implicit Association Test)라는 인지편향성 실험 구..