워드 임베딩과 편향

워드 임베딩의 편향성

참조링크 https://arxiv.org/pdf/1607.06520.pdf

Word Embedding을 2차원으로 차원축소하고 시각화 했을 때 각자의 성별에 가깝워 지는 직업종류

 

WEAT(Word Embedding Association Test)

WEAT에 대한 논문 https://arxiv.org/pdf/1608.07187.pdf

편향을 보기 위해 워드임베딩에서 단어간의 의미를 찾기 위해 사용했던  코사인 유사도를 사용함

Male과 Female, Scient와 Art라는 개념을 대표하는 단어들을 골라 단어 세트를 만들고 세트에 속한 단어의 편향성을 전부 계산하고 평균해서 수치화함

이러한 아이디어는 심리학의 IAT(Implicit Association Test)라는 인지편향성 실험 구조에서 따온 것

참조링크 https://implicit.harvard.edu/implicit/education.html

 

구글의 테크 블로그 WEAT 실험 결과표

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

파란색은 사람의 편향과 같고, 노란색은 사람의 편향과 반대인 경우로 대부분의 색이 파란색임

사람이 가진 편향이 코퍼스에 반영되어있기 때문에 워드 임베딩 모델 또한 편향이 내재해 있는 것

 

WEAT로 편향성 측정

WEAT 정의

WEAT에서 두 벡터의 유사도 측정을 위해 코사인 유사도를 사용함

i, j라는 두 벡터가 있을 때의 코사인 유사도

코사인 유사도는 -1 ~ 1의 값을 가지며 두 벡터의 방향이 얼마나 유사한지 나타냄

의 식의 분자에 target X, Y에 속하는 각 단어 x,y들이 개념축 A-B에 대해 가지는 편향성을 각각 평균내서 뺀차이로

X에 속하는 단어와 Y에 속하는 단어들이 A-B 개념축에 대해 가지는 편향성 정도가 뚜렷이 차이 날수록

WEAT score식의 분자 절대값이 커지게되며 이 값을 X,Y에 속하는 모든 단어들이 가지는 편향성 값의 표준편차로 normalize한 값이 최종 WEAT score가 됨

 

실습예제

 

GitHub - dlfrnaos19/goingdeeper