Bag-of-Words와 나이브 베이즈 분류

 

 

Bag-of-Words

 

텍스트 마이닝 분야에서 딥 러닝 기술이 적용되기 이전에 자주 활용되었던 간단한 기법이다.

단어장에 등록된 단어가 어떠한 문장에 얼마나 등장했는지를 벡터(vector)로 표현하며, 단어장을 구성하는 과정을 필요로 한다.

 

먼저 텍스트 데이터 셋에서 unique한 단어들만 모아서 단어장(사전)을 구축한다.

 

$$\begin{gathered} \text{This is the most powerful device.} \\ \text{That is the strongest equipment.} \end{gathered}$$

 

$$\text{단어장(Vocabulary)}:\text{{this, is, the, most, powerful, device, that, strongest, equipment}}$$

 

중복된 단어를 제거하고 최종적으로 단어장에는 9개의 단어를 등록한다.

 

각 단어를 총 8개의 단어 중 하나가 될 수 있는 범주형 변수로 인코딩하는데, 이때 자주 사용하는 방법이 one-hot encoding이다.

 

$$\begin{array}{rl}& \text{this}:\text{[1 0 0 0 0 0 0 0 0]}\text{is}:\text{[0 1 0 0 0 0 0 0 0]}\\ & \text{the}:\text{[0 0 1 0 0 0 0 0 0]}\text{most}:\text{[0 0 0 1 0 0 0 0 0]}\\ & \text{powerful}:\text{[0 0 0 0 1 0 0 0 0]}\text{device}:\text{[0 0 0 0 0 1 0 0 0]}\\ & \text{that}:\text{[0 0 0 0 0 0 1 0 0]}\text{strongest}:\text{[0 0 0 0 0 0 0 1 0]}\\ & \text{equipment}:\text{[0 0 0 0 0 0 0 0 1]}\end{array}$$

 

단어장에 있는 단어가 총 9개 있으므로, 차원이 9인 벡터 공간을 설정하여 나타낼 수 있다.

이때, 단어를 나타내는 모든 벡터 간의 거리는 $\sqrt{2}$이고, cosine 유사도는 0이다.

이는 단어의 의미에 상관이 없이 모두가 동일한 관계를 가지도록 하는 것이다.

 

여러 단어로 구성되어 있는 문장, 또는 다수의 문장으로 구성된 하나의 문서에 경우에도 word-level의 one-hot vector를 확장해서 나타낼 수 있다.

 

이는 각 문장 또는 문서에 속한 단어들의 one-hot vector를 더하는 방식으로 표현 가능하며, 이를 bag-of-words vector라고 한다.

 

$$\begin{array}{r}\text{"That is the strongest device"}=\text{[0 1 1 0 0 1 0 1 0]}\end{array}$$

 

Bag-of-Words라고 불리는 이유는 단어장에 존재하는 각 단어별로 가방을 준비하고 특정 문장에서 나타난 단어가 나타날 때마다 순차적으로 각 단어 가방에 넣어준 후, 최종적으로 각 가방에 들어간 단어의 수를 세는 것으로 볼 수 있어서다.

 

 

 

Naive Bayes Classifier with Bag-of-Words

 

Naive Bayes Classifier란?

 

Bag-of-Words로 나타낸 문서 벡터를 정해진 카테고리 또는 클래스 중 하나로 분류하는 기법이다.

 

임의의 문서가 분류될 수 있는 클래스가 총 $C$개 있다고 가정한다. 예를 들어, 뉴스 기사를 분류할 때 정치, 사회, 연예, 과학, 스포츠인 5개의 분류를 사용한다고 하면 클래스 $C$를 5라고 볼 수 있다.

 

 

Naive Bayes Classifier를 사용하는 방법

 

먼저 나이브 베이즈 정리에 관한 자세한 내용은 다음 링크를 참고하면 된다.

https://glanceyes.tistory.com/entry/나이브-베이즈-분류Naive-Bayes-Classification

나이브 베이즈 분류(Naive Bayes Classification)

 

요약하면, 나이브 베이즈 정리는 사전확률과 사후확률 간의 관계를 나타낸 것이다.

 

어떤 문서 $d$가 주어졌을 때, 이 문서가 $C$개의 각각의 분류에 속할 확률을 나이브 베이즈 정리를 사용하여 구하는 과정은 다음과 같다.

 

$$\begin{array}{rl}{C}_{MAP}& =\underset{c\in C}{\text{argmax}}P(c|d)\\ & =\underset{c\in C}{\text{argmax}}\frac{P(d|c)P(c)}{P(d)}\\ & =\underset{c\in C}{\text{argmax}}P(d|c)P(c)\end{array}$$

 

위의 식에서 MAP는 "Maximum A Posterori"의 약자이며, 가장 높은 확률로 속할 클래스를 구하는 것으로 볼 수 있다.

또한 $P(d)$는 어떠한 문서가 뽑힐 확률을 의미하는데, 위의 예시에서는 문서 $d$가 고정되어 있는 상황이므로 이를 상수로 고려하고 $P(d)$를 무시해도 된다.

나이브 베이즈 정리에 의해 $P(c|d)$ 값이 가장 큰 $c$가 결과적으로 문서 $d$가 가장 높은 확률로 속할 클래스인 것이다.

 

$P(c|d)$는 $P(d|c)P(c)$와 같은데, $P(d|c)$는 클래스 $c$에서 문서 $d$가 나타날 확률로 해석된다.

문서 $d$가 $n$개의 단어로 구성된다면, 어떤 클래스 $c$에서 문서 $d$가 등장한다는 것은 문서 $d$를 구성하는 각 단어가 클래스 $c$에서 동시에 등장한다는 것과 같으므로 $P(d|c)P(c)$ 식은 다음과 같이 풀어 쓸 수 있다.

 

$$P(d|c)P(c)=P(w_1,w_2,\dots ,w_n|c)P(c)=P(c)\prod _{w_i\in W}P(w_i|c)$$

 

각 단어가 등장할 확률은 서로 독립이므로 동시에 등장하는 것을 계산하려면 각 클래스별 각 단어의 등장 확률을 모두 곱하면 된다.

 

그러나 특정한 클래스 내에서 문서의 특정 단어가 등장하지 않을 경우 그 문서가 해당 클래스에 속할 확률은 0으로 계산되므로 다른 단어가 그 클래스와 연관이 많다고 하더라도 그 클래스에 속하지 않는다고 예측해 버리는 문제가 있다.

그리고 위에서는 예시를 통해 계산을 직접 하는 과정으로 도출했지만, 수학적으로 $P(w_i|c)$는 어떠한 파라미터의 확률분포에서 나온 것인지를 MLE(Maximum Likelihood Estimation)로도 추정할 수 있다.

 

출처
1. 네이버 커넥트재단 부스트캠프 AI Tech NLP Track 주재걸 교수님 기초 강의