[Metric Review] ROUGE Metric 분석

논문 링크

https://aclanthology.org/W04-1013/

 

 

ROUGE

Rouge은 Recall-Oriented Understudy for Gisting Evaluation의 약자이다. ROUGE는 사람이 만든 참조 요약과 컴퓨터가 생성한 요약 사이의 일치 정도를 측정한다. 이 논문은 ROUGE가 포함된 네 가지 다른 ROUGE 메트릭, 즉 ROUGE-N, ROUGE-L, ROUGE-W, ROUGE-S를 소개합니다. 각 메트릭은 요약의 다른 측면을 평가한다.

• ROUGE-N: 이 메트릭은 N-gram 기반으로 평가한다. 이는 요약에서 사용된 단어의 연속적인 나열이 참조 요약과 얼마나 일치하는지를 측정하여, 텍스트의 어휘적 정확성을 평가한다. N이 클수록, 문맥적 일관성과 정확성을 더 자세히 분석한다.
• ROUGE-L: 가장 긴 공통 부분 문자열(LCS)을 기반으로 하여, 요약문과 참조 요약문 사이에 나타나는 최장 공통 부분문을 찾아냄으로써 요약의 문장 구조적 유사성을 평가한다. 
• ROUGE-W: 가중치가 있는 가장 긴 공통 부분 문자열을 사용한다. 이는 LCS의 기본 아이디어에 가중치를 추가하여, 더 긴 일치하는 구문을 더 높게 평가함으로써 요약의 문맥적 심도와 정보의 중요성을 평가한다.
• ROUGE-S: ‘skip-bigram’을 사용하여, 요약 내 단어들 사이의 임의의 간격에도 불구하고 겹치는 단어 쌍을 찾아내어 요약의 유연성과 단어 간 관계를 평가한다. 이 메트릭은 요약이 원문의 중요한 개념들을 얼마나 포괄적으로 포함하고 있는지를 측정한다.

 

Formula

 

ROUGE-N

여기서 $ Count_{match}(gram_n)$은 생성된 요약과 참조 요약에서 발견된 겹치는 n-gram의 수이며, $Count(gram_n)$은 참조 요약에서 n-gram의 수이다.

 

$$\text{ROUGE-N} = \frac{\sum_{s \in \{ \text{참조 요약} \}} \sum_{gram_n \in s} \text{Count}_{\text{match}}(gram_n)}{\sum_{s \in \{ \text{참조 요약} \}} \sum_{gram_n \in s} \text{Count}(gram_n)}$$
​

예시 1: (ROUGE-1 사용)

• 참조 요약: "그녀는 학교에 간다."
• 생성된 요약: "그녀는 집에 간다."
• 일치하는 unigram: "그녀는", "간다"
• 계산: $\frac{2}{3} ≈  0.67$ (3개 중 2개 일치)

예시 2: (ROUGE-2 사용)

• 참조 요약: "고양이는 소파에서 잔다."
• 생성된 요약: "고양이는 소파에서 놀고 있다."
• 일치하는 bigram: "고양이는 소파에서"
• 계산: $\frac{1}{2} = 0.5$(2개 중 1개 일치)

 

ROUGE-L

$$\text{ROUGE-L} = \frac{\text{LCS}(X, Y)}{\max(\text{len}(X), \text{len}(Y))}$$
​ 여기서 $X$와 $Y$는 각각 참조 요약과 생성된 요약의 단어 시퀀스를 나타내며, $LCS(X,Y)$는 두 시퀀스 간의 가장 긴 공통 부분 시퀀스의 길이이다.

 

예시 1:

• 참조 요약: "그는 그녀에게 책을 준다."
• 생성된 요약: "그는 책을 그녀에게 준다."
• LCS 길이: 4 (단어 순서 다름)
• 계산: $\frac{4}{5} = 0.8$

예시 2:

• 참조 요약: "아침에 커피를 마신다."
• 생성된 요약: "커피를 마신다."
• LCS 길이: 2
• 계산:$\frac{2}{3} ≈ 0.67 $

 

ROUGE-W

$$\text{ROUGE-W} = \frac{\text{WLCS}(X, Y)}{\max(\text{len}(X), \text{len}(Y))}$$
​ 여기서 $WLCS$는 가중치가 있는 $LCS$를 의미하며, 더 긴 일치하는 시퀀스에 더 큰 가중치를 준다.

 

예시 1:

• 참조 요약: "아침에 커피를 마시고 신문을 읽는다."
• 생성된 요약: "아침에 커피를 마시고 뉴스를 본다."
• WLCS 계산은 LCS에 가중치를 추가해야 하지만 간단히 LCS를 사용하고 장문 일치에 더 큰 가중치 부여
• 계산: 긴 일치 부분, 추정 가중치 추가 후 계산 필요

예시 2:

• 참조 요약: "그는 아침 조깅을 한 후에 샤워를 했다."
• 생성된 요약: "그는 샤워를 한 후에 조깅을 했다."
• WLCS: 가중치가 있는 LCS 계산, 여기서도 실제 가중치 계산을 위해서는 추가 데이터 필요

ROUGE-S

$$\text{ROUGE-S} = \frac{\sum_{\text{skip-bigram} \in \{ \text{참조 요약} \}} \text{Count}_{\text{match}}(\text{skip-bigram})}{\sum_{\text{skip-bigram} \in \{ \text{참조 요약} \}} \text{Count}(\text{skip-bigram})}$$
​ 여기서 $skip-bigram$은 두 단어가 연속적이지 않고, 문장 내에서 임의의 다른 단어들에 의해 분리될 수 있는 단어 쌍을 의미한다. $Count_{match}(skip-bigram)$은 생성된 요약과 참조 요약 모두에 나타나는 $skip-bigram$의 수이며, $Count(skip-bigram)$은 참조 요약 내의 $skip-bigram$ 수 이다

 

예시 1:

• 참조 요약: "그녀는 시장에서 과일을 샀다."
• 생성된 요약: "그녀는 과일을 시장에서 구입했다."
• 일치하는 skip-bigram: "그녀는-과일을", "과일을-시장에서", "그녀는-시장에서"
• 계산: $\frac{3}{3} = 1.0$

예시 2:

• 참조 요약: "아침에 커피를 마시고 신문을 읽는다."
• 생성된 요약: "신문을 읽으며 커피를 마신다."
• 일치하는 skip-bigram: "커피를-신문을", "아침에-커피를"
• 계산: $\frac{2}{4} = 0.5 $

 

이 예시를 통해 도움이 되시기를 바랍니다. 감사합니다