ROUGE-Sスコアの算出方法

ズバリROUGE_Sスコアの算出方法は以下の通り

$ROUGE-S_{single}(candidate, reference)=\frac{(1+\beta^2)R_{skip2}(candidate, reference)P_{skip2}(candidate, reference)}{R_{skip2}(candidate, reference)+\beta^2P_{skip2}(candidate, reference)}$
で求められる

$R_{skip2},P_{skip2}$は以下の通りに定義される

$R_{skip2}(candidate, reference)=\frac{\Sigma_{r_i \in reference} \Sigma_{skip-bigram \in r_i} Count(skip-bigram, candidate)}{\Sigma_{r_i \in reference} numSkipBigrams(r_i)}$

$P_{skip2}(candidate, reference)=\frac{\Sigma_{r_i \in reference} \Sigma_{skip-bigram \in r_i} Count(skip-bigram, candidate)}{\Sigma_{r_i \in candidate} numSkipBigrams(r_i)}$

$r_i$と$c_i$はともにreference文とcandidate文を表す
$Count(skip-bigram, candidate)$は、skip-bigramがcandidate文中で観測された回数を表す
$numSkipBigrams(s_i)$は、$s_i$文中のskip-bigramの数を表す

例えば、police killed the gunmanという文章があったときに、この文章に対するskip2 (skip-bigram)は (police killed, police the, police gunman, killed the, killed gunman, the gunman)