SimCLS: a simple framework for contrastive learning of abstractive summarization, acl2021
SimCLS: a simple framework for contrastive learning of abstractive summarization, acl2021 cmu 논문 여러개의 요약을 생성하고, 이들을 순위화해서 가장 좋은 것을 선택 BART와 beam search를 이용해서 여러개의 요약 생성 입력 문서와 요약간의 유사도를 이용해서 순위화 RoBERTa 의 cls로 텍스트 representation 두개 cls간의 cosine similarity로 유사도 계산 contrastive training 요약문의 순위를 정하고, 순위가 높은 문서가 입력 문서와 유사도가 높도록 학습 요약문의 순위는 ROUGE로 정함 2가지 loss를 함께 사용함 정답 요약문이 생성된 요약문들보다 문서와의 유사도가 높아야 한다. ROUGE 점수가 높은 요약문이 낮은 요약문보다 문서와의 유사도가 높아야 한다. loss function $S$ : 정답 요약문 $S_i$ : $i$ 번째 생성된 요약문 $S_i$는 ROUGE 점수의 내림차순으로 정렬되어 있음. 즉, $i$가 작으면 ROUGE 점수가 높고, 좋은 요약문임 $h$ : 두 문서간의 cosine similarity 함수 (RoBERTa의 cls로 텍스트 표현) $\lambda_{ij} = (j-i)*\lambda$ 논문의 수식 (2)에서 살짝 바꿈: 동일한 내용인데 latex 기술 문제로 :-) $$L = \sum_j max(0, h(D, S_i) - h(D, S)) + \sum_i \sum_{j>i} max(0, h(D, S_j) - h(D, S_i) + \lambda_{ij}) $$ 학습시에 요약 평가 척도인 ROUGE 점수를 이용함 BART 등을 이용하는 경우에는 ...