GSum: A General Framework for Guided Neural Abstractive Summarization, naacl2021
GSum: A General Framework for Guided Neural Abstractive Summarization, naacl2021
- cmu 논문
abstractive summarization에서 extractive summarization을 함께 이용하는 방법
- 요약시에 입력 문서와 가이드 정보를 함께 사용하는 방법
- 요약을 위한 가이드로 extractive summarization으로 추출한 결과를 이용함
- keywords, (subject, relation, object) 의 relation, 유사한 문서 등도 가이드로 사용했지만, extractive summarization 결과를 사용하는 것이 가장 좋았음.
- 입력 문서와 입력 문서의 주요 부분을 함께 입력으로 사용하는 방식임
네트워크 구조
- BART 사용
- 2개의 encoder를 사용함
- 입력 문서를 위한 encoder
- 가이드를 위한 encoder
- 2개의 encoder는 하위 네트워크는 공유하지만, 상위 부분은 공유하지 않음
- 상위에서 입력과 가이드를 구분하기 위함
- decoder에서는 가이드 represention을 먼저 참조하고, 다음으로 입력 문서를 참조함
- 적절한 방법인거 같음. 즉, 가이드보다 입력 문서를 나중에 참조하는게 맞는거 같음.
학습 및 inference 방법
- 학습시에는 가이드 생성을 위해서 정답 데이터를 사용함
- extractive summarization 수행시에 정답 abstractive summarization과 ROUGE 점수가 가장 높은 문장을 추출함
- 가이드가 정답 데이터 정보를 가짐으로써, 네트워크가 가이드를 참조하도록 학습이 됨
- 가이드와 정답 데이터간의 관련성이 적으면, 네트워크가 가이드를 참조하지 않게 됨
- 실험 결과 4.5 Analysis 에서 'Necessity of Using Oracles During Training' 참조
- inference 시에는 가이드로 자동 추출한 데이터를 사용함
- BertExt, MatchSum 이라는 기존 extractive summarization에서 좋은 결과를 보인 모델 이용
댓글