BERT-QE, emnlp2020
Zhi Zheng et al., BERT-QE: Contextualized Query Expansion for Document Re-ranking, EMNLP2020
검색된 상위 n개 문서의 주요 chunk를 질의 확장에 사용
- 상위 n개 문서에서 chunk 들을 만듬.
- 인접한 chunk는 단어열이 겹침
- 질의 $q$를 참조해서 검색에 좋은 k개의 chunk $c$를 선택함
- 다음 점수가 높은 chunk를 선택함
$$rel(q, c_i) = BERT(q, c_i) $$
- k개의 chunk 집합 $C$와 문서 $d$간의 관련성 점수
$$rel(C, d) = \sum_{c_i \in C} softmax_{c_i \in C}(rel(q, c_i))\times rel(c_i , d)$$
- 질의 $q$와 k개의 chunk 집합 $C$를 이용해서 문서 $d$와의 관련성 점수 계산
$$rel(q, C, d) = (1-\alpha) \times rel(q, d) + \alpha \times rel(C, d)$$
댓글