TREC Complex Answer Retrieval (CAR) 데이터

 TREC Complex Answer Retrieval (CAR) 데이터 

  • 2017년 생성된 데이터 
  • 위키피디아에서 추출한 2900만개의 문단으로 구성 
  • 3백만개의 질의 
    • 위키피디아 제목과 섹션의 heading을 합쳐서 질의를 만듬 
  • positive passages 
    • 질의 생성에 사용한 section의 passage를 positive passage로 간주 
  • test query: 2,254개 

참조: Omar Khattab and Matei Zaharia, ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT, sigir 2020 "4.1 Methodology" 

댓글

댓글 쓰기

이 블로그의 인기 게시물

utf-8과 utf8

utf-8과 utf8을 차이 없이 사용했다. utf8이 더 짧아서, 이걸 선호했는데.. 표준은 utf-8이라고 한다. ( UTF-8 vs. UTF8 참조) utf8을 지원하지 않는 경우가 있다.  utf8 때문에 고생한게.. ajax가 IE에서 동작하지 않아서이다. ajax에서는 prototype.js를 사용했다. 동일한 코드가 다른 서버에서는 IE로 잘 보이는데, 해당 서버에서는 IE로 실행이 안 되었다. 크롬, 불여우에는 서버 상관없이 잘 실행되었다.. 원인은 아파치 혹은 php 설정 차이일텐데.. 이걸 찾기 위해서 구글링과 두 장비간의 설정 파일 비교를 수행해서 간신히 찾았는데.. 그게 바로 utf8 문제였다. 아마도 크롬, 불여우에서는 utf-8과 utf8을 동일하게 취급하는 거 같고, IE에서는 utf8은 잘못된 것으로 판단하는 거 같다. ****************************** php.ini 파일에서 default_charset을 다음과 같이 설정해둔게 문제였다. default_charset = "utf8" 이를 다음과 같이 변경하니 문제가 해결되었다. default_charset = "utf-8"  ****************************** utf8을 사용하는 경우는 "-" 사용시에 문제가 되는 언어에서 사용한다고 한다. ( UTF8 or UTF-8? 참조) 비슷한 문제가 Ajax not working in IE at Apache server 에도 있었다. 여기에서는 iso-88 5 9-1을 iso-88 6 9-1로 잘못 기재해서 생긴 문제였다고 한다.
자세한 내용 보기