ms marco dataset

MSMARCO passage retrieval dataset 

  • 880만개(8,841,823) 영어 문단(passage)으로 구성 
    • 평균 문단 길이: 56.58 (토큰 개수) 
      • 60이라는 논문도 있음.  
    • 전체로는 약 5억개의 토큰으로 구성 (중복 토큰 포함) 
  • 질의는 100만개 정도 (1,010,916개: 논문별로 질의 개수에서 차이가 있네 ㅠ) 
    • 평균 질의 길이: 5.97 (토큰 개수) 
    • 질의-positive passage 쌍의 개수 (학습데이터) : 532,751개 
      • 질의 개수: 502,939 개 
      • 질의당 거의 1개의 positive passage가 있음 
        • 최대 7개의 positive passage가 있음. 
    • 질의-positive passage 쌍의 개수 (dev 데이터) :59,273개 
      • 질의 개수: 55,578 개 (6,980개라는 논문도 있음) 
      • 질의당 거의 1개의 positive passage가 있음 
        • 최대 6개의 positive passage가 있음. 
    • 100만개 질의에서 일부는 학습과 dev 데이터에 없음 
      • test 질의일 듯한데, test 질의는 6,837개라는 논문이 있음 

[ 출처: RocketQA 논문 ]
: NQ는 natural question dataset임. 
: rocketQA에서는 original NQ dataset에서 일부만 사용해서, 일부의 통계임. 

MSMARCO document retrieval dataset 

  • 3백만개의 영어 문서로 구성
  • 문서는 평균 900개의 토큰으로 구성 

참조: 

댓글

댓글 쓰기

이 블로그의 인기 게시물

utf-8과 utf8

utf-8과 utf8을 차이 없이 사용했다. utf8이 더 짧아서, 이걸 선호했는데.. 표준은 utf-8이라고 한다. ( UTF-8 vs. UTF8 참조) utf8을 지원하지 않는 경우가 있다.  utf8 때문에 고생한게.. ajax가 IE에서 동작하지 않아서이다. ajax에서는 prototype.js를 사용했다. 동일한 코드가 다른 서버에서는 IE로 잘 보이는데, 해당 서버에서는 IE로 실행이 안 되었다. 크롬, 불여우에는 서버 상관없이 잘 실행되었다.. 원인은 아파치 혹은 php 설정 차이일텐데.. 이걸 찾기 위해서 구글링과 두 장비간의 설정 파일 비교를 수행해서 간신히 찾았는데.. 그게 바로 utf8 문제였다. 아마도 크롬, 불여우에서는 utf-8과 utf8을 동일하게 취급하는 거 같고, IE에서는 utf8은 잘못된 것으로 판단하는 거 같다. ****************************** php.ini 파일에서 default_charset을 다음과 같이 설정해둔게 문제였다. default_charset = "utf8" 이를 다음과 같이 변경하니 문제가 해결되었다. default_charset = "utf-8"  ****************************** utf8을 사용하는 경우는 "-" 사용시에 문제가 되는 언어에서 사용한다고 한다. ( UTF8 or UTF-8? 참조) 비슷한 문제가 Ajax not working in IE at Apache server 에도 있었다. 여기에서는 iso-88 5 9-1을 iso-88 6 9-1로 잘못 기재해서 생긴 문제였다고 한다.
자세한 내용 보기