QA datasets

 

Natural questions (NQ): 구글 검색 질의를 이용하고, 문서는 위키피디아를 사용함 
  • 질의 개수 
    • train: 79,168
    • dev: 8,757
    • test: 3,610 
TriviaQA: trivia 질의를 이용하고, 문서는 web을 이용함 
  • 질의 개수 
    • train: 78,785
    • dev: 8,837
    • test: 11,313 
WebQuestions (WQ): google suggest api로 질의 정하고, 문서는 Freebase 이용함 
  • 질의 개수 
    • train: 3,417
    • dev: 361
    • test: 2,032 
CuratedTREC
  • 질의 개수 
    • train: 1,3535
    • dev: 133
    • test: 694 
SQuAD v1.1: wikipedia 문서를 보고 질의를 만듬. 그래서 문서와 질의간의 텀이 일치하는 경우가 종종 있는 듯. 

댓글

댓글 쓰기

이 블로그의 인기 게시물

utf-8과 utf8

utf-8과 utf8을 차이 없이 사용했다. utf8이 더 짧아서, 이걸 선호했는데.. 표준은 utf-8이라고 한다. ( UTF-8 vs. UTF8 참조) utf8을 지원하지 않는 경우가 있다.  utf8 때문에 고생한게.. ajax가 IE에서 동작하지 않아서이다. ajax에서는 prototype.js를 사용했다. 동일한 코드가 다른 서버에서는 IE로 잘 보이는데, 해당 서버에서는 IE로 실행이 안 되었다. 크롬, 불여우에는 서버 상관없이 잘 실행되었다.. 원인은 아파치 혹은 php 설정 차이일텐데.. 이걸 찾기 위해서 구글링과 두 장비간의 설정 파일 비교를 수행해서 간신히 찾았는데.. 그게 바로 utf8 문제였다. 아마도 크롬, 불여우에서는 utf-8과 utf8을 동일하게 취급하는 거 같고, IE에서는 utf8은 잘못된 것으로 판단하는 거 같다. ****************************** php.ini 파일에서 default_charset을 다음과 같이 설정해둔게 문제였다. default_charset = "utf8" 이를 다음과 같이 변경하니 문제가 해결되었다. default_charset = "utf-8"  ****************************** utf8을 사용하는 경우는 "-" 사용시에 문제가 되는 언어에서 사용한다고 한다. ( UTF8 or UTF-8? 참조) 비슷한 문제가 Ajax not working in IE at Apache server 에도 있었다. 여기에서는 iso-88 5 9-1을 iso-88 6 9-1로 잘못 기재해서 생긴 문제였다고 한다.
자세한 내용 보기