Learning to Rewrite Queries, yahoo, cikm2016

Yunlong He, et al., Learning to Rewrite Queries, CIKM2016

  • yahoo 논문 

2단계로 query rewriting(QR) 하는 방법 제안 

  • 1단계) query rewriting 후보 생성 
    • 기존 QR 방법들을 이용해서 후보 생성 
  • 2단계) 후보들 중에서 적합한 QR 선정 
    • 기계 학습 이용 

후보 생성 방법 

  • 후보 생성은 어떤 방법을 이용해도 됨. 
  • 논문에서는 SMT를 이용하는 방법과 LSTM을 이용하는 방법으로 후보 생성함 
    • 실험에서 SMT에서 10개 후보, LSTM으로 10개 후보 생성함
  • 후보 생성 모델의 학습데이터: (질의, 클릭 문서)에서 (질의, 문서 제목)를 추출해서 사용 
    • 800M 쌍으로 구성  

QR 후보에 점수 부여 

  • (사용자 질의, QR 질의)를 입력으로 받아서, 점수를 부여하는 모델 구축  
  • (사용자 질의, QR 질의, 클릭빈도)로 구성된 학습데이터로 모델 학습함 
    • 클릭빈도 = QR 질의로 검색된 문서를 사용자 질의가 클릭한 빈도 
    • 클릭빈도가 높을수록 좋은 QR 질의로 간주함 
    • 클릭빈도를 예측하는 모델을 만들게 됨 
  • 몇개의 QR 질의를 사용하는지는 논문에 없음. 
    • 추측으로는 (사용자 질의, 사용자 질의)의 모델 점수보다 높은 QR 질의만 사용할 듯 
  • 모델에서 사용하는 자질 (표1) 
    • 사용자 질의에서 추출한 자질: 단어수, 불용어수 등 
    • QR 질의에서 추출한 자질: 단어수, 불용어수 등 
    • (사용자 질의, QR 질의) 쌍에서 추출한 자질 : jaccard similarity 등 
    • 18개 자질로 많지 않음. (이걸로 동작하는게 신기함) 




댓글

댓글 쓰기

이 블로그의 인기 게시물

utf-8과 utf8

utf-8과 utf8을 차이 없이 사용했다. utf8이 더 짧아서, 이걸 선호했는데.. 표준은 utf-8이라고 한다. ( UTF-8 vs. UTF8 참조) utf8을 지원하지 않는 경우가 있다.  utf8 때문에 고생한게.. ajax가 IE에서 동작하지 않아서이다. ajax에서는 prototype.js를 사용했다. 동일한 코드가 다른 서버에서는 IE로 잘 보이는데, 해당 서버에서는 IE로 실행이 안 되었다. 크롬, 불여우에는 서버 상관없이 잘 실행되었다.. 원인은 아파치 혹은 php 설정 차이일텐데.. 이걸 찾기 위해서 구글링과 두 장비간의 설정 파일 비교를 수행해서 간신히 찾았는데.. 그게 바로 utf8 문제였다. 아마도 크롬, 불여우에서는 utf-8과 utf8을 동일하게 취급하는 거 같고, IE에서는 utf8은 잘못된 것으로 판단하는 거 같다. ****************************** php.ini 파일에서 default_charset을 다음과 같이 설정해둔게 문제였다. default_charset = "utf8" 이를 다음과 같이 변경하니 문제가 해결되었다. default_charset = "utf-8"  ****************************** utf8을 사용하는 경우는 "-" 사용시에 문제가 되는 언어에서 사용한다고 한다. ( UTF8 or UTF-8? 참조) 비슷한 문제가 Ajax not working in IE at Apache server 에도 있었다. 여기에서는 iso-88 5 9-1을 iso-88 6 9-1로 잘못 기재해서 생긴 문제였다고 한다.
자세한 내용 보기