????????????????

????????????????
??????????????????????μ?????????????????????μ???????????????????г??????????Relevance??????????????????????????????????????????棬??????????????????????????????????????????????棬???????????????????????????????????????????????????????????????????侭?????????????????????????????á?
??????????????????????????????????????PI??Per Item????????????
????A????????д???????????????????????????????????
????B??????????????????????????????в???????????????????????????ж???????á??С??????????????????????????????????????????????DCG?????????????????????????????????????????????????
??????????????????????????????????????ж????????????????????????????????????????ж??????????????ж??????????????????????????????????????????????????????????????????????????????????????????
???????????????????????????????????????????????????????SBS??Side by Side???????????????????????????????????????????????????????????????????????????λ?ù???????漴???????ж??????????????????????????????????ж?????????????????????????????????????????????????????????
??????????????????????к?????????????????????????????????Yahoo?????????????????RCFP??Relevance??Coverage??Freshness??Perspective?????????????????????????????DCG??SBS?????
???????μ???????????????????????????壬????????????????????????????????????????????????????????????????????
???????????????
??????????????????????????????????????????????????????顣???????????BTS??Bucket Testing System????????????????????????????????????????????????????????????????????????Bucket id??????????????????????????????п??????????ò??????????????????????????????????????????μ???????????????????Щ??????????????????γ???????????????Щ??????????γ????????????????????????????????????????????????????????????????п?????
?????????BTS????????????????????????????????Щ?????????????????????????????
????????UV????????????????????UV??????????????????????????
????IPV-UV?????????????????UV???ж???????????????????????
????CTR?????????????????????????PV?????
????????????????????????????????????????????
????????????????????????????????????????????????ж?????????????е????????????????е??????????????????????????????????????????????????????????????????????????????????PV????????????ж??????????????????￡?????????????СС????????????????
?????????????????кü??????????????????????????BTS?????????????????????????????????????????????????????????????????л?t??????????????????????