블로그 검색 노출과 크롤링 정책

포털의 블로그 검색 결과는 검색엔진이 콘텐츠를 어떻게 발견(discover)하고 색인(index)하는지에 따라 노출 여부가 크게 갈린다. 2012년 pxd 팀블로그가 Tistory로 주소를 이전한 뒤 네이버 블로그 검색에서 사라졌던 경험은, 검색 결과 상위에 유독 네이버 블로그가 많이 노출되는 현상의 원인을 크롤링 정책의 차이에서 찾게 한 계기였다.

핵심은 검색엔진이 콘텐츠를 색인하는 두 가지 방식이다. 일반적인 검색엔진은 크롤러가 접근 가능한 문서를 기본적으로 모두 색인하고, 블로거가 원하지 않을 때만 `robots.txt` 등으로 배제하는 opt-out(거부 선택) 방식을 취한다. 반면 네이버 블로그 검색은 네이버 자사 블로그는 별도 등록 없이 자동으로 색인하면서도, 타 블로그(Tistory·다음 등)는 RSS를 직접 등록해야만 색인 대상이 되는 opt-in(승인 선택) 방식을 취했다. 이 때문에 RSS 등록이라는 진입 장벽을 모르는 일반 블로거는 자신도 모르는 사이 네이버 검색에서 배제된다.

이 정책이 결과에 미치는 영향은 두 가지로 관찰됐다. 첫째, 최신 글 가중치다. 네이버 블로그는 포털이 자사 DB에 직접 접근해 인덱싱할 수 있어 최신 글이 거의 실시간으로 반영되는 반면, 타 블로그는 주기적 크롤링·인덱싱 주기를 거치므로 상대적으로 느리다. 일상 주제처럼 새 글이 빈번히 올라오는 분야는 최신성 가중치가 높은 네이버 블로그가 유리하고, 작성 빈도가 낮은 IT 분야는 이 격차의 영향을 덜 받아 티스토리 글도 상대적으로 잘 노출된다는 가설이 제시됐다. 둘째, opt-in 정책의 배경에는 네이버가 자사 블로그 콘텐츠를 회사 자산으로 간주해 외부 검색엔진의 접근을 막고, 반대로 자사 검색에는 우선 노출시키려 한 전략적 의도가 있었다는 시각도 있다.

핵심 내용

opt-out: 크롤러 접근을 기본 허용, 배제하려면 `robots.txt` 등으로 명시 — 일반적인 검색엔진 방식
opt-in: 명시적으로 등록(RSS 등)해야만 색인 대상이 되는 방식 — 네이버 블로그 검색의 타 블로그 처리 방식
opt-in 문턱은 높지 않지만, 문턱의 존재 자체를 모르는 사용자가 대부분 걸려 넘어짐
네이버 블로그는 최신 글 가중치가 높고 색인 지연이 거의 없어(자사 DB 직접 접근), 일상 주제 콘텐츠에서 특히 유리
IT 관련 키워드는 작성 빈도가 낮아 최신성 가중치 격차의 영향을 덜 받으므로 상대적으로 티스토리 노출 빈도가 높다는 가설
opt-in 정책의 배경 추정: 자사 블로그 콘텐츠를 회사 자산으로 보호하려는 전략 + 크롤링 기술 한계 가능성 모두 거론

출처

왜 tistory에는 IT관련 블로그 밖에 없을까? — 2012-04-17, 無異

블로그 검색 노출과 크롤링 정책

핵심 내용

관련 개념

출처