본문 바로가기

● DQ 소식

다이퀘스트 검색트랜드: 차세대 검색기술, 클러스터링(자동분류)검색

정보의 양이 대용량화 됨에 따라 검색기술의 진화는 더욱 빨라지고 있다. 이전의 정보검색은 정보량의 부재로 얼마나 많은 양의 정보를 검색결과로 보여줄 수 있는지에 초점이 맞추어져 있었지만 현재의 검색은 수 많은 정보 가운데 이용자가 원하는 정보를 얼마나 빠르고 정확하게 제공할 수 있는지에 대한, 검색결과의 질로 무게중심이 이동했다. 때문에 검색기술 개발은 이전의 개발속도보다 더욱 빠르게 진행되고 있으며 현실적으로 불가능할 것이라 여겼던 시맨틱 검색 등 차세대 검색기술에 대한 연구발표가 나오기 시작하고 있다.

우리가 꿈꾸는 미래의 검색엔진은 앞서 말한 시맨틱 검색이나 자연어 검색과 같이 즉각적인 대답을 제공하거나 클러스터링 검색, 즉 자동 문서분류로 많은 검색결과 가운데 원하는 정보에 손쉽게 접근할 수 있도록 하는 것이다.

자동 클러스터링 검색은 시맨틱 검색이나 자연어 검색에 반해 단기간 내에 상용화 될 수 있는 기술로 그 동안 단순 나열방식으로 제공되던 검색결과를 관련성 높은 정보들끼리 묶어 그룹별 주제어로 제공하기 때문에 이용자가 전체 검색결과를 한눈에 파악할 수 있도록 하며, 트리 구조의 체계화 된 결과분류 제공으로 정보 접근성을 획기적으로 높여준다. 정보 추출을 위한 중요한 도구로써 문서 검색, 혹은 정보 검색에서 색인 후에 검색의 전처리(preprocessing) 단계에 주로 사용되며 최근에는 웹 검색엔진의 중요한 도구로 사용되고 있다.

클러스터링 검색서비스가 일반화 된 해외
클러스터링 검색으로 웹 검색서비스를 제공하는 곳도 있는데, 이들은 대부분 해외 사이트이다.
대표적인 사이트로 비비시모(www.vivisimo.com)를 꼽을 수 있다. 비비시모는 2000년대 초반에 오픈한 사이트로 기존의 통합검색과 확연히 다른 클러스터링 검색을 제공하면서 이용자들에게 좋은 반응을 얻었었다.

사용자 삽입 이미지


그때의 명성만큼은 아니지만 지속적으로 클러스터링 검색기술을 제공하고 있어 클러스터링 검색서비스의 대표적인 사이트로 이야기되고 있으며 자사 사이트뿐만 아니라 클러스티(www.clusty.com)라는 또 다른 클러스터링 검색 사이트를 오픈하기도 했다.

또 다른 사이트로 grokker(www.grokker.com)을 들 수 있다.
클러스터링 검색결과의 UI는 트리 형태의 네비게시션을 제공하는 것이 일반적이나 grokker는 시각화를 고려한 Map형태의 UI를 제공하여 타 클러스터링 검색사이트와 차별화 하였다.

사용자 삽입 이미지


“Park jisung”이라는 키워드로 검색했을 때 검색결과는 위와 같이 클러스터링 되어 나타나지만 비쥬얼적으로 이해도를 높여 여느 클러스터링 사이트의 UI와는 사뭇 다르다. 개별 이슈를 클릭하면 확대되어 각 문서의 요약정보가 제공되기도 한다.

부가기능으로 클러스터링 검색기능을 점차 도입하는 국내
국내는 최근 들어 클러스터링 검색기능을 부가검색기능으로서 선보이고 있다. 해외와는 다르게 클러스터링 검색기능만으로 서비스하는 전문사이트보다는 대형 포털을 중심으로 서비스되기 시작했다.

클러스터링 검색기술에 대한 개발 및 확산속도가 해외에 비해 늦은 이유는 국내 검색시장을 절대적으로 점유하고 있는 네이버의 통합검색에 네티즌들이 이미 익숙해져 있어 이를 추월할 마케팅 부재와 주요 검색대상으로 떠오른 이미지, 동영상 등 멀티미디어컨텐츠에 대한 미숙한 처리능력을 꼽을 수 있다.

국내 대표포털 네이버는 “뉴스”라는 도메인에 한해 TEST Version으로 클러스터링 검색을 제공하고 있다. TEST Version이기 때문에 클러스터링 검색이 적용되는 “뉴스”는 메인에서 제공하는 네이버의 대표 컨텐츠 서비스가 아니라 별도의 기능으로 제공하고 있으며 뉴스 클러스터링 검색을 확인하기 위해서는 하단의 네이버LAB을 이용하면 된다.

네이버는 클러스터링 검색서비스를 텍스트버전과 그래프버전으로 나누어 제공한다.
텍스트버전은 각 이슈에 따라 묶인 검색결과를 나열식으로 제공하는데, 이는 네이버가 인수한 첫눈의 검색화면과 동일하다. 그래프버전은 시각화를 고려하여 각 이슈에 따른 검색결과의 양을 그래프로 보여주는데 텍스트버전에 비해 훨씬 이해하기가 용이하다.

사용자 삽입 이미지

사용자 삽입 이미지
                             [그래프 버전]                                          [텍스트 버전]

네이버보다 먼저 클러스터링 검색서비스를 선보인 곳이 있는데 바로 야후다. 야후는 추락하는 시장점유율을 높이기 위해 신개념 검색서비스 “서치 어드밴스”를 내놓으면서 클러스터링 검색기능을 함께 선보였다.

야후는 이번 클러스터링 검색기능을 선보이기 위해 야후 본사에서 기술을 가져와 한국실정에 맞게 커스터마이징까지 했다고 한다. 클러스터링 검색결과는 트리형태는 아니지만 깔끔한 UI와 정보 분류가 체계적으로 제공하고 있다

사용자 삽입 이미지