華怡價帽가 하늘을 바라보며

인터넷 검색엔진이 아니고, 전자 상거래나 정보 제공 서비스 사업, 즉 중규모의 서비스에 있어서 검색 서비스를 왜, 언제, 어떻게 하여야 하는지에 대해서 나름 정리를 해보려고 합니다. 이글 역시도 완전히 정리된 것이 아니고, 정리해 나가는 과정에 있는 수준임을 죄송스럽게 생각합니다.

-----------------------------

검색 :  사용자가 검색 창에 키워드를 입력하면 그 키워드로 색인되어 있는 자료를 출력하는 기능



태그 :  자료에 연관성있는 키워드로 꼬리표를 달아 놓아서, 그 키워드를 입력하거나, Click하면 그 키워드를 태그로 가진 자료를 출력하는 기능



디렉토리 : 자료들을 여러단계의 카테고리로 분류하여 그 카테고리를 입력하거나, Click하면 그 카테고리에 속한 자료를 출력하는 기능



---------------------------

검색 기능은 상점 내부에 동선을 잘 내 놓는 것과 비슷하기도 하고, 어느 동네라면 도로를 잘 만들어 놓는 것과 비슷하다는 생각입니다. 서울의 경우에, 원래 있던 동네에 동선을 따라 도로를 만든 강북 지역과 비교하여, 반듯하게 도로를 먼저 내어 놓고 건물을 나중에 만든 강남이 은유될 수 있을 것 같습니다. 인터넷 포탈로는 강북을 다음으로 강남을 네이버로 비유하기도 합니다. 이것은 또, 넓은 광장을 가지고 있던 그리스 문화의 다음, 반면에 엔지니어 병사들을 많이 가지고 있던 로마 문화의 네이버의 차이라고 비유해 보는 것도 재미있겠네요.

그러나, 도로 만드는 작업은 비용이 많이 들어가는 비싼 인프라입니다. 많은 인터넷 서비스들이 나중에 생겨질 많은 고객들을 위해서 초반기에 결과적으로는 지나친 서비스를 제공하다가 도산하였던 것 같습니다. 인터넷 서비스에서는 컨텐츠 없이 고객이 발생하지 않고 컨텐츠의 숫자가 많지 않다면 사이트내에서의 이동량이 그다지 발생하지 않는 것 같습니다. 

사용자에게 검색은 쉬운 기능이 아닙니다. 검색엔진이 아닌, 부분의 컨텐츠 사이트에서 Page View의 1~3% 정도가 검색 쿼리로부터 발생합니다. 특히나 컨텐츠의 숫자가 많지 않다면 대부분의 검색결과에 "검색결과없음"이 나타나게 될 것입니다. 예전에 가격비교 사이트들과 연계하여 현재의 오버추어 광고와 비슷한 "키워드 광고 판매"를 했었습니다. 가격비교사이트의 영향력이 대단했었음에도 불구하고, 하루에 20만개 정도의 검색이 발생하고 있었습니다. 여기에 광고를 판매하는 것은 매우 난감한 것이어서... 그 사업은 곧 접었습니다.

이유는 무엇이었을까? 왜 가격비교 사이트에서는 검색이 그다지 많이 발생하지 않는 것일까? 나름데로의 판단은 상품의 건수가 30~50만개의 뿐이었다는 것과 상품은 분류가 매우 잘 발달되어 있는 컨텐츠라는 것이었습니다. 이러한 경우에 사용자의 머리에는 자신이 찾으려는 상품이 분류체계의 어디에 있는지 대충 알고 있습니다. 그래서 몇번의 카테고리명 클릭으로 제품을 쉽게 찾을 수 있는 것 같습니다. 키워드로 검색하고, 검색결과를 해독하는 것보다는, 몇번의 클릭이 훨씬 더 빠른 동선이겠지요. 그래서, 무엇을 찾을떄 이름으로 찾을 수 있는 컨텐츠는 키워드 검색이 그다지 유용하지 않다고 말해야 할 것 같습니다.

신문사 사이트에서도 검색이 그다지 나타나지 않습니다. 신문기사도 하루에 발생하는 양이 그다지 많지는 않습니다. 그러니까, 과거로부터 자료를 끄집어 보려는 특수적 경우를 제외한 대부분의 신문기사 구독의 상황에서 검색을 발생하지 않는 것 같습니다.

서비스 제공자에게 디렉토리는 대부분의 경우에 매우 고비용의 작업입니다. 보통 문헌정보학과 출신의 몇명으로 구성된 팀이 필요합니다. 차라리 검색 서비스는 초기에 3천만원 이내의 비용으로 후딱 만들어 버리면 되는데, 디렉토리 구축에는 심각한 인건비가 수반됩니다. 그리고 그 분류 결과가 항상 문제가 있다고 느껴집니다.

요즘의 대안으로는 Tag를 사용하는 것이 어떨까 싶습니다. 분류체계를 가지지 않으면서 Tag로 분류해 나가는 것. 제대로 오랜세월 교육을 받은 대부분의 사람들에게는 받아들여지기 쉽지 않지만, 현재 블로그 서비스에서는 아주 값싸게, 그리고 자연스럽게 받아들여지고 있는 서비스가 바로 Tag와 Tag Cloud인것 같습니다. 이것은 디렉토리 분류 서비스인것 같기道, 검색 서비스 인것 같기 道한 Position이지만... 둘 다를 잘 섞어 놓은 방식인것 같습니다. 다만, Completeness (모두 다 나온다)는 보장하지 못하는 문제가 있기는 합니다.


--------------------------------

검색엔진과 Tag에서의 색인에는 다른 점이 좀 있습니다.

검색엔진은 키워드를 사용자가 입력하면, 검색엔진 내부에 있는 문서에서 그 키워드를 가진 문서가 결과물로 출력되는 기능을 하는 프로그램입니다.... 검색엔진의 색인어에 대해서 좀 보겠습니다. 검색엔진에서는 대부분의 경우에 자동색인기 프로그램을 사용합니다. 이것은 현재 형태소 분석기라는 프로그램의 결과를 변형해서 "동사+조사"와 "동사+어미", "명사+명사" 이렇게 분석을 해서 명사와 동사의 원형을 뽑아서 문서에 대한 색인어로 사용하는 방식이 대세입니다. 문서의 내용에는 문법이 틀린것도 많고 새로운 단어나 묘한 표현들도 많기 때문에 자동색인기 프로그램에서는 좀 오버해서 색인어를 추출하는 것이 선호되고 있습니다. 가장 단순한 자동색인 프로그램이 바이그람 색인기인데 "바이그람색인기" 라는 단어에 대해서 "바이" "이그" "그람" "람색" "색인" "인기" 를 검색엔진에 등록합니다. 그러면 "색인기"라는 입력이 들어왔을때 "색인" "인기"라느 두개가 같이 나타난 문서를 가져다가 검색결과로 보여주는 것이지요. 예전에 "핑클"을 입력하면 "서핑클럽"이 나왔던 정보탐정~~~~ 하여튼, 자동색인기를 사용하면 사람이 읽을 수 있는 단어도 있지만, 약간은 틀리거나 이상한 색인어를 추출해도 검색에서는 OK입니다.

Tag서비스는 Tag를 사용자가 입력하기 보다는 화면에 이미 나타나 있는 Tag를 선택해서 그것을 클릭하면, Tag가 붙어있는 문서들이 결과물로 출력되는 기능을 하는 서비스입니다. Tag 서비스에서는 자동 Tag추출기를 사용하지 않고 - 아직 그런 것이 없어서 겠지만 - 사람이 Tag를 입력합니다. 이 Tag는 사람이 직접 내용을 이해한 상태에서 입력하여 준 것이기 때문에, 문서의 내용을 요약, 대표하는 키워드라고 할 수 있겠습니다. 그런데 두가지 문제가 있습니다. 하나는 사람이 모두 Tag를 붙여주어야만 동작이 된 다는 것과 사람들이 Tag 붙이는 것에 훈련되지 않았고, 앞으로도 제대로 Tag를 붙이지 못할 것이라는 사실입니다.

그러므로 중규모의 서비스에서 Tag 서비스를 제공하면 좋은데, 여전히 Tag 부착 비용이 문제가 되기는 합니다.

----------------------------

컨텐츠에 Tag가 부착이 되었다면, 다양한 작업을 할 수 있겠습니다. 우선 Tag와 Tag간의 관계를 만들어 내는 것이 중요하고 두번째가 사용자에게도 Tag를 붙여 놓는 것이 좋겠습니다. 어떤 Tag를 자주 찾는 경우에 그 사용자에게 Tag를 붙여주는 것이지요. Tag는 문서를 대표하고 있기 때문에, Tag를 이용한 문서 분류, 연관된 Tag 추천, 상품 추천, 최신 트랜드, 비슷한 취향의 사람 찾기 등 다양한 서비스를 제공할 수 있겠습니다. Tag 서비스는 DBMS로 혹은 mySQL로 쉽게 구현할 수 있기도 하니... 다양한 시도도 가능할 것 같습니다. 그래서 중규모의 서비스에서는 검색창을 과감하게 잊어버리고, 혹은 검색창에 Tag를 추천하는 방식으로 바꾸어 주고 Tag서비스를 과감하게 도입하는 것이 어떨까 싶습니다.