2007년 03월 17일
엠파스 스토리 2000
그동안은 명사만 뽑아주는 색인어 추출기만 찾는 사람이 가끔 있었는데, 99년 가을에는 동사, 형용사도 뽑아주어야 하는 색인기를 처음으로 요청받았습니다. 그 모듈을 처음으로 탑제한 엠파스라는 검색엔진 99년 말에 나왔습니다. "야후에서 못찾으면 엠파스", "문장으로 찾아주는 검색엔진" 이라는 Copy를 들고 안경쓴 토끼가 전철의 광고판을 채웠습니다.
검색이나 자연어처리를 전공한 사람에게 "문장으로 찾아주는"이라는 수식어는 참 조심스러운 것인데, (오해하기 쉬우니깐), 어쨌든 사용자의 입장에서는 상당히 좋은 서비스 였던것 같습니다. "문장으로 찾아주기"위해서는 검색엔진의 색인은 물론이고 랭킹 모듈이 모두 이전의 것과 달라야 했습니다.
이전에는 (지금은 거의 사라진 불리안 쿼리) "AND, OR, NOT"을 사용해서 어렵게 쿼리를 만들어야 하는 것이 당연했지만, "자연어 검색"부터는 문장을 입력하면, 그 입력된 문장에서 나온 단어가 가장 많이 matching되는 문서부터 결과로 뽑아주니까, 사용이 매우 편리했던것 같습니다. 그당시 해외에는 "자연어 질의"를 제공하는 검색엔진이 꽤 있었지만, 우리나라에서는 엠파스에서 최초로 시도된 것 같습니다.
당시에 엠파스는 500만건 정도의 웹문서를 수집해서 검색하여 주었고, 네이버는 200만건 정도, 심마니는 100만건정도를 서비스하지 않았나 싶습니다. 웹 문서 500만건, 200만건, 100만건은 기술의 난이도에서 완전히 다른 수준이었습니다. 웹문서 크롤러, 색인의 속도, 장비의 가격 모두 새로운 방식이 적용되었습니다. 당시에는 SUN 장비를 사용하는 것이 대세였는데, 엠파스는 상당히 앞서서 Linux와 php를 사용해서 서비스를 할 수 있는 과감한 결정(자금사정상?)을 하였습니다. 또 엠파스에는 좋은 웹문서 수집기 - 크롤러 - 가 있어서 가장 많은 문서를 수집할 수 있었던 것 같습니다. 웹문서 수집기가 좋다는 것은 그 만큼 정성스럽게 프로그램을 키워준 좋은 엔지니어가 있다는 것일텐데, 두고두고 부러웠었습니다. 프로그램으로는 "자연어 질의"가 가능한 최신의 검색엔진을 도입했으므로 앞서갈 수 있었던 것은 어찌 보면 당연한 일인것 같습니다.
엠파스에 검색솔루션을 제공한 회사가 "서치 솔루션"이라는 회사인데 (제가 잠시 사장을 했었드랬죠 ^^;;) 서치솔루션은 2001년 네이버에 인수가 되었습니다. "서치 솔루션"이 엠파스와 결별하고 "네이버"로 가게된 이유는 아무래도 비용의 문제였던 것 같습니다. 당시 네이버는 새롬에서 받은 자금이 충분하게 있었고, 엠파스는 그다지 자금의 여유가 없었던 것 같습니다. 모 게이트에도 휘말렸구요... 엠파스로서는 당혹스러운 시절이었을 것 입니다. 그래서 엠파스가 새롭게 선택한 파트너가 "코난테크놀로지"였습니다. 2001년에 엠파스는 검색 솔루션을 교체하면서 네이버와 경쟁을 하여야 하는 어려운 상황에 빠지게 되었습니다.
검색 솔루션 교체는 상당히 어려운 작업입니다. 음식점에 주방장이 바뀌었는데도, 맛은 이전과 같아야 하는 것과 비슷하지 않을까... 싶네요. 어렵게 코난테크놀로지로 솔루션을 교체한 이후에, 엠파스에게는 이미 너무 커져버린 네이버에 눌린것 같습니다. 사실, 간단하게 생각했던 검색 솔루션 교체에 너무 많은 시간을 소비해 버린 것 아닌가 싶기도 합니다. 2001에 국내 검색엔진은 통합검색 시절로 접어들게 되었는데, 그 당시에 검색엔진에서 처리해주어야 하는 컨텐츠는 10가지가 휠씬 넘었습니다. 각각의 컨텐츠는 컨텐츠에 맞도록 랭킹과 색인을 튜닝해주는 작업이 필요하였구요. 네이버는 서치솔루션의 석사이상 엔지니어를 20명정도 가동할 수 있었지만, 엠파스로서는 그 정도의 엔지니어를 보유할 수 없었고, 처우 수준도 높지 않았다기 보다는 낮았었기 때문에... 검색 솔루션 교체와 통합검색 파라다임에 꼼짝없이 당하게 된 것 같습니다.
엠파스가 보유하고 있던 장점중에 하나는 서퍼 조직이었습니다. 2003년까지도 야후는 사이트 DB (디렉토리)로 검색엔진 업계에서 정상을 차지하고 있었지만, 엠파스는 웹문서 검색과 더불어 디렉토리를 구축하는 작업을 2000년정도 부터 시작했던 것 같습니다. 뒤늦게 따라가는 입장에서 엠파스는 나름데로 훌륭한 시스템을 구축한 것 같습니다. 그 시스템은 "검색 기획"인데, 사용자가 검색할 만한 쿼리에 대한 내용을 미리 작성해서 제공하는 Special content입니다. "봄꽃", "수능" 같은 계절별 키워드를 3개월전부터 기획해서 컨텐츠를 만들어 제공하는 시스템은 참으로 부러웠습니다.
엠파스가 왜 검색엔진을 자체적으로 개발하지 않았을까.... 왜 게임과 메일 등으로 범위를 넓혔을까...
검색엔진을 개발해보면, 최고급 엔지니어 3명정도가 필요한 것 같습니다. 여기서 최고급 엔지니어는 프로그램을 잘 만드는 사람이라기 보다는, 버그가 적고, 속도가 빠르고, 융통성이 있는 프로그램 라이브러리를 가지고 있는 사람이라고 하는 것이 더 정확할 듯 합니다. 새롭게 프로그램을 시작해야 하는 입장이라면, 아마도 검색엔진을 만들기는 어렵지 않을까 생각됩니다. 이러한 노련한 엔지니어 3명이 엠파스에는 없었을 것 같기는 합니다.
최근에 엠파스는 자금과 기술진 그리고 컨텐츠까지 모두 얻었습니다. 아마도 그동안 부족했던 모든 것이 해결되지 않았나 싶습니다. 이제부터 어떤 것을 만들어갈 수 있을런지.... 자금과 기술진과 컨텐츠를 받고 내주어 버린 경영권이 또다른 걸림돌은 아닐런지....
새로운 엠파스 스토리는 이제부터 시작될 것 같습니다.
검색이나 자연어처리를 전공한 사람에게 "문장으로 찾아주는"이라는 수식어는 참 조심스러운 것인데, (오해하기 쉬우니깐), 어쨌든 사용자의 입장에서는 상당히 좋은 서비스 였던것 같습니다. "문장으로 찾아주기"위해서는 검색엔진의 색인은 물론이고 랭킹 모듈이 모두 이전의 것과 달라야 했습니다.
이전에는 (지금은 거의 사라진 불리안 쿼리) "AND, OR, NOT"을 사용해서 어렵게 쿼리를 만들어야 하는 것이 당연했지만, "자연어 검색"부터는 문장을 입력하면, 그 입력된 문장에서 나온 단어가 가장 많이 matching되는 문서부터 결과로 뽑아주니까, 사용이 매우 편리했던것 같습니다. 그당시 해외에는 "자연어 질의"를 제공하는 검색엔진이 꽤 있었지만, 우리나라에서는 엠파스에서 최초로 시도된 것 같습니다.
당시에 엠파스는 500만건 정도의 웹문서를 수집해서 검색하여 주었고, 네이버는 200만건 정도, 심마니는 100만건정도를 서비스하지 않았나 싶습니다. 웹 문서 500만건, 200만건, 100만건은 기술의 난이도에서 완전히 다른 수준이었습니다. 웹문서 크롤러, 색인의 속도, 장비의 가격 모두 새로운 방식이 적용되었습니다. 당시에는 SUN 장비를 사용하는 것이 대세였는데, 엠파스는 상당히 앞서서 Linux와 php를 사용해서 서비스를 할 수 있는 과감한 결정(자금사정상?)을 하였습니다. 또 엠파스에는 좋은 웹문서 수집기 - 크롤러 - 가 있어서 가장 많은 문서를 수집할 수 있었던 것 같습니다. 웹문서 수집기가 좋다는 것은 그 만큼 정성스럽게 프로그램을 키워준 좋은 엔지니어가 있다는 것일텐데, 두고두고 부러웠었습니다. 프로그램으로는 "자연어 질의"가 가능한 최신의 검색엔진을 도입했으므로 앞서갈 수 있었던 것은 어찌 보면 당연한 일인것 같습니다.
엠파스에 검색솔루션을 제공한 회사가 "서치 솔루션"이라는 회사인데 (제가 잠시 사장을 했었드랬죠 ^^;;) 서치솔루션은 2001년 네이버에 인수가 되었습니다. "서치 솔루션"이 엠파스와 결별하고 "네이버"로 가게된 이유는 아무래도 비용의 문제였던 것 같습니다. 당시 네이버는 새롬에서 받은 자금이 충분하게 있었고, 엠파스는 그다지 자금의 여유가 없었던 것 같습니다. 모 게이트에도 휘말렸구요... 엠파스로서는 당혹스러운 시절이었을 것 입니다. 그래서 엠파스가 새롭게 선택한 파트너가 "코난테크놀로지"였습니다. 2001년에 엠파스는 검색 솔루션을 교체하면서 네이버와 경쟁을 하여야 하는 어려운 상황에 빠지게 되었습니다.
검색 솔루션 교체는 상당히 어려운 작업입니다. 음식점에 주방장이 바뀌었는데도, 맛은 이전과 같아야 하는 것과 비슷하지 않을까... 싶네요. 어렵게 코난테크놀로지로 솔루션을 교체한 이후에, 엠파스에게는 이미 너무 커져버린 네이버에 눌린것 같습니다. 사실, 간단하게 생각했던 검색 솔루션 교체에 너무 많은 시간을 소비해 버린 것 아닌가 싶기도 합니다. 2001에 국내 검색엔진은 통합검색 시절로 접어들게 되었는데, 그 당시에 검색엔진에서 처리해주어야 하는 컨텐츠는 10가지가 휠씬 넘었습니다. 각각의 컨텐츠는 컨텐츠에 맞도록 랭킹과 색인을 튜닝해주는 작업이 필요하였구요. 네이버는 서치솔루션의 석사이상 엔지니어를 20명정도 가동할 수 있었지만, 엠파스로서는 그 정도의 엔지니어를 보유할 수 없었고, 처우 수준도 높지 않았다기 보다는 낮았었기 때문에... 검색 솔루션 교체와 통합검색 파라다임에 꼼짝없이 당하게 된 것 같습니다.
엠파스가 보유하고 있던 장점중에 하나는 서퍼 조직이었습니다. 2003년까지도 야후는 사이트 DB (디렉토리)로 검색엔진 업계에서 정상을 차지하고 있었지만, 엠파스는 웹문서 검색과 더불어 디렉토리를 구축하는 작업을 2000년정도 부터 시작했던 것 같습니다. 뒤늦게 따라가는 입장에서 엠파스는 나름데로 훌륭한 시스템을 구축한 것 같습니다. 그 시스템은 "검색 기획"인데, 사용자가 검색할 만한 쿼리에 대한 내용을 미리 작성해서 제공하는 Special content입니다. "봄꽃", "수능" 같은 계절별 키워드를 3개월전부터 기획해서 컨텐츠를 만들어 제공하는 시스템은 참으로 부러웠습니다.
엠파스가 왜 검색엔진을 자체적으로 개발하지 않았을까.... 왜 게임과 메일 등으로 범위를 넓혔을까...
검색엔진을 개발해보면, 최고급 엔지니어 3명정도가 필요한 것 같습니다. 여기서 최고급 엔지니어는 프로그램을 잘 만드는 사람이라기 보다는, 버그가 적고, 속도가 빠르고, 융통성이 있는 프로그램 라이브러리를 가지고 있는 사람이라고 하는 것이 더 정확할 듯 합니다. 새롭게 프로그램을 시작해야 하는 입장이라면, 아마도 검색엔진을 만들기는 어렵지 않을까 생각됩니다. 이러한 노련한 엔지니어 3명이 엠파스에는 없었을 것 같기는 합니다.
최근에 엠파스는 자금과 기술진 그리고 컨텐츠까지 모두 얻었습니다. 아마도 그동안 부족했던 모든 것이 해결되지 않았나 싶습니다. 이제부터 어떤 것을 만들어갈 수 있을런지.... 자금과 기술진과 컨텐츠를 받고 내주어 버린 경영권이 또다른 걸림돌은 아닐런지....
새로운 엠파스 스토리는 이제부터 시작될 것 같습니다.
# by | 2007/03/17 11:57 | 검색 스토리 | 트랙백 | 덧글(2)
☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]