Diquest.com

지난 4일 노보텔 엠버서더 강남에서 개최되었던 행사는 KISTI가 '지식기반 정보유통 플랫폼 개발사업’을 2년째 수행하면서 개발한 ‘온토프레임-OntoFrame’이라는 시맨틱 웹 기반 정보유통서비스 프레임웍을 이용자들에게 공개하고 구축된 사례를 발표하는 자리였습니다.

우리회사는 그동안 검색사업자로 KISTI 사업에 참여했었고 현재는 '온토프레임' 기술이전을 통한 파트너사 자격으로 행사에 함께 했습니다.

급작스럽게 몰려온 추위와 때 아닌 비로 인해 사전등록율에 비해 행사참석율이 그리 좋은편은 아니었지만 행사가 시작되고부터는 정부기관을 중심으로 일반기업 등 많은 담당자들이 시맨틱 검색에 대한 관심과 호응으로 행사는 무리없이 진행되었습니다.

시맨틱 검색의 해외 협력자인 Southampton University Dr. Hugh Glaser의 Anatomy of a Semantic Web Application이라는 기조강연으로 행사는 시작되었고 그 이어 법무부, 기술표준원, 국립국어원, 한국학중앙연구 등 온토프레임이 실제 적용된 국내 기관들의 데모가 소개되었습니다.

시맨틱 검색이라고 하면 실제로 사람들은, 현실에서의 구현능력과 이론과의 괴리가 너무 커 막연한 기대감만 주는 신기루와 같다고 생각하는 면이 있습니다. 하지만 이날 행사에서 보여준 온토프레임은 여러가지 정보를 시맨틱 웹 검색을 이용해 다양한 지식의 구조나 형태에 따라 검색결과를 나타내주어 실질적인 시맨틱 검색의 편리성과 효용성을 현실감있게 느낄 수 있게 보여주었습니다.

데모시연을 통해 상담데스크를 운영했던 우리회사는 실제로 구축된 기술표준원의 한국표준협회 용어검색시스템을 직접 보고 사용할 수 있도록 했습니다. 행사를 위한 데모가 아니라 실제로 서비스될 국가 유관기관의 사이트를 참관객들에게 선보이자 많은 분들이 데모시연에 참여하셨습니다.

기술표준원의 한국표준협회 용업검색서비스는 소셜 네트워크 검색기술을 기반으로 관련있는 인물들의 관계를 비쥬얼적으로 표현하여 공저자 관계를 유추하고 특정 주제에 대한 연도별, 분야별 트랜드를 동시에 분석하여 제공하는 특징이 있습니다.

행사에 표준협회 프로젝트 담당자 오세남 연구원님의 모습이 보이네요
이날 처음 뵈었지만 독특한 카리스마를 보여주셔서 기억에 남습니다.



이날 경품추첨을 위해 무대에 오르신 강락근사장님
유독 이날 경품추첨에 KISTI직원이 많이 뽑혔다는..ㅎㅎ



행사가 마무리 때 열심히 컴퓨터를 보는 저입니다
일하는것 같지만, 사실 행사에 참여한 직원들에게 저녁 뭐 먹일까 고민하는 중입니다.
전 이런게 제일 어렵더군요

이렇게 이날 행사는 마무리되었습니다.
2번째로 개최된 행사지만 작년에 비해 참관객도 늘었고 행사를 준비하는 손길도 더욱 많아져 그 비중이 점차 증대하고 있다는 걸 실감할 수 있었습니다.

시맨틱 검색이 미래에 우리가 만들어 낼 대안이라는 점에서, 앞으로 이 행사가 지속적으로 발전해 검색에 관심있는 분들에게 표본을 제시하는 행사로 자리매김했으면 하는 바램이 듭니다.

오토노미에서 새로운 상황 인지 웹 포털을 발표했습니다.
여기서 상황 인지라는 점은 아래 굵음체로 쓴 부분을 참조하시면 되는데,
일종의 에셜런 시스템에서 할 수 있는 역할을 할 수 있다는 것을 의미합니다.
회사 기밀을 바깥으로 빼내거나, 혹은 테러에 관련된 정보를 이야기 해도
이를 즉각적으로 감지할 수 있다는 것이지요.

의미 분석 기술에 대해서 이들도 강조하고 있다는 점은 주목할만 합니다.

참고로 금번 오토노미 3분기 실적은 전년 대비 견실한 성장세를 이어나가고
있다는 보고입니다.(http://www.autonomy.com/content/News/Releases/2008/1003f.en.html)

-웅차장-

-------------------------------------------------------------

(내용 요약)

오토노미, 보안센터를 혁신적으로 바꿀 새로운 상황 인지 웹 포털 발표

보안/감시 솔루션은 인터넷 환경에서 다양한 지식 정보에 쉽게 접근할 수 있도록 도와줌

본 솔루션의 특징은 다양한 지식 정보를 함께 검색하여 제공하는데 있다. 이는 보안에 관련된 사람들이 언제 어디서든지 이동형 기기 혹은 포털을 통해서 보안 정보를 확인해야 하는 어디에서든지 정보에 접근할 수 있도록 만듦을 의미한다.

오토노미의 의미 기반 기술에 바탕한 IDOL을 이용하여, 포털은 Virage의 커맨드 앤 컨트롤 플랫폼과 연동하여 다양한 범위의 정보를 모니터링하고 분석하여 보안 정보를 실시간으로 제공한다. 새 시스템은 이벤트의 중요성을 즉각적으로 감지하며 자동적으로 이를 연관된 정보에 연결한다. 예를 들어 감지된 무선 대화는 자동적으로 화자를 인식하며, 무엇에 대해서 논의되었고, 어떤 주제에 대해서 어떤 지식을 이야기했는지에 대해서 찾아낸다. 이는 전통적인 조사 방법론과 함께 어떤 트렌드나 숨어있는 패턴을 찾아내는 데에도 응용할 수 있다.

오토노미의 개념 기반 접근법은 보안 담당자로 하여금 상황을 정확하게 인지할 수 있도록 하며, 어떤 위협적이거나 위기에 대한 신속한 대응을 위한 최상의 기술을 제공한다. 특히 데이터는 접근 통제 정보, 비디오 감시 정보, 보안카드 인식, 안면 인식, 그리고 화상 분석 등에서 발생되는 정보들을 단일 사용자 인터페이스에 제공하고 실시간으로 제공되었다.

사이트: http://www.virage.com/content/securityandsurveillance/index.en.html
보도자료 원문: http://www.autonomy.com/content/News/Releases/2008/1006.en.html

AUTONOMY UNVEILS NEW SITUATIONAL AWARENESS WEB PORTAL TO REVOLUTIONIZE THE SECURITY CENTER

Security and Surveillance Solution to Allow Organizations Secure Access to Intelligence Information over a Standard Internet Connection

Cambridge, UK and San Francisco, Calif. - Oct. 6, 2008 - Autonomy Corporation plc (LSE: AU. or AU.L), a global leader in infrastructure software for the enterprise today unveiled its new unique Situational Awareness Web Portal that offers global companies the ability to control and monitor their security and surveillance activities through a rich user interface accessible over a standard Internet connection. This Portal not only provides security officers with a secure, comprehensive view and analysis of security scenarios, but it also allows them access to all relevant intelligence information without being restricted to the Security and Control Centre. This frees security officers to engage in hands-on investigation and monitoring throughout the premise, allowing them to keep abreast of the situation on the rest of the premises via a mobile device, or through portals installed in strategic locations.

Built on Autonomy's Meaning Based Computing technology, IDOL, the Portal is an extension to Autonomy Virage's Command and Control platform that brings together information from a wide range of applications and allows holistic monitoring and analysis of security data in real-time. The new system is able to understand the significance of an event and automatically connect it to relevant intelligence. For example, an intercepted radio conversation can be used to automatically identify the speakers, understand what is being discussed, and retrieve any existing intelligence regarding the subject. This helps to streamline traditional investigative methods and facilitate investigative work by performing conceptual analysis to reveal trends and patterns hidden in the data set.
Autonomy's unique conceptual approach to security and surveillance enables security officers to gain an acute sense of situational awareness and delivers the best technology that provides security officers with a critical asset for risk assessment and incident response planning. In addition, the Portal can be integrated with a wide variety of data sources, such as access control, video surveillance, license plate recognition, facial recognition and scene analysis and feed this information through a single user interface, allowing analysis to be conducted effectively and in real-time.

"Autonomy has long been the leader in security and surveillance technologies. The new Situational Awareness Web Portal is yet another powerful tool to enable security professionals to connect to intelligence in real-time, offering the unrivalled ability to automate security operations and uncover threats which would otherwise be missed," said David Humphrey, Managing Director of Autonomy Virage. "The Portal gives us a new leading edge in the market and offers great advantages to companies by allowing security officers to securely monitor and analyze intelligence through a standard Internet Connection."

The Situational Awareness Portal is part of Autonomy Virage's Command and Control suite which automates the capture, analysis, reporting and retrieval of security information. It is a security infrastructure platform that seamlessly integrates with the full range of security and surveillance equipment creating a completely scalable security platform. For more information on Autonomy Virage's Security and Surveillance solutions, please visit: www.virage.com/securityandsurveillance.

얼마 전 한국소프트웨어진흥원에서 모바일검색 SW동향에 관한 보고서를 내놓았습니다. 
모바일 검색은 그 유용성과 타 산업으로의 파급효과, 거대 시장으로의 높은 성장 가능성으로 관련 업체들이 미래성장동력으로 삼으려는 사업분야입니다.

국내 모바일 검색은 아직 시장형성을 위한 초기단계로, 보고서에 따르면 해외뿐만 아니라 국내 이동통신사들과 대형포털, 그리고 기업용 검색솔루션 기업들까지 모바일 검색시장의 대중화를 위해 가시적인 성과들을 조금씩 내놓고 있다고 말하고 있습니다.

자세한 사항은 첨부된 보고서와 관련기사를 링크하니 참고하세요~

관련 기사
http://www.donga.com/fbin/output?n=200809230016
http://itnews.inews24.com/php/news_view.php?g_serial=358910&g_menu=020600
http://www.etnews.co.kr/news/detail.html?id=200809160079

 

안녕하세요. DQ 컨설팅팀에 있는 윤진희입니다.
민경희 대리의 쪼임에 의해 첨으로 글을 올리네요.
어설픈 글이지만 읽는 분께 도움이 됐으면 좋겠습니다.

본론으로 돌아가서 그럼 이제부터 글 쓸께요...^^;;

제가 담당하고 있는 업무가 검색 컨설팅이다 보니 고객사분들께서
"다이퀘스트 엔진만의 장점이 뭐예여? 다른 타사 엔진도 되는 그런 기능 말고 다이퀘스트만 특별히 뛰어난 점이 뭐예여?"라는 질문을 많이 받습니다.

그러면 뭐 저는 여러 장점(?)이 있지만...우선 고객사의 말을 잘 듣는다. 영맨들이 참 사람 좋다. 개발자들이 우직하고 순박하다. 등등 사실에 기반한 DQ의 장점을 얘기하지만 크게 안먹히죠...^^ 그래서 아래의 3가지 기술적인 장점도 가끔 얘기합니다.

그래서 이번 글에서는 DQ엔진만이 가진 기술적인 장점을 잠깐 얘기해볼까 합니다.

Diquest 검색엔진 특징은 크게… 

1.       빠른 검색 속도와 높은 검색정확도

2.       자바기반으로 구현되어 문자코드와 운영체제에 독립적이며, 시스템 운영이 편리

3.       현재 정보처리에서 요구되는 clustering, categorization 등이 내장되어 있어 향후 Knowledge Framework으로 서의 확장 용이

라고 말 할 수 있을 것 같습니다. 그럼 이 3가지에 대해 조금 자세히 다시 말씀드리겠습니다.


1.       빠른 검색 속도와 높은 검색 정확도
-  검색의 기본은 검색 속도와 정확도로 반드시 확인해야 하는 필수적인 요소입니다. 검색엔진이 아무리 높은 정확도를 제시한다고 해도 속도가 뒷받침이 안되어 서비스가 불가능 하다면 소용이 없고 아무리 빠르다고 하더라도 쓸데 없는 결과만 제시한다고 하면 사용자들이 사용하지 않게 됩니다.
 
-  검색속도는 효율적인 Index 생성, 분산 처리, 시스템의 H/W 사용 효율성, 개발자의 Programming Skill 등 여러 가지 요소가 복합적으로 작용하여 결정됩니다. 모든 검색엔진 업체가 저 마다 자신의 강점을 강조하고 있는데 위에서 살펴 본 것과 같이 다양한 요소가 복합적으로 작용하므로 직접 실측하거나 타 사이트 레퍼런스 BMT의 비교자료를 보시고 판단하는 것이 제일 좋은 방법이며 국내 가장 많은 검색 트래픽을 가지는 사이트 중에 하나인 GMarket 자료는 다이퀘스트 엔진 성능 평가에 좋은 예제가 될 수 있습니다.

-  검색은 언어분석, Retrieval, Relevance Ranking을 과정을 거치며 검색 정확도는 이 3단계에 의해 좌우 됩니다. 첫째로 다이퀘스트는 자연어언어처리 전문가 집단으로 구성된 회사로 자타가 공인하는 최고성능의 언어 분석기 씁니다. 두번째로 Retrieval 과정은 사용자 검색질의에 대한 관련문서를 모두 추출하는 단계로 언어 분석에 의해 좌우되니 다이퀘스트는 앞서 말씀드린데로 최고의 언어분석기를 사용하므로 더 말씀드리지 않겠습니다. 세번째로 Relevance 랭킹은 Pagerank, 기타 등등의 다양한 통계적 방법이 사용되나 기본적으로는 각 도메인에 특성에 맞는 랭킹이 가장 적합하며 다이퀘스트에서는 기본적으로 사용되는 방법을 제공함과 동시에 각 도메인에 맞는 랭킹을 적용할 수 있는 프레임웤을 제공합니다.


2.       시스템 호환성 및 운영
-   빠른 검색 속도와 높은 검색 정확도를 가지더라도 시스템적으로 이를 지원하지 못하면 머리만 있고 팔다리가 쫒아가지 못하는 형국이 됩니다.

-  시스템 어플리케이션 개발을 위해서는 크게 JAVA 와 C/C++이 사용됩니다. Java는 C/C++에 비해 운영체제에 독립적, 메모리 관리, JVM 이용 등으로 시스템 안정성이 좋으며, 시스템 오류 발생시 원인 파악 및 처리 유리 등 시스템 설치와 운용, 유지보수 등에 장점을 가지고 있습니다. C/C++은 시스템을 자원을 직접 컨트롤 할 수 있어 자바에 비해 속도적 측면에 장점이 있고 윈도우에서는 기본적으로 C++ 개발을 지원하여 윈도우 어플리케이션 개발에도 자바보다는 유리합니다만 위에서 말씀드렸듯 자원 컨트롤을 하나하나 해줘야 하는 어려움과 잘못 되었을 시 시스템 자체에 큰 문제를 야기할 수 있다는 단점이 있습니다. 이런 개발사에서 책임져야 하는 개발 편이성을 열외로 하고도 두 언어를 비교하자면 시스템 설치, 운영, 유지보수 등에는 자바가 강점이 있고 윈도우 어플리케이션 개발과 그래픽 처리, 언어처리 등 많은 량의 데이터를 처리하는 어플리케이션에서는 속도 문제 때문에 C/C++을 사용하고 있습니다.

-  다이퀘스트 엔진은 2년이 넘는 개발기간을 거치며 자바를 이용하여 시스템 설치, 유지보수 편리라는 자바만의 장점을 살리면서도, 대용량을 처리하기 위한 속도 문제를 분산처리와 자원의 효율적 사용, 데이터 압축 기술 등을 이용하여 해결하였습니다.

-  자바사용시의 장점 다시 정리

n   운영체제 독립
   u       현재 거의 모든 운영체제가 JVM을 지원하고 있으며 Diquest 검색엔진은 JVM이 설치된 모든 운영체제에 적용이 가능하므로 설치가 용이합니다.
   u       C/C++을 사용하는 경우에는 각 운영체제에서 지원하는 라이브러리를 이용하여 컴파일 하여야 하므로 각 운영체제 라이브러리 특성에 따른 프로그래밍이 필요하여 문제가 발생할 소지가 있습니다.
n   시스템 자원 관리
   u       자바는 JVM을 이용하여 표준화된 시스템 자원 관리가 되므로 안정적입니다. 메모리 사용을 예로 들면 자바에서는 JVM을 이용해 메모리 사용량을 제한 할 수 있으나 C/C++ 등에서는 각 프로그램에서 이를 컨트롤 할 수 있는 프로그래밍이 필요하며 시스템의 관리 없이 직접 메모리를 컨트롤 할 수 있어 한 프로그래밍의 사소한 오류로 전체 시스템이 영향을 받을 수 있습니다.
   u       JVM에서 기본으로 제공하는 표준화되고 안정적인 쓰레드 시스템을 사용하여 각 OS 나 다양한 라이브러리를 통해 쓰레드를 제공하는 C/C++에 비해 안정적인 분산 시스템을 사용할 수 있습니다.

n   시스템 운영 및 유지 보수
   u       JVM은 기본으로 오류 및 이를 추적하기 위한 모듈이 tightly coupled 하게 인테그레이션 되어 있습니다. 따라서 디버깅을 위해 디버그 모드로 컴파일 해서 사용하거나 디버그 툴(GDB, DDD 등), 메모리  관리 툴(dmalloc, boundary checker, electricfence), 실제 시스템에서의 오류를 찾아내기 위한 툴(strace, ltrace) 등을 따로 사용하는 C/C++에 비해 실환경에서 발생한 오류의 원인을 찾아 내고 해결 하기 쉽습니다.
   u       자바로 된 검색엔진은 JVM 위에서 구동 되므로 검색엔진이 오류가 기존의 다른 어플리케이션에 미치는 영향을 최소화 할 수 있습니다.


3.       향후 Knowledge Framework 으로 서의 확장 용이성
-   현재 정보처리의 트렌드는 검색엔진의 제한성을 극복하기 위해 클러스터링, 카테고라이져, 감성분석, 시멘틱 웹 등 다양한 정보처리 기술을 요구하고 있습니다. 현재 다이퀘스트는 클러스터링과 카테고라이져가 인테그레이션 된 검색엔진으로 향후 쉽게 이 기능을 확장할 수 있으며 금년도 말에 감성 분석, Web 2.0 지원, RIA기반 시각화 지원...차년도에 시멘틱 웹 및 개인화 지원 등이 예정되어 있어 차후 트렌드에 맞는 기술지원이 용이 합니다.