흠..

실력이 부족하고.. 한참 모자르지만..

할수 있는 것이라면 어떤 것이든 도와드리겠습니다. 군대 가기 전까지야.. 못할것 없음.

전 중요한건 안되더라도 작은건 모두 참여하겠습니다.

저두 참여하겠습니다 ㅎㅎ

아 근데 상업적으로 사용못한다는게 -.-;

pgsql을 돈받고 못판다는건지 아니면 KTS가 적용된 tsearch2를 사용하는 pgsql을 DBMS로 쓰는 사이트에서 돈을 한푼도 못번다는 것인지요? -.-;

ㅡㅡㅋ 여튼 저도 할수 있는건 하겠습니다.. 어떻게 하면 될까요? ^^;

한 3년 PostgreSQL의 Backend system과 관련해서 몇가지 작업을 해 보면서 점점 그 유용성에 매력을 느끼는 사람입니다. 특히 관심을 가지는 분야는 GiST 및 bespoke database systems입니다.. 많은 분들이PostgreSQL을  MySQL과 같은 수준에서 단순 업무에 이용하는 것에 관심이 많은데, GiST에 관심을 가지고, PostgreSQL에 대해서 비슷한 구상을 하고 있는 분이 계셔서 의외이면서도 반갑습니다.

이제 조금 시간적인 여유가 생겨서, 평소 생각하던 것들을 하나씩 해보고 싶은데, 좋은 구상이 있어서 서로 도움이 될 수 있다면 좋겠네요. 구상하는 일에 어떤 진전이 있는지 궁금합니다.

참고로, 님께서 쓰신 글중에 R-tree기법을 적용한 GiST를 multi-dimensional indexing에 이용해 봤더니 속도가 무지 느리다는 글을 봤습니다. 예상되는 결과라고 생각됩니다. R-tree가 Oracle이나 기타 상용 DB에서 많이 지원되는 큰 이유 중에 하나는 개발과 안정화가 쉬우면서도 geometric approximation(!!)에 효과적이라는 이유 때문일 것 같습니다. 하지만 조금만 복잡한 응용에서는 그다지 효과적이지 못하죠.. .PostgreSQL을 사용하는 이상, 좀더 복잡하고 영리한 indexing 기법을 한번 시도해 보는 것이 재미있지 않을까 싶습니다.

기존의 GPL을 따르면서 상용에는 사용 못한다는 이상한(?) 라이센스에서 완벽한(?) GPL 라이센스로 변화하였습니다.

아래의 링크를 참조해 보시면 됩니다

그럼...

http://chem.skku.ac.kr/~kle/main/KTS

드디어 시작하시는 군요.

저도 개인적으로 시작하려고 준비하고 있었는데... 시간이 안 나 지지부진 합니다.

제 생각에는 좀더 폭넓게 사용할 수 있도록 체계적인 api 형태로 먼저 개발을 하고 이를 tsearch에 적용하는게 어떨까 합니다.

그리고 이 형태소 분석기에 사용할 수 있는 사전 프로젝트도 별도로 진행하는 것도 좋을 것 구요.

관심 많이 가지고 최대한 참여하겠습니다.

사실 저희 회사 차원에서 진행 하려고 생각 중이였는데... 좀 더 구체화 되도록 힘써보겠습니다.

http://kldp.net/projects/hangul/

범용으로 시작할 생각이라면 위의 프로젝트와 연계하거나 함께 작업하는 걸 고려해보는 것도 나쁘지 않을 것 같습니다. 아무래도 프로젝트를 진행중인 분들이 이 분야에서 활발하게 활동할 뿐 아니라 실력도 대단하신 분으로 알고 있습니다. 참고하세요 :)

KTS를 tsearch2에 붙이는 문제.. 어떤 진전이 있었나요?

제가 약간(아주 약간) 생각해 봤는데... 이 형태소 분석기... 검색엔진에 잘 맞을지 의문입니다. KTS는 말 그대로 구문 분석기로써 맞춤범 검사나 자연어 처리등에는 맞을지 몰라도 검색엔진에는 좀 문제가 있을 것 같습니다. 검색엔진은 형태소를 추출하는 것 보다는 키워드는 정확하가게 뽑아내는 것이 더 중요한데 KTS는 개발 방향이 좀 다른 것 같습니다.

KTS page의 예에서

$ ./ktsdemo < test.txt

= 즐겁고 재미있는 우리 생활에 대하여 이야기해 봅시다.

o 즐겁/pa+고/ecq

o 재미있/pa+는/exm

o 우리/npp

o 생활/nc+에/jca

o 대하/pv+어/ecx

o 이야기/nca+하/xpv+어/ecx

o 보/px+ㅂ시다/ef+./s.

이렇개 되 있는데.

두번째 분석 결과를 보면 '재미있'과 '는'으로 분리를 했는데요. 검색엔진을 위해서라면 '재미', '있', '는' 으로 잘라서 '있'과 '는'은 불용어 처리 해야 하는 것 아닌지 생각이 되네요.

그리고 실제 검색기를 적용하다보면 사전이 전문적인 용어를 다 포함하기 힘들기 때문에 한 복합 단어를 가능하 많은 경우로 나눠줘야 하는데 kts에 이런 기능이 있을까요? 예를 들어 재난및안전관리기본법시행령및시행규칙제정안 이라는 법률 이름의 경우 법률은 띄어쓰기를 하지 않는 것이 관례이기 때문에 이렇게 여러단어가 붙어있게 됩니다.

이런 상황에서 '시행'이란 단어도 있지만 '시행령'이란 단어로도 나눌수 있어야 합니다. 마찮가지고 '기본'이라는 단어를 추출할 수도 있으면서 '기본법'이란 단어를 추출할 수도 있죠.

문제는 '기본' '기본법' 모두 사전에 있을 확율이 높기 때문에 가능할지 몰라도 사전에 아애 없는 단어가 실무에서는 더 많을 수 있다는거죠. 그러니 어림 잡아서 가능한 모든 단어를 다 잘라내는 작업이 필요합니다.

한 검색엔진 회사에서는 아에 가능한 모든 조합(?)으로 단어를 자릅니다. 예를 들어 '한글사랑'이라는 단어가 있을 경우,

한

글

사

랑

한글

한글사

글사

글사랑

사랑

이렇게요. 이런방식이 무슨 구문분석이냐고 할지 모르지만 중요한 것은 문서를 검출해내는 것이지 얼마나 학문적으로 완벽한 구문 분석을 하느냐는 것이니 일리가 있어보입니다.

제가 예전에 심마니를 좋아하지 않았었는데 심마니가 너무 구문분석의 정확성에 치중한 나머지 검색 결과가 너무 많이 나오거나 안나와서 검색에 실패하는 경우가 많았기 때문입니다.

저는 오히려 한글 구문분석을 전혀 하지 않는 google아나 altavista가 맘에 들더군요.

어떻게 생각하십니까?

현재 형태소 분석을 이용한 색인어 추출기 구현중입니다

언어는 좀 무리이겠지만 PHP를 이용했습니다

데모는

http://lab.zagia.com

늦은 감이 있지만 형태소 분석기 구현에 도움을 드렸으면 하는군요

tsearch2라는 것이 도통 뭔지 모르겠지만요