|
초고속 배치처리가 가능한 제품소개입니다.
10년간의 노력으로 30개국 세계특허 획득한 알고리즘을 개발하였습니다.
간단히 설명드리면 20억레코드(용량제한 없음)를 수초만에 소트 가능한 솔루션입니다.
연구결과를 인정받고 상품화 된건 요근래입니다. 한국에 소개하는건 이번이 처음입니다.
|
지금 모든 업계에서는 RDB가 주류를 이루고 있고 그 성능한계를 극복하기 위하여, 하드웨어에 의존하고 있는 실정입니다. 하드웨어 의존도 하나의 현실문제 해결을 위한 방법이 될 수 있겠지만, 궁극적으로 TCO증가를 가져오고 하드웨어 증가가 데이터용량 증가와 현실적인 니즈를 따라 잡을 수 없는 현실입니다.
LFM처리의 개발로 업무효율 증대와 TCO절감 뿐만아니라 EUC(End User Computing)환경에도 새로운 전환기를 맞이할 것이라고 생각합니다. 대용량의 데이터를 엑셀(Excel)감각으로 조작하고 스트레스 없는 대기시간으로 처리 가능하도록 실현하였기 때문입니다. |
|
|
|
|
MMDBMS라는 이름만으로는 처리의 고속화를 기대할 수 없다
64비트 시대를 맞이하여 컴퓨터에 대량의 메모리를 탑재할 수 있게 되었습니다. 그러나, RDMBS상에 존재하는 대량의 데이터를 단순히 메모리상에 격납한다고 하여도 수배정도의 데이터 처리성능 향상밖에 얻을 수 없습니다.
프로세서의 내부 클록은 3GHz를 넘고 있습니다. 그러나, 메모리 액세스의 레이텐시는 고작 50n초 정도로 그 차이는 150배 이상 벌어지고 있습니다. 그 때문에 대량의 메모리상의 데이터에 랜덤액세스 할 경우, 프로세서의 L1/L2 캐쉬의 효과는 무용지물이 되고 소규모 메모리 액세스의 경우와 비교하면 "2자리수 성능저하"마저 발생하고 있기때문입니다.
이러한 심각한 메모리 헤저드 발생의 유효한 회피책은 지금까지는 제안 되어져 온 적이 없었습니다. 또한, 피하기 어려운 조류가 되고 있는 프로세서의 멀티 코어화를 이용한, 폭 넓은 처리의 병렬화도 구체적으로 달성할 방법은 전무 하였습니다.
폐사에서 개발한 「벡터 성분화 기술」은 이러한 문제를 단번에 해결할 수가 있습니다. |
|
|
|
|
|
|
|
|
 |
|
|
|
|
 |
|
|
|
|
|
RDBMS기반 데이터 처리는 레코드 단위처리입니다. 그로 인한 비효율적인 작업이 필수 불가결 하였습니다.
그러나, FAST구조는 Field, Column단위처리가 가능하도록 테이블의 각 Column에 대해 성분분해 관리 합니다.
FAST 성분 분해로 인하여 고가의 디스크 스페이스를 대폭 절감 할 수 있습니다.
또한, 무한대에 가까운 20억행의 레코드를 조작할 수 있을 뿐 아니라, 가시적인 처리가 가능하게 되었습니다.
FAST기술은 또한 세계 최고의 속도라고 자부할 수 있는 처리속도를 실현 시켰습니다. |
|
|
|
|
|
 |
|
|
|
|
 |
|
|
|
|
|
LFM은 FAST구조를 처리하기 위한 알고리즘 입니다.
대용량 DB 처리에 특화 되어 있어 대용량 DB조차도 일괄적으로 처리합니다.
LFM의 모든 프로세스가 On Memory로 처리 되어지기 때문에 RDBMS의 불필요한 디스크 액세스를 발생 시키지 않으므로 고속처리가 가능합니다.
또한, RDBMS의 Query과정에서 반드시 발생하는 중간파일 생성이 없기때문에 더욱 빠른 처리가 가능했습니다.
끊임없는 연구를 거듭하여 LFM/FAST를 비롯하여 30개 이상의 유사 분야 특허를 세계 각국에서 획득하였습니다.
이러한 연구성과가 업계에서 지금까지 속도/용량 때문에 포기해 왔던 수많은 새로운 분야를 새롭게 개척 할 것입니다.
|
|
|
|
|
|
 |
|
|
|
|
|
 예를 들어, 기존의 Sort처리에 필요한 시간은 n개의 레코드수에 대하여 이론적으로 n*log(n)으로서 레코드 수가 증가함에 따라 점점 더 느려지는 경향을 가지고 있습니다.
하지만 FAST구조를 이용한 LFM기법에서는 레코드 수 n의 증가에 따라 선형적인 증가를 보이고 있습니다.
이러한 특성때문에, 데이터의 증가에 따른 미래 처리시간의 예측과 하드웨어 증강 시기의 적절한 판단이 용이합니다.
또한, FAST구조는 검색, 조인, 집계, 다단계 처리 등 어떠한 처리를 하여도 FAST구조를 그대로 지니고 있는 특성이 있으므로 모든 처리에 대하여 선형성을 유지할 수 있습니다.
이러한 데이터 처리를 할 때에 FAST구조내의 데이터는 최소한의 갱신처리만 실행 되므로 초고속 처리를 실현 할 수 있습니다.
FAST구조가 유용하게 사용되어 지는 또하나의 특성은 바로 병렬화입니다. 일반적으로 단일 메모리 공간상의 FAST구조를 분산병렬 환경상의 FAST구조로 변환할 수 있습니다. 기존의 모든 처리는 분산 병렬 환경상에서 프로세서수와 통신경로에 비례하여 Bottle Neck을 발생시크지 않고 병령도를 올릴 수 있습니다. 즉, 성분분해법을 사용하면 사실상 얼마든지 빠른 일반 데이터 베이스 시스템을 설계할 수가 있습니다.
|
|
|
스피디한 처리 능력이야 말로 앞으로의 기업 성장에 있어서 키포인트가 될 것입니다"
지금의 기업활동은 어떻게 할 것이냐의 문제에서 얼마나 빠르게 할것이냐의 문제로 귀착되어지고
있습니다.
마케팅을 위한 데이터 분석을 위하여 종래에는 수개월 전의 데이터를 활용하기도 하였습니다. 그러나, 지금은 전월 또는 어제의 데이터를 바로 활용하고자 하는 니즈가 확산되고 있으며 심지어는 리얼타임 데이터를 이용하고자 하는 움직임도 강하게 일어나고 있습니다.
하지만, 데이터 가공을 위한 툴의 스피드에는 한계가 있기 때문에 그러한 니즈에 응할 수 없는것이 현실입니다.
또한 분석을 위하여 다양한 변수를 활용해야 하는 분야에서는 속도개선을 위하여 사용하면 업무효율을 대폭 늘릴 수 있는 변수들을 버려야하는 상황도 현장에서 많이 볼 수 있습니다.
이러한 문제점은 기존 Storage를 위한 RDB가 지니고 있는 아키텍쳐에 기인한 것으로서, 그 성능 향상에는 한계가 있기 때문입니다.
저희는 이러한 문제에 착안하여 RDB가 수행하기에 적합하지 않은 일련의 처리를 초고속화 하는데 성공하였고, 주식회사 후지츠 일본 등에서 4년이상 전혀 문제없이 그 기능을 발휘하고 있는것을 확인하였습니다.
또한 저희는 보다 빠른 처리를 위한 연구에 집중 투자하여 메모리 히트율 개선, 초병렬처리 효율을 증가한 새로운 제품을 발표하였고 동 연구에 계속 투자하고 있습니다.
|
|
|
|
 |
|
|
|
|
|
DAYDA.LABOO는 LFM/FAST Method를 실장하고 데이터 가공처리(소트, 조인, 검색, 추출, 집계, 계산 등)
기능을 함수화하여 업무프로그램으로부터 분리, 독립적으로 처리 하기위한 초고속 데이터베이스 처리 엔진입니다. |
|
|
|
|
 |
|
|
|
|
|
- SMP(Symmetric Multiprocessing) 와 멀티코어를 지원합니다.
- 세계최초로 데이터 가공처리의 병렬화를 실현시켰습니다.
- PC(Multi CPU포함)는 물론, 서버(SMP, Multi Core), CELL초병렬 컴퓨터까지 지원합니다.
- 데이터 병렬화를 프로그래밍 인디펜던트로 실현시켰습니다.
- 소규모 데이터는 물론 21억행(32비트행 카운터)에 달하는 대규모 데이터까지 통일적으로 관리합니다.
|
|
|
|
|
|
|
|
|
|
|
- 기존 고속화 기술에 비해 수백배이상의 경이로운 고속화를 이루었습니다.
- 종래의 레코드 단위 처리와는 달리, 전혀 새로운 개념인 [파일 단위 온메모리 일괄 처리]를 실현하였습니다.
- 대규모 테이블(표형식)데이터를 비쥬얼, 인터렉티브하게 고속처리합니다.
- Ex. 10억행의 JOIN명령을 처리하는 시간 0.1초(노트북)이하로 처리합니다.
- Ex. 1억행(모든 레코드가 다른값을 가지고 있습니다)의 SORT명령을 3.4초(SUN T1 Server)로 처리합니다.
|
|
|
 |
|
|
|
 |
|
|
- System Cost (구성, 운용)비용의 대폭 삭감 효과
--RDBMS에서의 배치처리 과정에서 필수불가결하게 작성되어지는 "배치 중간 파일" 을 생성하지 않아, 디스크 용량에 대한 효율을 높일 수 있습니다.
-배치 운용 시간 단축과 프로세스 간략화로 멘테넌스 인원감축, 하드웨어 감축 등과 여러가지 수반 효과가 보실 수 있습니다.
-시스템 개발 코스트(기간, 비용)를 단축 시킬 수 있습니다.
-GUI(LIFIT II Java Studio)에 의한 데이터를 사용하여 최종 결과를 산출하면 바로 Java소스 코드가 자동 생성됩니다.
-기업에서는 무엇보다 결과적으로 TCO(Total Cost of Ownership)의 대폭 절감 효과를 볼 수 있습니다. |
|
|
|
|
|
 |
|
|
|
|
 |
|
|
-자사 시스템에 DAYDA.LABOO를 실장함으로서 제품의 완성도를 높일 수 있습니다.
-DAYDA.LABOO를 실장한 시스템을 연구, 개발 함으로서 새로운 시장을 개척할 수 있습니다.
-실제로 후지츠(전사조달시스템)을 비롯 유력한 100개 이상의 기업에서 도입 완료 하였으며, 폭넓게 응용 되어지고 있습니다. [도입사례]에서 자세하게 소개합니다. |
|
|
|
|
|
|
 |
|
 |
|
 |
|
|
|
|
|
|
|
|
|
|
|
|
(주)후지츠BSC(일본)는 특허실시권을 취득하여, 1/3모델 대응 제품 [Oh-Pa 1/3]을 발표, 일본을 대표하는 저명기업 도입 완료 |
|
|
(주)히타치에서는 BOM전개의 데이터 처리엔진으로서제품[RH-BOM]제품 발표 |
|
|
NEC에서는 특허실시권을 취득하여, 1/3 MS모델 대응제품 [InfoFrame DataBooster]를 발표 |
|
|
|
|
|
|
|
|
|
|
|
|
|
 |
|
관련제품 |
|
|
|
|
|
관련제품 |
|
|
|
|
|
관련제품 |
|
|
|
|
 |
|
|
 |
|
|
 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
 |
|
초고속 온메모리(On Memory) XML 데이터 베이스 시스템(XML DBMS)
DAYDA.LabooII 데이터 베이스 처리 엔진을 이용하면, 초고속 처리 가능한 MMDBMS를 구축할 수도 있습니다.
Karearea(카레아레아)는 주식회사 SEC에서 개발, 판매하는 초고속 검색/집계/소트 온메모리(On Memory) 데이터 베이스 입니다.
방송사 프로그램 편성 시스템, XML특허 통계 서비스, 제 23호 과학위성 ASTRO-EII(스자쿠) 탑제 시스템 및 지상 시스템 등에 사용되고 있습니다.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
* 상기 기재되어 있는 회사명 제품명은 각사의 상표 또는 등록상표 입니다. |
|
|
|
|
|
|
다음은 (주)후지츠BSC(일본)의 1/3모델 대응 제품 [Oh-Pa 1/3]를 이용하여 현장에서 벤치마크
한 결과입니다. |
|
 |
PRIMERGY RXI 600（후지츠64bit서버） |
CPU |
：ItaniumR2 1.5GHz×2 |
RAM |
：32GB |
OS |
：MS WindowsTM Server 2003 |
|
Enterprise Edition for Itanium-based System |
|
레코드수
|
：10,000,000레코드 |
항목수
|
：20항목 |
레코드길이
|
：600bytes |
|
|
|
|
|
|
|
1. RDB는 Index설정등의 튜닝을 설정하지 않았습니다. |
2. RDB는 Oh-Pa 1/3와 동일한 처리를 실시하였습니다. |
3. 갱신 배치처리용 차분 데이터의 사양은 다음과 같습니다.
|
|
|
레코드수 |
：10,000레코드 |
항목수 |
：20항목 |
레코드길이 |
：600bytes |
|
|
|
|
|
|
|
 |
|
|
저희는 본 솔루션을 탑재한 다음과 같은 2가지 제품을 출시하였습니다. |
|
|
|
|
|
 |
 |
|
 |
DAYDA.LABOO엔진을 탑재한 GUI일체형 소프트웨어 |
|
DAYDA.LABOO엔진을 탑재한 서버와
LIFIT II GUI클라이언트 모듈의 C/S제품 |
|
|
|
 |
|
|
|
|
|
|
|
|
|
|
古庄晋二著 「汎用超高速データベース処理技術」후루쇼 신지 著 「범용 초고속 데이터 베이스 처리 기술」 |
|
|
|
 |
1초에 50만회 정도의 클럭, 2000바이트 정도의 메모리를 가진 EDSAC의 시대로부터 1초에 30억회를 넘는 맹렬한 클럭을 하나하나 순차처리하는 방식(노이만형)의 컴퓨터 아키텍처가 변함 없이 고속화의 한계가 드러나고 있습니다.
컴퓨터의 새로운 발전에는 다수의 프로세서로 처리를 실행하는 초병렬 처리를 일반적인 형태로 달성하지 않으면 안되지만 그러게 하기 위한 이론은 정비되어져 있지 않고 있습니다.
이러한 폐쇄 상황은 데이터의 성분분해법이라고 하는 새로운 이론에 의하여 타개할 수 있습니다.
본서에서는 성분분해법을 알고리즘을 포함하여 해설하면서 다양한 데이터 구조를 초병렬로 현재의 방식의 1만~10만배 고속으로 처리하는 범용 초고속 데이터 베이스 처리에 의하여 개척된 새로운 컴퓨터상을 구체적으로 제시하고 있습니다.
이 성분분해법의 제1 스텝(1/3모델)은 후지츠에서 검증되어져 그 결과, 2003년도 일본경제BP기술상 정보통신부문상을 당시 세계 최고속이라고 알려진 슈퍼 컴퓨터인 지구 시뮬레이터와 동시 수상하였습니다. 제2 스텝(3/5모델)은 정보처리 추진기구(IPA)의 소프트웨어 프로젝트로 동경대학 생애 기술 연구소의 喜連川優 교수의 채택에 의하여 개발이 시작되었습니다. |
|
|
더 자세한 내용은 http://www.humanst.com 에서 확인하여 주시기 바랍니다.
상기 사이트에서 평가판도 배포하고 있으니 관심있으신 분은 신청하셔서 사용해 보시기 바랍니다.
|
