Metadata 혁명

7.1997 Judith Hurwitz

원본출처 : http://bora.dacom.co.kr/~mhan/dw/metadata_evolution.html

--------------------------------------------------------------------

데이타 량이 손 못댈 정도로 많아지게 되었을때 기업들은 데이타 웨어하우스 구축을 시도하곤 한다. 특히 기업 합병이나 경쟁자의 출현으로 인하여 새로운 고객을 찾아야 할 필요가 있을때 데이타 웨어하우스 구축을 더 서두르게 된다.

그러나 데이타 웨어하우스 구축을 위한 중요한 시스템적 요구사항을 간과한채 부서 단위 또는 전산담당부서 단위로 데이타 웨어하우징 프로젝트를 추진하는 경우가 너무 많다. 데이타 웨어하우스 구축을 위하여 가장 중요한 것은 메타데이타 모델(Metadata Model)을 만드는 것이다. 메타데이타란 전통적인 데이타 자원내의 데이타 요소들에 대한 정의들의 집합이다. 데이타 웨어하우스는 대개 여러 종류의 데이타 자원으로부터 정보를 추출하기 때문에 이들에 대한 공통적인 정의를 하는것이 매우 중요하여진다.

메타데이타의 필요성이 무시되거나 적절히 관리되지 못하였을때 재난을 경험하게 된다. 특히 조직이 복잡하여지고 고립된 데이타 웨어하우스와 업무 시스템을 가질때 그 가능성은 더 많아진다. 구별하기 어려운 데이타를 분별하여 비교하여야 하는 웨어하우스에서 메타데이타는 데이타를 의미있는 지식으로 변환하여주는 유일한 수단이 된다.

현실적으로 기업이 전사적으로 메타 데이타를 정의할 수 있는 기회는 사실 매우 드물기 때문에 메타데이타를 만드는것이 매우 어려운 작업임에 틀림없다. 메타데이타가 정제되지 않고 표준이 없다는 것은 대규모 기업이 복잡한 데이타 웨어하우스를 구축하거나 통합된 다양한 데이타 마트를 구축할때 부딪히는 문제가 점점 커질 우려가 많다는것을 의미한다. 메타데이타 관리를 위한 최적의 전략개발을 하려면 현재 제공되는 메타데이타의 능력과 한계를 파악하고 이를 해결하여 줄수 있는 관련 업체를 파악하는것이 중요하다.

제공되는 메타데이타의 혼란이 데이타 웨어하우스 산업을 어렵게 하고있다. 혼합되어 제공되는 메타데이타를 개방되고 표준화된 솔루션으로 통합하여야 한다.

메타데이타 유형

복잡하게 만드는 요인중의 하나는 메타데이타 유형이 한가지가 아니라는 것이다. 자신의 메타데이타 기능을 강권하여 시장 지배력을 넓히려고 시도하는 벤더들 때문에 시장은 더욱 혼란스러워지는 경향이 있다. 생각컨데 기업은 네비게이셔널 메타데이타(Navigational Metadata), 오퍼레이션 메타데이타(Operational Metadata), RDBMS 메타데이타(RDBMS Metadata)의 3가지 형태의 메타데이타에 대하여 정확히 알아야 한다. 각 메타데이타 유형은 그 목적이 상이하기 때문이다.

네비게이셔널 메타데이타는 보통 "data about data"라고 하는데, 최종사용자가 웨어하우스를 검색하는데 도움을 주는 메타데이타라고 할수 있다. 이 유형의 메타데이타는 데이타 이름, 데이타 설명, 데이타 관계등을 최종 사용자 측면에서 제공한다

오퍼레이셔널 메타데이타는 소위 ETML이라고 하는 데이타 추출(Extract), 변환(Transform), 이동(Move),탑재(Load) 기능을 위한것이다. 이 메타데이타는 다양한 소스 시스템에서 웨어하우스 데이타베이스로의 지도를 그려야 할 설계자나 개발자가 사용하게 된다. 이 유형의 메타데이타는 소스 데이타 위치와 형태 정보를 가지며 소스 데이타를 웨어하우스 준비 단계의 형태로 변환하기 위하여 필요한 로직을 가지고 있다. 이 변환 로직은 정말 복잡할 수도, 또는 데이타 정제용 전문 제품이 필요할 수도, 아니면 대량의 코딩이 필요할 수도 있다.

RDBMS 메타데이타는 데이타베이스 관리자가 테이블및 기타 데이타베이스 구조를 관리하기 위하여 사용하여오는 전통적인 메타데이타를 의미한다

다양한 접근방법

메타데이타 시장의 혼란은 각 벤더들이 자신의 미들웨어만을 지원하는데 연유한다. 웨어하우스를 구축하고 관리하고 대량의 데이타를 액세스할때 사용하는 다양한 툴들중에서 범용성있고 호환성있는것은 매우 적다. 메타데이타는 상대적으로 매우 새로운 개념이기 때문에 전산조직이 명확한 지침을 아직 가지지 못하였다. 그러나 몇몇 조직이나 접근 방법은 나아가야 할 길을 제시하여 주기도 한다.

상호 교환되는 형태의 범용 메타데이타를 개발하기 위하여 메타데이타 연합이 결성되었으나 업계는 다양한 수준의 지원과 기능을 요구하였다. ETI(Evolutionary Technologies International)와 Intellidex Systems같은 몇몇 업체는 메타데이타 연합을 주도하여 1996년 7월 7일 MDIS(Metadata Interchange Specification) V1.0이란 첫 작품을 발표하였다.

ETML 벤더들에 의해서 설계된 MDIS는 툴들 사이에서의 공유 메타데이타를 위한 가장 낮은 수준의 공통분모들이다. MDIS는 일반 API를 이용하여 배치작업 형태의 웨어하우징 툴이 사용할 수 있도록 파일 형태로 정의되었다. MDIS는 객체 유형, 데이타베이스들, 스키마, 파일, 관계등을 정의하고 있다.

업계의 선두주자인 Prism Solution사는 Electronics Industries Association의 CDIF(CASE Data Interchange Format)를 채택하였다. CDIF는 객체지향 모델링과 비지니스 프로세스 모델링을 포함하는 개발 라이프 사이클을 완벽히 지원하는 표준을 지향한다.

메타데이타는 웨어하우징만을 위한것은 아니다.

마지막으로 이글이 비록 데이타 웨어하우징 시장의 필요성에 촛점을 두기는 하였지만 선도자들은 메타데이타가 의사결정이나 업무처리 시스템에도 필요한것이라는것에 주목한다. DSS와 OLTP의 부자연스런 구분은 향후 5년 이내에 점차 없어질 것이다.

이러한 자연스런 이행은 기업 데이타의 원천이 되는 Corporate Data Repository(CDR)의 혁명을 가져올 것이다. 이미 선도적인 대기업들은 DSS와 OLTP에 데이타를 공급하고 또 그 결과를 얻어내는 CDR 시스템 구축을 시도하고 있다고 나는 생각한다. 더우기 외부의 사업 파트너와 연결된 엑스트라넷은 데이타 이름, 네비게이션, 검색에 있어서 깊은 고려를 필요로 하고 있다. CDR은 계속 발전되고 있는 개념이다. 메타데이타가 웨어하우스뿐만이 아니라 모든 데이타베이스에 의하여 액세스될수 있도록 계획을 수립하여야 한다. 시간이 흐르면서 이 중앙 데이타 저장고는 기업의 정보 아키텍쳐의 한 부분이 될것이다.

처음 데이타 웨어하우스를 구축하려는 기업은 메타데이타에 대하여 철저히 준비하여야 한다. 관리자는 웨어하우스의 목적과 구축될 데이타의 본질과 구조를 먼저 이해하여야 한다. 필요한 메타데이타가 네비게이셔널인지, 오퍼레이셔널인지 아니면 RDBMS인지 이해하여야 한다. 가능한 처음부터 기업 전체의 CDR을 구축하려고 시도하지 않는것이 좋다. 아직은 정의된 표준이 없기 때문에 이 일은 대부분의 기업에 너무 큰 작업이 될것이다. 조금씩 관리 할수 있는 프로젝트부터 시작하라. 하나의 부서 또는 서너개 에플리케이션이면 족한 규모의 메타데이타를 정의하라. 이러한 접근으로부터 얻은 경험은 후일 대규모 프로젝트로 확대하는데 중요한 자산이 될것이다.