RapidMiner란 툴은 소스데이터 변형을 위한 툴은 아니고 '데이터마이닝'툴입니다.

말씀하신 경우라면 ETL 엔진을 도입하기엔 배보다 배꼽이 더 큰 경우인 것 같은데요.

가장 잘 쓰시는 언어로 간단히 필요한 필드만 짤라서 로딩 대상을 만드는 어프리케이션을 작성하시면 됩니다.

다만, 이런 스타일의 데이터 적재를 빈번하게 하게 된다면 조금의 학습 비용을 들여서 ETL 엔진을 도입하는 것도 아주 큰 생산성 향상을 가져옵니다.

오픈소스로 추천할만한 ETL 툴은 PDI(http://kettle.pentaho.com)입니다. 쉽게(?) 익힐 수 있는것은 아니지만 어느정도 익숙해지면 아주 유용합니다. 한글화도 되어있어서 다른 툴보다는 쉽게 배우실 수 있을겁니다.

실제 제가 하는 업무에도 적용하고 있구요. 일 수억건의 텍스트로그를 처리하고있습니다.

어플리케이션을 작성하신다면, 가장 잘 하시는 언어로 개발하면 제일 좋구요.

처음 시작하는 것이라면 리눅스에 쉽게 쓸 수 있는 perl이나 python을 써보세요.

개인적으로는 python이 쉽게 배울 수 있어서 좋을 것 같습니다.

친절한 답변에 감사드립니다..^^

덕분에 어디서부터 어떻게 줄기를 잡아야 할지 대충 알게되었습니다
감사합니다`^^