안녕하세요.
대용량 데이터 테이블 몇개를 가지고 원하는 데이터를 추출할려다 보니,
속도가 너무 느려서 도움을 받고자 질문 드립니다.
대략 5천만건 이상 되는 테이블 3개를 조인해서 원하는 조건 + 그룹핑 등등.. (키값이 되는) 데이터를 추출해보니
대략 300만건 정도 되었습니다. 물론 이것 추출하는데도 엄청 긴 시간이 걸렸습니다.
문제는 임시테이블을 쓸수 없는 상황이라, 서버에 txt 파일 형식으로 내려 받아 사용하게 되며,
또 다른 작업에서 그 txt 파일을 읽어 그값을 in 조건에 넣어서 또 다시 수천만건의 테이블들과 조인해서 원하는 조건의
데이터를 추출해야 하는 상황입니다. (ㄱ정책상? 임시테이블을 사용할 수 없는 상황입니다.)
파일의 값이 쿼리문의 in 조건으로 들어가게 되는데, 단순히 fetch 돌려 건건이 다 체크해서 돌리는 방법말고
빠르게 처리할 수 있는 방법은 없을까요?
|