database.sarang.net
UserID
Passwd
Database
DBMS
MySQL
ㆍPostgreSQL
Firebird
Oracle
Informix
Sybase
MS-SQL
DB2
Cache
CUBRID
LDAP
ALTIBASE
Tibero
DB 문서들
스터디
Community
공지사항
자유게시판
구인|구직
DSN 갤러리
도움주신분들
Admin
운영게시판
최근게시물
PostgreSQL Q&A 8929 게시물 읽기
No. 8929
대용량 데이터 등록에 대해서..
작성자
노병
작성일
2012-01-17 21:07
조회수
8,282

먼저 김상기님....답변주셔서 감사드립니다....

또다른 질문이 있는데여....

서로다른 3개의 DB에서 데이타를 추출해서 등록하는 시스템이 있습니다..

 등록DB -> DB1

 참조DB -> DB2

 참조DB -> DB3

DB2,3에는 각각 8천만건정도의 데이터가 있습니다..

 

첨에는 DBLINK를 사용해서 쿼리 한방에 처리할 생각이었지만...데이타의 압박으로인해 포기했습니다..

(실제 테스트해봤지만..인덱스도 않타고....기대에 못미치더군여..)

 

그래서 COPY및 pg_bulkload를 사용할려고 하는데..

COPY  xxx FROM Table의 형식은 지원을 않하는거 같더군여...

테이블의 Row를 직접 COPY하는 방법은 없는지 조언을 부탁드려고 될까여....

 

아...지금 생각하고 있는 방식은 DB2,3을 DB1에 COPY해서

DB2,3의Join결과를 DB1에 등록할려고 하고 있습니다...

고수여러분의 조언을 부탁드리겠습니다..

이 글에 대한 댓글이 총 2건 있습니다.

혹시..

 

insert into ~ select ~ 구문으로는 안 되는지요??

 

tyro님이 2012-01-18 19:02에 작성한 댓글입니다. Edit

8천만건 정도면 디스크 I/O가 심할 터인데, 

서비스 중지 가능한 시간을 고려해서 작업 방법을 선택해야할 것 같습니다. 

 

서비스 중지가 가능하다면, 

그냥 pg_dump, pg_restore 명령을 이용하는 것이 제일 간편하고 빠른 방법같고요, 

서비스 중지가 불가능하다면, 

저 정도의 자료량이면, 야금 야금 자료를 뽑아서 야금 야금 아주 천천히 집어 넣는게, 전체 시스템에 지장을 안줄 것 같네요. 괜히 이정도면 괜찮아 했다가, 사고경위서를 써야할 상황까지 갈지도 모르니까요. :)

 

김상기(ioseph)님이 2012-01-19 03:09에 작성한 댓글입니다.
[Top]
No.
제목
작성자
작성일
조회
8932목록을 이렇게 호출하고 싶습니다. [1]
이혜미
2012-02-01
7444
8931rule에 의한 데이터 처리 문제입니다. [1]
문병주
2012-02-01
8574
8930createuser 에서 -h 옵션 질문 [2]
초보
2012-01-18
7878
8929대용량 데이터 등록에 대해서.. [2]
노병
2012-01-17
8282
8928테이블 카피시의 제약조건 [1]
노병
2012-01-17
8447
8927복수테이블의 컬럼비교쿼리에 대해서
lucyu
2012-01-16
8469
8926asp 용 PostgreSQL ODBC 드라이버 설치 질문
최현탁
2012-01-10
8427
Valid XHTML 1.0!
All about the DATABASE... Copyleft 1999-2024 DSN, All rights reserved.
작업시간: 0.019초, 이곳 서비스는
	PostgreSQL v16.2로 자료를 관리합니다