database.sarang.net
UserID
Passwd
Database
DBMS
MySQL
ㆍPostgreSQL
Firebird
Oracle
Informix
Sybase
MS-SQL
DB2
Cache
CUBRID
LDAP
ALTIBASE
Tibero
DB 문서들
스터디
Community
공지사항
자유게시판
구인|구직
DSN 갤러리
도움주신분들
Admin
운영게시판
최근게시물
PostgreSQL Q&A 8853 게시물 읽기
No. 8853
고수님 답변을 부탁 (대용량 데이타 파일 적재)
작성자
헬프
작성일
2011-10-13 14:38
조회수
7,973

 

윈도우 postgreSQL 9.0 버젼을 사용하고 있습니다.

sql manager 라는 상용툴을 통해 자료를 로딩하고 있습니다..

파일사이즈가 15기가 정도 됩니다..   대용량의 자료를 적재작업중인데

이게 시간이 지날수록 로딩속도가 현저히 감소하고 있습니다..

10만건 올라가는 속도가  처음에 비해 기하급수적으로 느려지고 있는것 같기도 한데..

pgsql의 자료적재의 매카니즘을 정확히 몰라 어떤 조치를 해주어야 할지 모르겠네요..

설치폴더의 data안을 보니 1기가씩 파일이 생겨져있고 용량을 무지막지 잡아먹고 있네요..

혹시 DB용량 제한옵션이 제한되어 있어서 그런건 아닌지... 

동일한 속도로 데이터가 로드되어야 할거 같은데 뒤로 갈수록 점점 느려지는 원인이 뭔지 알고싶네요..

고수분들의 조언을 바랍니다

 

 

 

 

 

이 글에 대한 댓글이 총 1건 있습니다.

설정 옵션에서

checkpoint_segments 를 올려주시고

fsync = off

shared_buffers를 올려주시고 wal_buffers를 -1로 세팅하시거나 올려주시면

지금보다는 빠른 입력 속도로 동작할거라고 생각되네요.

 

입력 명령어는 insert 보다는 copy 명령어를 쓰시길 추천합니다.

그리고 import하는 동안은 그 테이블의 모든 인덱스를 제거해 두셨다가 입력이 완료된 후에 인덱스를 생성하시기 바랍니다 ^^

 

그리고 데이터가 늘어날 수록 입력속도가 점점 느려지는 것이 보통이긴 합니다.

신기배(소타)님이 2011-10-14 14:46에 작성한 댓글입니다.
[Top]
No.
제목
작성자
작성일
조회
8862lo에서 이미지파일 export 에러에 대해.
정희성
2011-10-23
8180
8860데이터 파일 복사이후에 데이터 베이스 시작이 안됩니다. [2]
정희성
2011-10-19
8109
8857postgres 버젼 업 되면서 형변환이 안되는것 같습니다. [2]
월광
2011-10-17
8823
8853고수님 답변을 부탁 (대용량 데이타 파일 적재) [1]
헬프
2011-10-13
7973
8852고수님들 pg_dump 사용시 오류좀 봐주세요 [2]
유창훈
2011-10-11
10596
8850win7 에사용될 가장 안정된 버젼 추전좀 부탁합니다.
RDBA
2011-10-07
8351
8848to_char 결과값이 다르게 나옵니다. [2]
이기자
2011-09-29
8029
Valid XHTML 1.0!
All about the DATABASE... Copyleft 1999-2024 DSN, All rights reserved.
작업시간: 0.017초, 이곳 서비스는
	PostgreSQL v16.4로 자료를 관리합니다