database.sarang.net
UserID
Passwd
Database
DBMS
MySQL
ㆍPostgreSQL
Firebird
Oracle
Informix
Sybase
MS-SQL
DB2
Cache
CUBRID
LDAP
ALTIBASE
Tibero
DB 문서들
스터디
Community
공지사항
자유게시판
구인|구직
DSN 갤러리
도움주신분들
Admin
운영게시판
최근게시물
PostgreSQL Q&A 10487 게시물 읽기
No. 10487
pg_basebackup 실행시 wal 누적 관련 문의
작성자
궁금
작성일
2024-09-05 14:36ⓒ
2024-09-05 15:06ⓜ
조회수
139

네트워크 속도가 느려서 pg_basebackup  예상시간이 10시간쯤 되는데

변경량이 너무 많아 시간당 수백GB 아카이빙이 예상되고, 이대로 실행하긴 디스크 공간이 부족합니다.

(백업도중 소스DB disk full 우려) 


백업 완료전까지는 wal을 재사용하지 못하고 계속 누적하는 것으로 보이고 

--wal-method=none 옵션으로도 소스DB의 wal 누적을 막을순 없는거 같은데.. 


단순히 백업 시작시점까지의 데이터만 복제하고 싶습니다. (복제본의 데이터 유실은 관계 없습니다) 

소스 DB의 변경사항 중단도 어렵고, wal누적할 공간도 부족한 상태에서.. 

다른 방법이 있을까요? 

 

이 글에 대한 댓글이 총 3건 있습니다.

replication slot이 있으신가요?

상관없다면 타겟 서버에서 pg_dumpall로 밀어넣는방법이 좋아보입니다.

 

물칠이님이 2024-09-05 16:30에 작성한 댓글입니다. Edit

--wal-method 설정의 기본값이 stream 인데,

이게 데이터 파일은 데이터 파일 대로 가져오고,

wal 은 스트리밍 방식으로 발생즉시 보냅니다.  

통상 1,000Mbps 정도의 일반 네트워크 환경이라면, 

현실적인 전송 속도가 50MB/sec 정도일터이고, 

이걸 데이터와 wal 로 반 나누면, wal 쪽이 25MB/sec 정도입니다. 

크게 잡아도 시간당 100GB 정도가 최대일 것 같네요. 


그 이상 wal 가 쌓인다면, 만들어지는 양보다 보내는 양이 적어 쌓일 수 밖에 없겠네요. 


이런 상황이면, pg_dump 밖에 답이 없겠는데요.

 

김상기(ioseph)님이 2024-09-05 22:59에 작성한 댓글입니다.

아쉽게도 데이터가 커서 dump도 무리였네요. 잠시 DB중단후 로컬에 겨우 물리백업 받아서 별도 copy 진행했습니다.

pg_basebackup 옵션에 병렬 옵션이 없는게 상당히 아쉽습니다


테스트 중 확인한 부분은 pg_basebackup 도중(-wal-method 의 steam 설정) 에도 소스DB의 WAL은 재사용을 하는것처럼 보였습니다. 

두시간정도 변경 세션만 막고 모니터링했을때 

소스DB : WAL 디렉토리 사이즈 감소 --> 원격DB: WAL 디렉토리 계속 증가 


변경이 없어서 소스쪽 WAL갱신이 거의 없는 상태인데도 백업받는 WAL은 계속해서 늘어나고 있었습니다.

아직 보내지 못하고 남은 WAL 전송인가해서 2시간쯤 모니터링했지만 백업쪽 WAL은 계속 늘어나고 있어서 의아했네요


혹시나해서 추가 코멘트 달아봅니다! 

의견 감사드립니다.

궁금님이 2024-09-11 11:52에 작성한 댓글입니다.
이 댓글은 2024-09-11 11:53에 마지막으로 수정되었습니다. Edit
[Top]
No.
제목
작성자
작성일
조회
10489오라클 varchar2(4000) vs PostgreSQL의 varchar(4000) 차이? [2]
새내기
2024-09-13
113
10488dblink 관련 문의드립니다. [2]
새내기
2024-09-09
110
10487pg_basebackup 실행시 wal 누적 관련 문의 [3]
궁금
2024-09-05
139
10486동일한 쿼리가 psql, spring(mybatis)에서 동작이 다른 원인 문의 [2]
조심1
2024-08-27
159
10485PPAS TO PostgreSQL Mig 가이드 없을까요? [1]
한가람
2024-07-31
216
10484postgresql 16에서 Active-Active 구성에 관한 공식 문서가 있을까요? [1]
구재호
2024-07-16
259
Valid XHTML 1.0!
All about the DATABASE... Copyleft 1999-2024 DSN, All rights reserved.
작업시간: 0.022초, 이곳 서비스는
	PostgreSQL v16.4로 자료를 관리합니다