안녕하세요

asis(온프레미스 오라클)에서 tobe(클라우드 postgresql)로 데이터 이관을 하고 있습니다

Tobe db는 paas db 입니다.

상황을 간략히 말씀드리면

이관은 이관툴을 사용하여 Jdbc를 통해 asis db의.데이터를 tobe db에 적재하는 방식입니다.

이관툴에서는 2개쓰레드,  9개쓰레드로  각각 테스트를 진행하였는데

2개쓰레드로 테스트 시 초당 16000건씩 적재가 되고

9개쓰레드로 테스트 시 초당 6000건씩 적재가 됩니다.

----------------------------------------------

1개쓰레드 : 1개 테이블 이행

9개쓰레드 : 9개 테이블 이행

9개테이블 개당 1억건 이상 데이터 존재

----------------------------------------------

Asis db(오라클, 리눅스서버) - 이관툴(리눅스서버) - tobe db(postgresql, paas)

병목구간을 찾고 있는데

네트워크 이슈는 없고

cpu는 60 퍼센트정도되며

7500 iops까지 가능한데 최대 2500까지 나오는 상황입니다

Paas의 경우, 온프렘과 차이가

데이터 영역과 wal영역이 분리가 되지 않는다는 점과

아카이브모드를 끌 수 없다는 점입니다( only 활성화)

대량 insert 시 쓰레드 수를 늘려가면 초당 적재건수가 줄어드는 이유가

데이터 적재되는 위치와 wal파일 생성위치가 동일하여 경합이 발생되고

추가로 wal파일을 아카이브영역(blob스토리지) 으로 전송하는 작업이 발생되어

쓰레드수를 올리면 속도가 떨어지는 이유일까요?

만약 그렇다면 클라우드 환경에서는 속도를 늘릴 수 있는 대안이 없을까요?