database.sarang.net
UserID
Passwd
Database
DBMS
MySQL
PostgreSQL
Firebird
Oracle
ㆍInformix
Sybase
MS-SQL
DB2
Cache
CUBRID
LDAP
ALTIBASE
Tibero
DB 문서들
스터디
Community
공지사항
자유게시판
구인|구직
DSN 갤러리
도움주신분들
Admin
운영게시판
최근게시물
Informix Q&A 1767 게시물 읽기
No. 1767
transaction을 걸고 많은 데이터를 import할때 Long transaction 에러..
작성자
어렵네요..
작성일
2003-08-18 13:55
조회수
4,783

안녕하세요..

인포믹스를 처음 하는 유저 입니다.

 

제가 질문을 할 내용은 데이터 import인데요..

프로그램을 만들어서, 그 프로그램에서 정해진 형식의 Txt 파일을 해당 테이블에 insert 하는 기능입니다.

 

사용상 몇가지 제약 조건이 있는데요..

1. transaction이 되어야 한다.

2. 데이터가 많다(10만건 정도의 데이터 자료가 여러개 있습니다.)

3. 프로그램 내부에서 처리 되어야 한다.(dbload사용불가)

 

위와 같은데요..

 

문제는 transaction을 걸고 Load를 하면 적은 양의 데이터(1000건정도)는

별 문제가 없지만 많은 데이터(10만건정도)는 Long transaction에러가 납니다.

 

여기를 둘러보고 여러가지를 살펴보고 해 보았지만, 잘 안되서요..

 

제가 테스트 해 본것은

(일단은 transaction이 되어야 하기 때문에)

1. DB는 unbuffered logging 모드로 설정

2. LOGSIZE를 늘린다. (설정 : 51200)

 

위와 같이 하고서도 Long transaction에러가 나더라구요..

 

아.. 그리고, 자료를 많이 Delete할때에도 위와 같이 Long transaction에러가 납니다..

한 4만건 정도의 데이터를 Delete할때 나더군요..

 

 

어떻게 해야만 이것을 해결할 수 있을까요?

 

DEADLOCK_TIMEOUT 1200

TXTIMEOUT 1200

BLOCKTIMEOUT 3600

 

으로 설정 했는데요.. 이것들하고도 상관이 있나요?

 

 

의심이 가는것 하나라도 있으면 코멘트 달아주시면 고맙겠습니다..

 

수고하세요..

이 글에 대한 댓글이 총 4건 있습니다.

로그파일 싸이즈가 궁금 합니다.

 

로그파일이 작다면 더 많히 더 크게 넉넉하게 만들어 주시는 방법도 하나겠고, LTXHWM 파라미터를 더 늘려 주는것도 한 방법이 되지 않을까 싶네요.

신호님이 2003-08-19 05:12에 작성한 댓글입니다.

위에 잘못 적은것인데요, LogSize가 51200입니다.

LTXHWM은 60으로 설정을 했구요.

그런데도 안되네요..

 

감사합니다..

어렵네요..님이 2003-08-19 09:13에 작성한 댓글입니다.

가장 중요한 건 왜 import 하는 것을 transaction을

걸어야하는가 일거 같군요...

 

10만건을 insert하는 게 하나의 transaction이 되어야 하나요?

그게 아니라면, 파일을 분리해서 loading 한다던가 하는 방법이 있을 거 같군요.

마찬가지로 delete도 한 transaction에 굳이 지울 필요가 없다면 나눠 지우면 되구요...

 

꼭 한 transaction 으로 지우고 싶다면 log 사이즈를 크게 하고, LTXHWM도 80정도로 크게 잡으면 되기야 하겠죠...

그러나, 별로 좋은 개발 방법론은 아닌거 같습니다.

 

그럼...

지나다가...님이 2003-08-19 17:42에 작성한 댓글입니다.

여러가지 방법들 ...

 

1.테이블 lock mode 확인해보세요

lock mode 를 row -> page

 

2.환경변수중 lock 개수를 확인해서 변경

 

3.중간중간에 commit 처리

최동석님이 2003-08-27 17:38에 작성한 댓글입니다.
[Top]
No.
제목
작성자
작성일
조회
1770아래꺼에 하나더요.. [1]
배기동
2003-08-25
4173
1769db쿼리가 너무 느려서 ...빠르게 [1]
배기동
2003-08-25
5277
1768질문>(급) informix odbc 설정관련 질문입니다. [1]
오주경
2003-08-19
5169
1767transaction을 걸고 많은 데이터를 import할때 Long transaction 에러.. [4]
어렵네요..
2003-08-18
4783
1766[급함]onstat | more 할때 에러발생
서영기
2003-08-14
4253
1765[시급한 질문] GUI tool, 데이타 sync 등등... [1]
서영철
2003-08-12
4877
1764Informix Backup [2]
백현종
2003-08-06
5180
Valid XHTML 1.0!
All about the DATABASE... Copyleft 1999-2023 DSN, All rights reserved.
작업시간: 0.050초, 이곳 서비스는
	PostgreSQL v16.1로 자료를 관리합니다