한동안 코빼기도 안 보이다가 아쉬울때만 들어오는것 같아 죄송합니다... 쩝...
회사에서 반쯤은 개인 프로젝트로 하나를 만들고 있습니다.
nms관련이고, 한번 폴링 할때마다 대략 11~13만 건이 추가됩니다.
현재 그걸 하루 2회 하고 있습니다. 결국은 보름이면 얼추 500만개가 되더군요.
- 하루 2회 하는 이유는 현재 제가 임의로 돌릴 수 있는 서버의 능력상 더 이상 자주 할 방법이 없어서입니다.
데이터는 mac과 ip 각 1개씩, text 필드 하나, 그리고 정수형 숫자 필드가 10여개 입니다.
회사 그만두기 전에 인터페이스 까지는 안 만들어놔도 골격과 씀임새가 있다는 것까지는 증명을 하고 싶은데...
상황을 보니 적어도 2달치의 데이터가 축적되지 않으면 필요불가결한 상황을 만들기 힘들것 같더군요.
(대략 2천만개)
쿼리의 형태는 주로 group 이며 밑에 것 정도가 가장 복잡한 것 같습니다.
DB는 PostgreSQL 입니다.
$sql = "SELECT name,channel_down,count(name),cmts " .
"FROM (SELECT * " .
"FROM cm_log, cmts " .
"WHERE cm_log.cmts=cmts.seq and cm_log.c_date={$da} AND cmts={$cmts}) AS a ".
"GROUP BY name, cmts, channel_down " .
"ORDER BY channel_down";
대략 어느 정도의 서버가 필요 할까요?
- 덤으로 위에 쿼리를 개선할 방법도...
|