저의 사연을 들려드리고자 합니다.

(저는 프로그램 개발을 하다, 이제는 사업관리하는 사람이다 보니 기술적으로는 많이 딸려 유지보수업체를 통해 시스템 유지보수를 하고 있습니다.)

올초 저에겐 아주 중대한 사건이 발생하였습니다.

귀찮아서, 바뻐서, 차선책이 있으니 괜찮을 거야 하고 미뤄덨던 백업이,  큰문제가 발생하게 되었습니다.(*개월치....)

하드디스크가 미러가 걸려있었고, 오라클 유지보수업체에 clontab으로 hot백업을 요청하여 그렇게 백업이 되고 있는 줄만 알았습니다.

그러던 올초에  유지보수업체에서 점검을 나오면서 문제가 발생하였는데, 오라클 접근이 안된다는 겁니다. 그래서, 서비스 올렸다 내려도 되냐고 해서,

그정도는 1분정도 길어야 5분정도라는 말에 그렇게 하라고 했습니다. 그런데, 유지보수 업체직원은 reboot를 하였나 봅니다.(여기서, 저는 오라클, 그친구는 시스템...서로 오해의 소지가 있을수 있음......) 그다음에는 서버 자체가 올라오지 않는 겁니다.  저는 순간 아이짜증나...하는 정도에 가벼운 장애(복구가능하..) 라고만 생각했습니다. 시스템 유지보수 업체직원과, 오라클 유지보수 직원들이 IDC센터에 달려갔습니다만..이때 까지도 전 크게 걱정하지 않았습니다. 미러로 걸려 있었으니, 적어도 나머지 하나로 복구하면 된다고 생각했고,  crontab에 hot백업도 되어 있으니.....

그런데, 시간이 몇시간이 흘렀는지 한참만에 전화가 왔는데,...오라클 유지보수직원이, 백업자료를 달라는 겁니다. 나는 없으니, crontab에 hot백업자료를 이용하라고 했더니, 그게 어디에 있냐며

전혀 모르는 눈치엿습니다. 유지보수 직원이..crontab에 hot백업이 .되어 있다고 말한게 생생히 기억나는데...그친구에게 그런사실을 말했더니, 본인도 기억이 나는지...그렇게 얘기 한것이 기억나지만 제가 전산시스템 업체를 에게 확인하겠다고 하며 안해도 된다고 했다는 겁니다. 아니 crontab에 hot백업을 왜 전산시스템 유지보수 업체에 요청하느냐...뭐라고 해 봤지만...자기도 모른다며자기는 백업자료가 없다는 말만하는데...그제서야...사태의 심각함을 인식했습니다.

그이후 방법이 있을까하고, 전산시스템 관리업체를 통하여 다방면으로 알아 보고, 장애난 디스크로 복구업체에 보내는 등의 노력을 하여 보았습니다.

이상황이 되고 보니 오라클유지보수업체에 화가 많이 나서..어떻게 이지경으로 만들어 놨냐고 짜증을 부렸습니다. 그당시 년초라서 계약이 안된상태였고 한 2월쯤에 소급적용(관례상)하여 계약하는데 이 오라클유지보수업체는 내부회의 끝에 더이상 지원하지 않기로 결정했다는 통보를 저에게 하는 것이었습니다. 배째라는 거죠... 본인들의 책임도 있는데 본인들이 책임을 지게 되는 부분에 대해 겁이 났었던거 같습니다. 이때까지도 책임지라고 하지도 않았습니다. 그런데 본인들한테 큰 책임이 돌아 올거라 생각했던거 같습니다.

저는 이유야 어떻든 백업관리를 제대로 못한 제책임이라 생각하고 있는데, 이렇게 나올줄은 꿈에도 몰랐습니다. 정말 업체 잘못 만났던 거라는 생각이 안들었습니다. 정말 배째라 하는데...사정을 해도 안해 주더군요...전산시스템 유지보수업체에서는 여러 오라클업체에 요청을 하였지만 장애난 오라클 DB에 달려 들어 복구해 줄 업체가 많지 않아...정말 힘들어 했습니다. 개인적으로 아는 직원을 통해 겨우 몇몇 분들이 봐주셨는데....상태가 너무 심각하다며 다들 두손 들고 나가는 겁니다.

10년이상 경험이 있으신 분들이 복구에 혼신의 노력을 다해봤지만....모두 안된다는 말씀뿐 백업관리에 소홀한 저를 질타하셨습니다.

2주간 가까이 시스템이 죽어서 정상적인 서비스가 안되고 있는데..정말 잠도 제대로 못자고, 스트레스가 장난이 아니었습니다. 정말 너무 힘들어서 포기 하고 싶었습니다.

다들 포기하라고 할때, 왠지 방법이 있을거 같은 느낌은 계속들었지만...전문가들이 없다고 하는데...정말 진짜 없는걸까...하고...많이 힘들었습니다.

한국오라클사에는 혹시나 해결책이 있지 않을까 했는데.....계약번호가 없다는 이류로 상담조차 거부당하고 보니....절망..절망이었습니다.

이제는 포기해야 겠다하고...저녁에 사무실에 혼자 남아.....포기의 수순을 밟고 있는데....저와 비슷한 사례가 있지 않을까 하고...인터넷을 뒤졌습니다.(이곳 데이터베이스 사랑넷에서......)

한 2시간 30분쯤... 뒤지다....정말 우연히....제가 몇시간 전에 봤던 오류메시지와 똑같은 오류메세지로 고민하는 경험자를 발견하게 되엇습니다.

그분도 포기상태인거 같아보이는 글을 오리셨는데....댓글이....다들 포기하라는 댓글이 몇개 달려 있더군요...그런데 이상하게...마지막에 있는 댓글은...조금 달랐습니다.

그상태에서...복구가 어렵지만, 해볼방법이...없지는 않다며....전화번호에 연락달라는 내용이 었는데......혹시나 하는 마음에..전화를 했더니..

안될 가능성이 많지만...그래도..몇가지 해볼수 있다며...지금은 술을 마시고 있어, 조금 어렵다며, 다음날 방문지원을 해드리겠다고 하니..전 정말...이게 웬떡이나 싶었습니다.

다음날 약속대로 방문하여 주셔서...정말 많은 노력을 해주셨지만....아...상황이 안좋다며...마지막 방법을 써보자며....마지막복구작업을 하시는데..

정말..거짓말처럼....데이터가 하나 하나 복구 되는데.....정말 기적을 맛보는 듯 했습니다. 테이블 단위로 복구된 자료이지만....그래도...하나도 손실없이 전부 복구 되어..

전 정말....살았구하 하는 생각이 들었습니다.

이렇게 복구해 주신 분은 그렇게 복구해 주시고도...저에게 특별한 댓가를 요구하지도 않으셔서....그때까지만 해도 "재야의 고수"라고 생각했습니다만..그쪽 업계에 계신분이라고 하였습니다.

이일로, 전 중징계를 받고 짤리는 것 만큼은 피했지만...세상에 배째라하는 업체도 있고, 열과 성의를 다해 복구해 주시는 분도 계셨습니다.

이제는 저희 오라클 유지보수를 맡아 주셔서 너무 감사드리고, 제가 앞으로도 갚을 빚이 많은 분입니다. 저의 회사 사정이 넉넉한 편이 못되 직접적으로 큰 보상은 못해 드렸지만..다른 업체를 통하여 추천을 하고자하고. 앞으로도 계속하여,  도와 드리고 싶습니다.

어제야 정신을 차리고, 저녁한끼 식사대접해 드렸는데..그걸로도 모자 란거 같아...이렇게 몇자 적었습니다.

정말 도와 주신 (주) 디비웍스에 박성호 팀장님께 감사 드리며, 회사차원에 지원해 주신 (주)DB웍스와 관계자 분들께도  감사드립니다.

                             (010-9379-5052)

그럼 이 글을 읽으시는 많은 시스템담당자분들께 추전하여 드립니다. 정말 괜찮은 분들입니다.