대용량 엑셀 db, 10만개 이상 셀 관리 방법

 

[질문]

 

엑셀파일로 기존의 db 40만개가 있습니다

 

매월 6만~7만개의 db가 업데이트가 되는데

 

업데이트 되는 db 중 기존의 40만개 db와 중복되지 않은 것들만 활용하고

 

다시 40만개의 db와 통합되서 관리를 하는 방식입니다

 

엑셀로 관리를 해왔는데 처음에 갯수가 얼마 안될때는 문제가 없었는데 기존 db의 수가 많아지니

 

중복을 제외한 신규 db를 선별하는데 시간이 너무 오래 걸리게 됩니다 ㅠㅠ

 

엑서스 프로그램을 이용하면 된다는데 간략하게나마 방법을 알려주시거나

 

또 다른 효과적인 관리 방법이 있는지 답변 부탁드리겠습니다~^^

 

1. 기존 40만개 db

2. 매월 신규 db 6~7만개

3. 신규 db 중 기존 db와 중복되지 않는 db를 선별 - 이 과정이 너무 오래 걸리네요 ㅠ

 

 

 

 

[답변]

 

안녕하세요.  IT전문  컨설턴트입니다

 

 

많은 양의 데이터를 Excel파일로 관리하는데는 문제점이 많습니다.

Excel파일을 켰을때 정상적으로 로딩되는 시간이 늦어지는것은 물론, 저장상 파일구조의 문제로 인해서 파일깨짐 현상이 나타나는 경우도 많습니다. 그 Excel이 업무상 중요한 역활을 하는 파일이라면 치명적인 문제가 예상이됩니다.

이런 이유에서 엑셀과 같은 스프레드시트 기법이 아니라 SQL, 엑세스 등과 같은 DB기법을 사용할 것을 추천드립니다.  문제는 아무리 좋은 프로그램과 기술이 있다고 하더라도 사용하는 사람이 불편함을 느낀다면 필요가 없다는 점입니다. DBMS시스템을 도입하고, DB화를 시킨다고 하더라도 DB는 DB일뿐, 업무상으로 필요로하는  조건별 데이터를 추린다거나,  통계를 낸다거나 하는 부분은 해결이 되지 않습니다. 

 

40만행 가량의 Excel파일이 만약 문제가 발생해서 사용할수 없게 된다면 회사입장에서는 치명적인 영향을 줄수도 있을듯 합니다. 더군다나 50M이상의 Excel파일이 열리기를 기다리는 경험을 해본 사람만이 알수 있습니다...^^;

특히 지금처럼 매달 신규로 6~7만개의 데이터가 축적이 된다면, 중복된 데이터를 추출하는 시간 또한 만만치 않을듯 합니다.  그때는 파일관리를 위한 시간 낭비가 더 커지겠죠. 

 

단순한 DBMS도입이 아니라 DBMS를 활용한 시스템 개발이 급선무인듯 합니다.참고로 100만행의 DB에 데이터를 추가하는데 1초 미만, 조건검색을 하는데 5초미만, 통계자료를 추출하는데 20초 미만의 시간이 걸릴듯 합니다.. ^^ 물론 제대로 만들었다면 이라는 단서가 붙겠죠. 

 

원천적인 해결을 위해서는
1. DBMS(DataBase Management System)도입을 통한 DB화 전략
2. 사용자에 대한 접근성 강화: web기반의 업무지원 시스템을 개발하여 업무 프로세스를 개선시킬수 있습니다. 뿐만아니라 인증기법을 통하여 지정된 권한을 가진 직원만 사용하도록 할수도 있고, 사용기록에 대한 Log를 남기는 방법으로 보안사고에 대한 위험을 줄일수도 있습니다.
3. 통계 및 집계를 위한 DB정규화
: 업무상에 필요한 통계자료를 분석하여 조건검색이 가능하도록 구현함으로써, 단순 작업의 시간을 감소시킬수 있습니다.
4. 자동백업을 통한 자료 관리
: DBMS에서 제공되는 스케줄러를 통하여 자동백업을 진행함으로써 중요한 자료에 유실 위험을 줄일수 있습니다.
5. 기존시스템과의 연계
: 홈페이지 및 시스템과 연계하여 고객서비스 향상을 준비할수 있습니다. 

 

기타 자세한 부분은 전문적인 컨설팅를 통해서 진행하실것을 추천드립니다.