엑셀의 대용량 데이터 업로드 방법

Question

안녕하세요.

현재 사내의 어드민 서비스를 만드는중입니다.

이번에 필요한 기능은 엑셀파일(xlsx,csv)을 이용해 다건(10만건이상)의 데이터를 업로드 해야하는것입니다.

해당 데이터의 업로드를 위한 설계는 아래와 같습니다.

“엑셀파일”을 리액트에서 api로 백엔드 전송
받은 엑셀파일을 임시db에 insert
저장된 임시db에서 mybatis를 활용해 데이터 검증
임시db에서 검증된 데이터를 가져와 실제db에 insert

위 프로세스에서 임시db를 이용하여 데이터 검증을 수행하고 있습니다. 그 구조가 이해되지 않아서 다음과같은 질문이 있습니다.

보통의 경우에도 이렇게 처리를 한다고 하는데, 그 이유가 무엇인가요?
실제db에서 처리하면 안되는건가요?

많이 배우고 있는 초급개발자입니다. 답변해주시면 감사하겠습니다.(_ _)

Henry7 · Answer

이 질문은 사내에서 하는 것이 더 좋았다고 봅니다. 실제db는 문제가 있는 데이터가 저장되면 곤란하니, 해당 방법을 쓰는 거겠죠.

HJOW · Answer

다른 내용은 아마 회사 기밀일 듯 하니 무시하고

엑셀 데이터를 DB에 적용하는 방법에 대해서만 이야기를 해봅시다.

행 10만개 정도라는 전제도 갖구요

1.

보통 쓰는 방법은

파일 자체를 업로드를 받아, 서버 내 임시폴더에 저장하고

그걸 다시 읽어 DB에 넣는 것입니다.

엑셀 확장자 중 xlsx 는 파일 형식에 압축이 들어가서, 30만개 행이 들어가봤자 10MB를 넘지 않습니다.

물론 데이터가 얼마나 반복적이냐에 따라 압축 효율이 달라지겠지만요.

어쨌든 거두절미하고, 이 부분은 업로드해 저장하는 데까지는 큰 문제가 없습니다.

읽는 데 문제가 됩니다. 작업 중 어마어마한 서버 메모리(RAM)를 차지합니다.

물론 스트리밍 API기능을 제공하는 몇몇 라이브러리들을 찾아보면 있겠지만

그런얘들도 단순 텍스트만 불러올 수 있죠.

엑셀 파일에는 온갖 데이터가 들어갑니다. 단순 셀 데이터뿐만 아니라 스타일과 서식 정보도 들어가 있죠.

이게 셀마다 따로 저장된 게 아니라서, 컴퓨터가 이 정보를 해석하려면 파일 전체를 다 읽어 메모리에 담아두어야 합니다. MS 엑셀로 데이터 큰거 열어보면 램 생각보다 많이 먹는다는 걸 알 수 있죠.

2.

프론트가 html 이라면

자바스크립트로도 엑셀 파일을 읽을 수 있습니다.

form 태그와 파일 첨부하는 태그인 input (type="file") 태그를 배치하고 submit 버튼을 배치해둔 뒤

자바스크립트로 submit 이벤트를 줍니다.

브라우저로 실행했을 때 submit 이벤트가 발생하면, 파일 정보를 FileReader 로 읽을 수가 있습니다.

나머지는

SheetJS - Home

라이브러리로 읽은 뒤, 행 하나씩 fetch 등의 방법으로 서버에 전송하면 됩니다.

이 방법을 추천하는 이유는

우선 IE11도 가능하고 (좀 까다로움)

서버 부담이 적으며, 빠릅니다.

(제일 부하가 큰 연산이 고객 브라우저에서 실행됨. 서버는 받아서 저장만 하면 됨.)

얼룩깨모 · Answer

기본적으로 실제 엑셀 데이터를 올리거나 대량의 데이터를 일괄로 올리고자 하는 경우, 임시 db로 먼저 올리도록 개발을 많이 합니다.

기본적으로 기업 db에 정제되지 않은 데이터를 올릴 경우, 데이터의 정확성에 문제가 생길 수 있습니다.

우선 임시 DB로 올린 뒤에 관리자(또는 검사 알고리즘)가 데이터를 리뷰하고 유관 부서 또는 상부의 승인 뒤에 실제 db에 일관 반영하는 경우가 많습니다. 특히 금융권이나 데이터 정확도가 중요한 경우, 많이 사용합니다.

이를 위해, 웹 시스템에서 Excel 데이터를 검사하고 검증하는 기능을 제공하는 경우가 많으며,

EXCEL 파일 기반의 대기업이나 관공서 프로젝트 할 때,
프론드엔드 Excel 에디터를 제공하기 위해 SpreadJS를 사용하고, 대용량 Excel 데이터를 빠르게 처리하기 위해 DsExcel을 함께 사용하여 많이 개발하며, 아예 해당 컴포넌트로 개발해 달라고 찍어서 오는 경우가 많습니다.

엑셀의 대용량 데이터 업로드 방법

3개의 답변

Q&A 목록