JVM heap 메모리 사용량 많을 때 해결 법 질문드립니다.

Question

이중화된 서버 tomcat heap 메모리 각각 3G정도 쓰고 있습니다.FullGC가 자주 발생해서 heap 메모리 사용량이 많아서 확인해보니DUMP 까봐서 보니까 excel/xml 변환 또는 처리가 상당하더군요apache-poi-xml 라이브러리랑 관계가 있고요.. 서버 자원이 모자라서 heap메모리 설정을 늘릴 수 없을 것 같은데, 대안 방법 중에1. 서버 대수를 늘리면 해결이 될까요? ex) 2중화 -> 4중화로 scale-out 방식으로 뭔가 2대가 일할걸 4대가 나눠서 일하는 느낌? 확실하지 않아서 조언 부탁드립니다 ㅠ2. 어플리케이션 성능 개선 ex) 엑셀처리 조금만 하게... 소스를 수정 한다던지... 뭐가 좋을까요?

HJOW · Accepted Answer

서버를 늘려도 답이 되긴 하지요.그런데 그렇게 해도 답이 안되는 경우... 보통 xls/xlsx 파일 읽거나 쓸 때 아파치 POI를 많이 씁니다.제가 여태까지 한 프로젝트 중에서 서버 메모리 가장 많이 ㅊ먹ㅊ먹한 라이브러리가 바로 이놈입니다.본문 내용 보고 왠지 이거일거 같아 언급합니다. 아파치 POI 쓰면, 이 라이브러리가 기능은 많이 제공하는 대신 파일 읽을 때xls/xlsx 파일 전체를 읽어 메모리에 넣은다음 내용일 읽게 됩니다. 파일 쓸 때전체 내용을 메모리에 만들고 그다음 파일에 쓰게 됩니다. 엑셀파일 용량 작아보이죠.근데 그건 파일 형식 자체에 압축기능이 들어가서 그런 것이고, 압축 풀면, 고작 5만건 정도에 수백메가 정도 합니다. 파일 쓸 때는 간편한 방법이 있습니다.HSSFWorkbook, XSSFWorkbook 사용하지 말고 SXSSFWorkbook 을 사용하는 방법입니다.이 라이브러리 자체적으로 OS 임시폴더를 활용하여 메모리를 알아서 절감합니다.xls사용불가. 오로지 xlsx로만 저장가능 파일 읽을 때는 제약사항이 존재합니다.파일 내 함수나 형식 지정된 셀 내용을 읽어야 하면 답이 없고 (아래 제3의 선택지 외엔)단순 텍스트만 읽어도 된다면 excel-streaming-reader 를 이용하면 됩니다. 제3의 선택지는 서버가 웹프로젝트일 때만 가능한 방법입니다.바로 프론트엔드 단에서 파일을 읽어 JSON으로 바꿔 ajax나 fetch로 서버로 가져오는 방법입니다.sheetjs 라고 자바스크립트 라이브러리로 엑셀 파일을 프론트엔드 단에서 읽어 JSON으로 바꿀 수 있습니다. 메모리 사용을 각 사용자 PC가 부담하게 되므로 서버 메모리가 대폭 절감됩니다. IE도 지원됩니다.반대로 서버로부터 JSON을 받아와 프론트엔드 단에서 파일을 만들어 다운로드시킬 수도 있습니다. 역시 sheetjs로 가능합니다.

JVM heap 메모리 사용량 많을 때 해결 법 질문드립니다.

1개의 답변

#gc 목록