MySQL 대용량 INSERT할때의 속도저하

Question

현재 로컬에서 1000만~2000만개의 데이터를 INSERT하고 있습니다.메인 프로세스에서 데이터 처리를 한 후, 실제 DB에 INSERT 할 데이터를 Celery로 2KB 크기로 나누어 task를 보내고,Celery에서는 prefork 방식으로 6개의 worker를 두어 해당 task를 병렬 처리합니다.DB 반영할 때엔 데이터 성격에 따라 나누어 저장해야해서,트랜잭션으로 3개(테이블의 개수)의 Bulk INSERT(executemany)문을 묶어서 실행하고 있습니다.auto commit은 False로 해둔 상태이고, 커넥션 재사용을 위해 Pooldb를 사용하고 있습니다.INSERT 하는 테이블에는 유니크 키 제약이 있습니다.각 task는 대략 249개의 데이터를 테이블 3개에 INSERT합니다.처음에는 각 task가 0.5초 ~ 1초 내로 처리 되지만, 시간이 지날수록 시간이 증가하여 2초에서 최대 6초까지 task 처리시간이 증가합니다.아무래도 INSERT할 때 유니크 검증&#43;키 갱신으로 인해 시간이 오래걸리는것으로 추측되는데,혹시 좋은 방법이 있을까요? 조언부탁드립니다

테스트맨 · Accepted Answer

느낌이 서버쪽 버퍼에 계속 저장하고 있어서 그런거 같은데... 플러시 안해서..커밋을 치면 어떻게 될려나.. 아마도 innodb_buffer_pool_size가 영향을 미치는게 아닌지?

팩트폭행범 · Answer

단순 쿼리로 넣고있는건 아니죠?csv파일 사용하는거죠?

MySQL 대용량 INSERT할때의 속도저하

2개의 답변

Q&A 목록