무한정으로 쌓이는 데이터 컬럼, db테이블을 어떻게 설계해야 하나요??

Question

엑셀로 정리 되어 있던 데이터들을 db에 넣고 관리하는 시스템을 만들게 되었는데요. 데이터 양이 좀 많습니다. 현재 총 데이터 개수가 대략 3천만건 정도 되는것 같고요. 자주는 아니지만 가끔 데이터를 추가로 넣게 되면 적게는 10만건에서 많게는 100만건 씩 계속 쌓여나갈 것 같습니다. 여기서 궁금증은 테이블 하나에 저 많은 데이터를 다 넣어도 괜찮은가요? 앞으로 데이터는 무한정으로 쌓여나갈것 같은데 어떤식으로 db를 설계해야할지 감이 안섭니다.만들게 될 프로그램의 주된 작업은 저 많은 데이터 중에서 조건에 맞는 데이터들을 select하는 것입니다.db는 mariadb를 사용할 것 같습니다. fe개발자인데 어쩌다 보니 이번에 db설계부터 다 떠맡게 되었네요;; db잘모릅니다...도와주세요 ㅠ

xml개발자 · Answer

3억건 테이블도 봤었는데요별 문제는 없었습니다… 백업할 때 좀 오래걸리긴 했구요.

suka · Answer

콘푸로스트 만들면 앞으로 계속 사용하게 될것 같은데 서버 컴 성능만 받쳐주면 억단위까지는 별 문제는 없다는 거죠?

신히 · Answer

무작정 쌓으면 당연히 안됩니다. 설계를 잘 하셔야 나중에 고생 안합니다.계속 쌓으면서 과거 데이터도 지속적으로 사용하나요? 아마 아닐겁니다. 어~쩌다가 조회가 되겠죠.테이블 용량이 커지는걸 예상한다면 파티셔닝 하셔야 합니다. 증분백업도 용이해서 백업 속도 늘릴 수 있고성능도 올라갑니다.

suka · Answer

신히 각 항목은 카테고리값을 가지게 될텐데 리스트 파티셔닝으로 처리하면 되겠죠?

초무쿤 · Answer

partition table

해리아범 · Answer

그냥 적어주신 것으로만 보면 하나의 테이블만 필요한거네요. 맞아요? 이 부분이 중요하다고 생각합니다정말 한개의 테이블만 필요한거고 검색만 할 데이터가 몇억 개 정도라면 그냥 만드시고 인덱스 몇개 걸어두시면 될 것 같아요 그런데 보통은 백업, 동기화, 타 테이블과의 조인속도 등등때문에 고려해야할 게 많죠 나머지 요구사항이 없다면 단순하게 구현하고 쓰다가 개선하는 것도 괜찮다고 봅니다. 쓰다보면 새 요구사항이 생기기도 하고 개발자 선에서 불편한 게 생기거든요. 그때 가서 바꿔도 됩니다. 3천만건은 그리 많은게 아니라 테이블 옮겨도 별 문제 없어요

무한정으로 쌓이는 데이터 컬럼, db테이블을 어떻게 설계해야 하나요??

6개의 답변

#column 목록