ISA
5k
2021-12-21 12:16:51 작성 2021-12-21 12:17:09 수정됨
10
884

대용량 데이터나 트래픽을 다루는 연습


서비스 기업에서 중요시 여기는 경험 중
실제로 실무에서 제외하고 체험하기 어려운 것 중 하나가 대용량 트래픽이나 동접수, 대용량 데이터를 처리하는 것이라는건 누구나 공감 하실 것 같습니다.

그런데 이걸 연습 삼아서 구현해서 경험을 쌓아볼 방법이 정말 없을까? 라는 생각이 들었네요.

더미 데이터나 더미 네트워크 같은걸 만들고 약한 디도스 공격 같은걸 때리면 실제 상황이랑 비슷하게 해볼 수 있지 않을까? 하는데 어떻게 생각하십니까?

일단 돈문제가 걸리긴해요. 실제로 해볼려면 어떤 문제들이 있을까요?
-1
1
  • 댓글 10

  • 정교니
    1k
    2021-12-21 13:01:04

    이거 정말 궁금합니다

    말씀하신 것처럼 대용량 트래픽, 데이터 처리 같은건 그런걸 경험해볼 수 있는 서비스의 회사를 들어가는게 아니고서야 경험할 수가...없어서..

  • 안전라이딩
    1k
    2021-12-21 13:05:20

    테스트 환경을 구성하는 것도 일이긴 한데 서비스가 똑바로 돌아가고 있는지 어떻게 검증할 것인가 도 큰 일이죠..

  • 오후
    3k
    2021-12-21 13:05:50

    실제 서비스업체에 해당 테스트 진행시 법적으로 문제가 발생할 가능성이 높습니다.


    본인이 직접만든 서비스에 테스트해보겟다면 부하테스트 로 검색하셔서 여러 툴이용하시면됩니다.

  • 설레임_
    323
    2021-12-21 13:06:06

    jmeter 같은걸로 테스트해도 충분하지 않을까요

  • ISA
    5k
    2021-12-21 13:17:49

    그런 테스트툴을 해본 것을 그런 트래픽이나 데이터를 다루어 보았다고 할 수 있을까요?

    부하 테스트를 해봤다고 경험이라 할 수 있을거 같지는 않은데 음..

    -1
  • 더미
    16k
    2021-12-21 14:19:37

    결국 돈문젭니다

  • 크라슈
    1k
    2021-12-21 14:38:13 작성 2021-12-21 15:05:22 수정됨

    트래픽 발생은 구글에서 검색해보니까  https://nitw.tistory.com/114 여기를 참조해 보시면, 하나의 웹서버,WAS 에 트래픽을 발생시켜서 동접이나 세션값을 체크하는 부분이 있고, 그외에도 패킷 발생등등 툴을 찾아보시면 될겁니다.

    저는 로드러너를 기반으로 신규배포 서버- 아파치,톰캣을 테스트 해봐서 동접자,커넥션풀 등을 3일 내내 스트레스테스트를 한적이 있습니다. 

    로드러너의 경우 데모버전이 있는지 모르겠지만, 돌려보시면 소스코드나 톰캣 설정등에서 트래픽 대응법을 확인 해 볼 수 있는 것 같습니다.


    그리고 대용량데이터의 경우는 오라클에서 connect by로 백만건을 만드는 쿼리가 있잖습니까? 몇개의 테이블을 만들고, 각각의  더미 데이터 건수를 조절 한 다음, 조인등을 테스트 해봤던 것 같습니다. 

    여러 테이블을 만들고, 최대 일억건 이상의 더미 데이터를 넣어보고, 테이블간의 조인,인덱스등을 테스트 해봤던 것 같습니다만.

    이통사나 금융권에서 발생하는 수십,수백만건의 리얼데이터 처리는 파일이나 배치로 처리하는 것으로 듣기는 했는데, 실제 해보지는 않아서, 고수님들의 경험담을 들어보고 싶기는 합니다.

  • ISA
    5k
    2021-12-21 15:17:50
    @크라슈

    참고하겠습니다.
     감사합니다.
    -1
  • 캐티
    5k
    2021-12-21 15:31:47

    도커 같은거나 아주 느린 클라우드에 적절한 트래픽을 일부러 넣어주는 방식으로 테스트 하빈다.

    대략 거기 들어가는 비용을 곱해서 어느정도 처리가 가능한지 산출이 가능하저.

  • 구직인
    629
    2021-12-21 15:36:54

    물론 그런 부하 테스트 툴(비싼 유료)가 있긴한데,

    위에서 말하는 테스트 툴은 구글에 검색해서 하는 그런 툴을 말하는게 분명해 보입니다.

    참으로 답답하고 폭폭하고 수준이 낮네요..


    트래픽 발생을 만드는 것도 일입니다.

    머신 1개로 쏴줘서는 안되겠죠. 

    트래픽도 서서히 점진적으로, 혹은 1분내에 쓰나미마냥 들이닥친 후 없어지고..

    실제 대용량을 겪는 시니어에게 경험적으로 들어야 할 필요도 있죠..

    경험말곤 없을 것 같습니다.

    아무리 방법을 눈으로 익히더라도, 실제랑은 다르겠죠.;;

    물론 검색해보면 상세한 설명들이 있는데, 그 설명에 맞는 환경의 트래픽이지

    실제 자기의 서비스에 대입하려면 역시 많은 경험이 필요할것같습니다.


    부하를 만드는 것도 일인것같습니다.

    최소 3개이상의 물리적 서버에서..

  • 로그인을 하시면 댓글을 등록할 수 있습니다.