아파치 스파크 관련 count시 성능관련 질문입니다.

Question

스파크 스트리밍으로 개발 진행중인 상태이며도커 스웜으로 서버 4대에 클러스터 구성이 되어있습니다. 그래서 마스터 1대 워커 3대로 스파크를 구성해놓은상태입니다. (다른 프로그램없이 스파크 마스터가 워커를 관리) 카운트를 처리하려하는데 이게 생각보다는 많이 느리더라구요. 데이터는 분당 20-30만건정도를 밀어넣어보고있는데요. 전체카운팅은 10만건에 대략 1초가 걸리긴하는데..groupbykey등에서 꽤 잡아먹습니다. (reducebykey를 사용이 권장되긴하는데 지금 구현되어있는것은 그렇습니다) 지인에게 물어볼때는 워커마다 분산처리를 프로그램코드상으로도 할수있다고 하는 말씀을하셔서(지금 제가 맡은 코드상으로는 그런류의 로직은 안보이는 상태) 혹시나 관련해서 팁을 주실수 있을까 해서 문의드립니다.구글검색에서는 카운트나 이런거 사용은 피하라고 되어있는것도 봐서..스파크가 그런류의 통계를 처리하는 용도가 아닌가? 하는 생각까지도 드는중입니다.;; ps. 다른분담당 소스라 이래저래 클래스로 복잡하게 엮여있어서 아예 테스트로 깔끔하게 복잡한구조로 안가고로직을 구성해서 다시 시도해 보는중입니다.

성실이 · Answer

map 연산 위주로 처리하고 마지막에 reduce 처리하는게 제일 좋습니다. reduce 연산을 map 연산으로 바꾸는게 실력이라고 보시면 됩니다. 이게 알고리즘이나 sql 튜닝이랑 비슷해서 처리 로직에 따라 달라집니다. 많이 해보신 분들은 나름 패턴이 있다고 하시는데 저는 잘 모르겠습니다. 그리고 나서도 원하는 성능이 나오지 않으면 분할 처리하는 방법이 있습니다. 대부분 stream 처리로 가능한데, 아주 특별한 경우에는 RDD를 직접 구현해야 하는 경우도 있기는 합니다.그리고, 동일한 로직이면 스파크보다 빠르게 만드는거 쉽지 않아요. 스파크에 있는 메모리 관리자 보시면 아시겠지만 Unsafe로 직접 메모리 offset연산을 하기 때문에 순수 자바로는 쉽지 않습니다. 특별히 고성능 모듈과 비교한 것이 아니라면 스파크가 느리다기 보다는 사용자 로직에 문제가 있는 경우가 90%입니다.어떤 로직인지 모르겠지만 10만건에 1초면 노트복에서 분산없이 처리하는 수준입니다. 보통 로컬 테스트 할 때 100만건/10초 정도를 기준으로 잡으시면 됩니다. 설명하신 내용만 봐서는 병목이 있어서 성능이 제한되는 것같습니다. 일단 스케쥴러 확인하셔서 병목 구간을 찾으시면 병목을 해결할 길이 보이실 겁니다.

냥길동 · Answer

네 조언 감사합니다. 다 걷어내고 하나하나 속도등을 맞춰볼 생각입니다. 감사합니다.

아파치 스파크 관련 count시 성능관련 질문입니다.

2개의 답변

Q&A 목록