List 요소 Java로직으로 집계 질문있습니다.

Question

class EducationTarget { String siteId; //사업장ID String userId; //유저ID String educationTypeCode; //교육 유형 코드 String educationTargetCode; //교육 대상 코드 String educationCompleteCycleCode; //교육 이수주기 코드 String educationYear; //교육 실시 년도 String educationMonth; //교육 실시 월 int userEducationCompleteTime; //유저 교육 이수시간 int educationDutyCompleteTime; //교육 의무 이수시간 }사업장 별로 월 마다 교육 대상자가 몇 명인지 집계를 해야되는데요. 한 사용자가 여러 사업장에 투입될 수 있습니다.만약 1 ~3월까지 교육 대상자가 5명이었는데 한 명이 3월에 의무 이수 시간을 다 만족 시켰으면 4월부터는 교육 대상자가 4명이 돼야합니다.회사가 내부망이라 소스는 기억나는데로 요약해서 적어봤습니다..처음에 DB에서 집계를 하기위한 데이터들을 조회해와서 교육 이수 주기 별로 조건에 맞게 filter를 했습니다.그 다음 유저가 실제로 이수한 교육 시간을 합쳐서 교육 의무 이수시간과 비교해 의무 이수 시간보다 작다면 교육 대상에 포함시키는 로직입니다.문제는 운영서버 DB에서 select할 때 약 5만건정도 조회되는데요 그렇다보니 이렇게 이중 반복으로 처리하니까 서버가 응답을 하지 않습니다...ㅠ개발서버에서는 건 수가 적어서 parallelStream()으로 변경해봐도 차이를 모르겠네요parallelStream()으로 변경하면 병렬처리돼서 처리시간이 빨리질까요? 아니면 로직을 변경해야할까요1년차 코린이 도와주실 선배님들 답변 기다리겠습니다...! List total // 모든 유저의 월별 교육 이수 시간 조회 List educationTarget = new ArrayList()<>// 교육 대상 for(EducationTarget target : total){ if(target.getEducationCompleteCycleCode().equals("001"){ //교육 이수 주기가 1년 int cpleTime = total.stream().filter(i -> { return i.getSiteId().equals(target.getSiteId()) && i.getUserId().equals(target.getUserId()) && i.getEducationTypeCode().equals(target.getEducationTypeCode()) && i.getEducationTargetCode().equals(target.getEducationTargetCode()) && i.getEducationYear().equals(target.getEducationYear()) && i.getEducationMonth() < target.getEducationMonth() ; }).mapToInt(EducationTarget::getUserEducationCompleteTime).sum(); } if(cpleTime < target.getEducationDutyCompleteTime()){ educationTarget.add(target); } if // ..교육 이수 주기가 분기 if // ..교육 이수 주기가 반기 if // ..교육 이수 주기가 2년 if // ..교육 이수 주기가 일회성 }

Clickin · Answer

이건 가져와서 자바에서 거를 게 아니라 쿼리 where에서 처리해야할 문제로 보이는데요5만건 이중 루프면 25만건인데 하필 또 stream~reduce까지 쓰면 오버헤드가 더 있겠죠쿼리에서 걸러보시는게 좋겠습니다.

yeori · Answer

사업장 별로 월 마다 교육 대상자가 몇 명인지 집계를 해야되는데요.어떤 직원이 2군데 이상의 사업장에 등록된 경우가 있는지부터 확인해봐야 하는데,아마 그런 경우는 없지 않을까 싶습니다.그러니까 (사업장별, 사용자)로 필터링하지 않고 그냥 (사용자)로만 필터링을 하면 이득을 보겠네요.그리고 코드에 "001"이라고 교육 이수주기가 1년인 경우만 보겠다는건데, 이런 데이터는 디비에서 걸러내고 1년 주기 데이터만 가져와도 될겁니다.최종적으로 다음과 같이 생긴 자료구조를 만들고 싶습니다."펭수" : [교육, 교육, 교육] "뽀로로": [교육, 교육, 교육, 교육, 교육, 교육... ] ...다른 사용자랑 비교하며 루프를 돌리지 않고, 자기꺼만 갖고 시간 계산을 하겠다는겁니다.List total = .... HashMap> grouping;위와같이 (사용자별, [교육, 교육..]) 으로 파티션 처리를 하고 싶습니다.다음과 같이 collect를 해줍니다. grouping = total.parallelStream().collect( HashMap::new, (map, person) -> { List histories = map.get(person.userId); if (histories == null) { histories = new ArrayList<>(); map.put(person.userId, histories); } histories.add(person); }, (acc, tmp) -> { tmp.forEach((userId, educated) -> { if (acc.containsKey(userId)) { acc.get(userId).addAll(tmp.get(userId)); } else { acc.put(userId, tmp.get(userId)); } }); });ㅇㅇ인자를 3개 씁니다.첫번째는 사용자별 교육시간을 담을 해시맵 생성두번째는 주어진 교육 시간을 해시맵에 담아주는 역할세번째는 parellelStream 쓰는 경우에 각각의 스레드가 만든 해시맵을 하나로 합칠때이렇게해서 사용자별로 교육시간을 모은 후에 grouping.forEach((userId, histories) -> { System.out.println(userId + ": " + histories); });님이 짠 더러운 로직을 잘 비벼넣어서 교육에서 뺄지 결정하면 됩니다.

shintwl · Answer

total이 5만건일 때 이중루프 돌리면 무려 25억 건입니다sql + 자바의 조합으로 가는 게 좋을 것 같습니다ex)사업장을 sql을 통해 가져오고자바로 사업장을 iteration 하면서각 사업장의 사용자를 sql을 통해 가져오고자바로 사업자를 iteration 하면서사용자 A의 X 교육 이수 주기 이수 시간을 가져오고자바로 기준 시간 미달인지 확인하고...이런식으로?로직을 다 아는게 아니라서 한계는 있겠습니다만교육이수시간 데이터를 시작점으로 잡으면 너무 많을 것 같습니다

장독깨기 · Answer

패러럴이건 뭐건 소용 없습니다. 가져올 때 이미 늦은 겁니다.데이터베이스에서 쿼리로 처리하는 것이 좋겠습니다.

List 요소 Java로직으로 집계 질문있습니다.

4개의 답변

#stream 목록