django 데이터분석 lightsail 이용

Question

안녕하세요 선배님들~! 저는 코린이 입니다.먼저 현재 서버 환경은lightsail 1 vcpu, 1gb ram 40gb ssd 5달러짜리 서버 쓰고 있습니다.django를 사용하고 있구요돌리고 있는건. 먼저 게시판 돌리고 있고하루에 2만개 정도 데이터를 cronjob을 통해 데이터베이스에 추가해주고 있고쿼리로 데이터 불러서 정렬하고 보여주고 있습니다.그런데 문제는 데이터 분석 해주는 url을 접속할때 시간이 6초정도 걸린다는 겁니다. 그리고 어쩌다가 서버 cpu가 100프로 꽉차서 멈춰버립니다. 분석 데이터는 기본적으로 날짜를 필터링 해서 총 15일치에 접근할수 있도록 합니다. 하루당 2만개 정도요. def detail(request, date, gion, gory) base_data &#61; S.objects.filter(create_date__date&#61;date) S에는 수십만개의 행으로 이루어져 있고, 17개의 필드로 구성되어있음 # date_strings &#61; dates_15() 15개 # gions &#61; base_data.values('gion_name').distinct() 100개정도 # gories &#61; x.objects.filter(assignable&#61;'True') 30개정도 so &#61; request.GET.get('so', '') if gion &#61;&#61; 'All': if gory &#61;&#61; 'All': a &#61; base_data.order_by('d_id').distinct('d_id') if so &#61;&#61; 's': filtered_data &#61; base_data.filter(id__in&#61;a).order_by('-_count') elif so &#61;&#61; 'o': filtered_data &#61; base_data.filter(id__in&#61;a).order_by('-_ratio') elif so &#61;&#61; 'io': filtered_data &#61; base_data.filter(id__in&#61;a).order_by('-_ratio') else: filtered_data &#61; base_data.filter(id__in&#61;a).order_by('-_count')데이터 분석을 하기에는 턱없이 부족한 성능일까요?쿼리 최적화가 안되어있는걸까요?제각 생각하지 못한 문제가 있을까요?데이터 분석을 위해서는 어느 정도의 서버 성능이 필요할까요? 데이터 프레임 이용할 예정입니다.선배님들 답변해주시면 너무나 감사하겠습니다 !

bodyMist · Answer

lightsail 의 그 정도 사양이면 정말 웹서버 구동에만 집중시키는게 좋을듯 합니다.데이터 추가는 aws 람다같은 서버리스를 이용해도 좋을것 같네요.

django 데이터분석 lightsail 이용

1개의 답변

Q&A 목록