매우 간단한 연산하는 Go 서버 저렴하게 만드는 법

Question

안녕하세요 저희 Firebase Cloud Function으로 현재위치와 가까운 업체를 받는 작업을 처리합니다.로직은고객 현재 위치 <-> 유저들 위치 전체 계산해서 (2000~3000) 가장 가까운 유저 10개 리턴 이게 현재 3-4초 걸립니다.근대 아무리 봐도 goLang 동시성을 활용하면 시간을 매우 단축할 수 있을 거라고 생각합니다.제 생각이 맞는걸까요?만약 맞다면 가장 저렴하게 고랭서버를 만들 수 있는 곳이 있을까요?

continue044 · Answer

거리 계산을 N개의 고루틴으로 나눈다면 최대 1/N으로 단축됩니다.얼마나 줄어들지는 실험해보시는게 가장 정확합니다.

amiwho · Answer

제가 잘 모르는 영역이라 조심스러운데, "계산하는" 작업인가요 "계산을 받는" 작업인가요?

캐티 · Answer

이거는 함수형 어플이라고 해요. 이거는 요청을 보내면 대기열에 넣는 방식이어서 레이턴시가 좀 있을거여요. 이럼 신속한 응답이 필요하면 망하는 거여요.5000유저 정도면 아이디:좌표 하여서 16바이트라고 가정하면 90킬로바이트 정도 되는거 같은데 이럼 그냥 통쨰로 받아서 클라이언트에서 처리하면 빠를거여요. 이정도면 이미지 데이터를 받는 거보다 앵간하게 작은 데이터이지 않나요.

호두까면주름생김 · Answer

브라우저에 node 를 심어서 백그라운드에서 데이터 받고 처리

Met · Answer

제가 문제를 잘 이해 못 한 걸 수도 있지만 하나의 요청에 대해 서버의 계산 시간이 오래 걸리는 문제를 말씀하시는 것 같네요.이 경우 동시성보다는 병렬성이 필요한 문제입니다. (동시성으로도 풀 수 있지만 병렬성으로 풀면 오버헤드가 줄어 더 효율적입니다)정확한 로직은 모르겠지만 모든 유저에 대해 계산하기보다 구역별로 분류하여 가까운 구역의 유저 대상 거리만 계산하는 등 최적화 알고리즘 개발이 더 중요해보입니다.

scissors hand · Answer

저희 Firebase Cloud Function으로 현재위치와 가까운 업체를 받는 작업을 처리합니다. -> 라고 하셨는데 그럼 로직은 이게 아니라고객 현재 위치 <-> 유저들 위치 전체 계산해서 (2000~3000) 가장 가까운 유저 10개 리턴 이게 맞죠? 나만 헷갈린 건지고객 현재 위치 <-> 업체들 위치 전체 계산해서 (2000~3000) 가장 가까운 업체 10개 리턴 다음과 같은 방법은 어떤가요? (Met 님 의견이군요)좌표 기반 "사각형 필터" (Bounding Box)고객의 위도/경도에서 ±0.1도 (약 11km) 사각형 범위로 먼저 업체 필터링ex) lat BETWEEN X AND Y AND lng BETWEEN A AND B후처리에서 정확한 거리 계산 (Haversine)사각형으로 걸러낸 후보들만 대상으로 거리 계산하여 상위 10개 추출이 경우엔 10개 미만이 나올 수 있음. => 필요시 Bounding Box 완화

kmksk · Answer

https://github.com/kyroy/kdtree이거 써보시고 시간 한번 자세히 측정 해보심이.. 실제 계산시간만 3~4초 걸리진 않을거같고 네트워크나 웹서버 이슈 또는 IO 이슈일 가능성을 배제 할수 없을거 같아요.

PzaThief · Answer

질문자님께서 여쭤본 케이스는 KNN search로 일반화가 되어있는 문제인데, index(혹은 별도의 자료구조)를 활용하면 됩니다.go 서버에서 처리하고싶으시다면 kmksk 님이 알려주신 라이브러리와 같은것들을 쓰면 되고, 실제 서비스에서는 일반적으로 application level 에서 해당 처리를 하지 않고 DB에 저장된 상태에서 쿼리를 사용하는데 PostGIS의 경우는 수백만건에서도 수~수십밀리초 이내로 근접 이웃을 탐색할 수 있습니다.링크 참고 하시면 좋을 것 같아 첨부 드려요https://www.crunchydata.com/blog/a-deep-dive-into-postgis-nearest-neighbor-search

자읭식과읭 · Answer

올만에 로그인합니다이것은 이미 잘알려진 문제이고 쉽게 풀립니다.KNN, ANN에 대해 공부해보시고,위에서 언급하신 kdtreeANN도 된다면 hnsw를 쓰시면 됩니다.2천명이면 거의 0.01초 이하로 가능할 듯 하네요

매우 간단한 연산하는 Go 서버 저렴하게 만드는 법

9개의 답변

#golang 목록