open API 결과값 가공 자동화

Question

안녕하세요. 오키님들, 연휴는 즐겁게 보내셨나요? 다름이 아니라 오키님들의 경험이 저에게 많은 도움이 될거같아서 이 질문을 올리게 되었습니다. 시간이 되신다면 아래 내용 읽어봐주십시오.저는 현재 공공 데이터의 값을 가지고 와서 가공하여 제 개인의 데이터베이스에 넣는 자동화 방법을 고민중입니다.예를 들어 open api에서 제공하는 것이 오늘 하루의 기온이 몇도인지라면 저는 데이터를 조회한 후 결과에 따라 평균 온도를 계산해서 제 개인 데이터베이스에 넣어 사용자들에게 제공해주고 싶습니다. (온도는 그저 예시일 뿐입니다.)자동화는 open api를 이용해 값을 조회한 후 가공해서 database에 쏘아주는 스크립트를 windows task scheduler로 이용해 실행시킬 생각입니다. 이때 몇 가지 궁금한 점이 생겨나는데 이 이벤트를 동작시킬 때 open api에서 많은 값을 받아올텐데 이 모든 값을 한번에 받아와서 가공 후 database에 넣나요? 아니면 특정 기준으로 일정한 양을 받아온 후 조금씩 가공해서 데이터베이스에 넣나요?이렇게 데이터베이스를 관리할 때 open api의 가공되기 전 값도 데이터베이스에 저장하나요?2번에서 만약에 개인 데이터베이스에 모든 값을 저장하게 되면, 이것을 제가 사용자에게 제공해도 문제가 되지는 않나요? 해당 open API의 라이센스는 출처 표시만 하면 됩니다.긴 글 읽어주셔서 감사합니다. 많은 의견 부탁드립니다.

rarity · Answer

실시간은 사실상 불가능하시다 봐야하고그 주기가 기상과 같이 하루 텀이고 업데이트 일정이 정해져 있다면 가능합니다.누군가의 RAM에 있으나 ROM에 있으나 똑같습니다.이용 가이드라인만 잘 준수하세요.

yeori · Answer

공공데이터가 data쩜or쩜kr 사이트에서 제공하는 데이터를 의미한다면 다음과 같은 점을 주의해야 합니다.1. 데이터 지연제공하는 공공데이터가 무쟈게 많은데, 데이터 종류에 따라서 응답이 제때 오지 않는 경우가 많습니다.일례로 날씨의 경우 10번 요청을 보내면 그 중에 2~3번은 응답이 오는데 1초 이상 걸립니다. 재수없으면 10초 이상 걸릴때도 많고, 30초 넘게 걸리는 경우도 꽤 많습니다.네이버나 카카오 지도같은 경우 99.00% 의 요청이 0.1초 이내에 다 떨어지기때문에 실시간으로 호출해서 사용해도 되는데 공공데이터 서비스는 데이터별로 응답 지연을 미리 테스트 해봐야합니다.그런데 대부분은 응답 지연이 빈번해서(2초 이상) 실시간으로 요청해서 쓸 수 있는 데이터가 없습니다.2. 캐싱 결국 원활한 서비스 제공을 위해서는 공공데이터 응답을 백엔드에서 캐싱해둬야 합니다.응답을 디비에 고스란히 담든, 가공해서 내 디비에 맞게 담든 각자 맥락에 따라서 선택하면 되고,데이터가 자주 변하는지를 확인해야 합니다.관광지 데이터의 경우는 내용이 자주 변하지 않지만 교통 정보는 유효 시간이 짧기 때문에 캐싱 전략을 잘 세워야 합니다. 브라우저에서 제공하는 Cache-Control 옵션을 백엔드에 구현해야합니다.3. 데이터 정합성의외로 빵구난 데이터가 많습니다. 또는 중복 데이터가 응답에 섞여있어서 디비를 뻑나게 합니다.특정 지역에서만 위도/경도 값이 바뀌어있다든가, 있어야 할 데이터가 아예 사라짐... 심지어 데이터 포맷이 문서에 적힌 내용과 다르다든가...신고해도 잘 고쳐지지 않는거 같습니다.백엔드에 캐싱해서 사용자에게 제공하려면 데이터가 깨진게 없는지 꼼꼼히 확인해야 합니다. 충분히 방어적으로 코딩해야함. 겁나 귀찮고 성가심.4. 결론 남의 데이터 쓰는게 쉽지 않다!!

open API 결과값 가공 자동화

2개의 답변

#openapi 목록