dhrgml830
1k
2021-09-14 10:08:38 작성 2021-09-14 10:08:52 수정됨
1
172

크롤링할때 AWS 캐시 질문드려요!


안녕하세요.

요즘 크롤링취미가 생겨서 이것저것 해보고있는데요.

https://www.binance.com/en/support/announcement/c-49?navId=49


여기 사이트를 text/html방식으로 긁어서 파싱해서 데이터를 보여주려고 하는데요.

보면 response헤더에

x-cache : Hit from cloudfront 

age : 250(최대 300까지 늘어납니다)

이렇게 최대 300초까지 동일한캐시데이터가 리턴되는데

캐시데이터가아닌 origin데이터를 받을수 있는방법이 있을까요??

x-cache:

Hit from clo
0
  • 답변 1

  • 멘탈조각
    2k
    2021-09-14 11:24:59

    그렇게 하지 말라고 캐시 프록시를 붙이는 겁니다.

  • 로그인을 하시면 답변을 등록할 수 있습니다.