3차원메트릭스
301
2018-04-27 11:42:51
14
1947

PHP로 크롤링하는 것과 JAVA로 크롤링하는 것의 속도차이


공공데이터를 이용해서 서비스를 하나 만들어 보고자 API 신청하여 돌려본 결과입니다.

맨 처음 PHP로 파싱을 하였습니다. curl로 파싱을 하였고 mysql에 결과를 집어넣었습니다. php로 url요청을 하는데 공공데이터의 사이트가 늦게 응답을 하여 하나의 페이지를 받을때 5초의 딜레이가 있어 1000개의 데이터 XML를 받는데 약 5000초 . 1시간 40분 정도가 소요 되었습니다. 

받아야 할 XML이 5만개여서 엄청난 시간이 소요 될 것으로 판단하여 도중에 취소를 하고 JAVA로 짜서 만들었습니다.

똑같은 환경에서 작업을 하였고 jsoup을 이용하여 파싱을 하였습니다. 결과는 믿기지가 않는데 URL 요청을 하여 가져오는 것이 0.01~0.5초의 시간이 필요하였고 1000개의 데이터 XML을 가져오는데 60초 정도의 시간이 소요 되었습니다 

이런 결과가 나온것이 너무 뜻밖이라 여기에 올려 봅니다. 


파싱한 것은 공공데이타 

https://www.data.go.kr/dataset/3046071/openapi.do 

국민연금 가입 사업장 내역

(국민연금가입수급정보) 법정동단위 지역별, 국민연금 가입 사업장 정보
* 단, 개인사업장 및 2인이하 법인 사업장 정보 미제공

위의 데이타를 파싱하였습니다. 왜 이런 차이가 생기는지 궁금하네요

한번 테스트 해보시거나 답글로 이유를 한번 달아주세요

0
1
  • 댓글 14

  • 톰소여
    1k
    2018-04-27 11:46:42

    잘하셨습니다.


    스레딩 이용하면 10초 이내에도 받을 수 있습니다.

    제가 php를 잘 몰라서 그러는데..

    php도 스레딩 지원하나요?

    0
  • 3차원메트릭스
    301
    2018-04-27 11:48:52

    네 지원합니다 자바에서 쓰레딩을 쓴 적이 없는것같은데 제가 썻는지 한번 살펴봐야겠네요

    0
  • 3차원메트릭스
    301
    2018-04-27 13:26:59

    아 정정합니다 jsoup을 안쓰고도 0.01초가 걸립니다. 


    0
  • zepinos
    16k
    2018-04-27 14:52:23

    가오루 // 막걸리 님 발언을 신중히 하시는게 좋을 것 같은데요?


    http://archive.is/1iwm3


    2
  • jjsun9
    1k
    2018-04-27 14:56:55

    민주당에 했다는 증거가 없는데..

    왜 민주당이라고 하는지 막걸리님은

    꼴통 보수 신가...

    친일파신가

    이러면 듣기 좋겠습니까....

    0
  • hyperion
    529
    2018-04-27 16:19:06

    zepinos님의 빠른 박제....ㅋㅋㅋ

    추천 누르고 갑니다.

    0
  • zepinos
    16k
    2018-04-27 17:19:06

    가오루 님 // 막걸리 님, 한 쪽의 일방적인 주장을 이렇게 사실인냥 적으시면...매우 곤란한데요.


    매크로를 돌린 세력이 있다 = 의심

    민주당이 그 세력에 사주했다 = 의심에서 다시 의심

    민주당이 매크로를 돌렸다 = 아무도 제시하지 않은 내용


    제가 민주당과는 관련이 없지만, 신고하면 어쩌실려고 이러시죠?


    그리고 매크로 돌린 세력이 민주당의 사주 혹은 후보시절 문재인 후보자의 사주라고 의심되면, 그 이전에 이미 안철수는 이유미, 이준서 건으로 더 큰 의심을 받고 있는 사람인데, 그걸로 안철수나 소속정당이 그런 말 하면 참...내로남불? 도 아니고 이걸 어떻게 의심해야 하는지...


    0
  • zepinos
    16k
    2018-04-27 17:20:47
    아 참...그러고보니 여기 OKKY 에도 일종의 "정신" 매크로 돌리는 분이 한 분 계시죠. 계정 멀티로 만들어서 차단해도 또 들어오고...차단해도 또 들어오고...


    0
  • H.O
    84
    2018-04-27 18:28:27

    가오루. 유명한 네임드 몹인가보네.사람들 다 아는군.

    0
  • 우라우라
    169
    2018-04-30 10:47:41 작성 2018-04-30 10:48:17 수정됨

    글쓴이도 어그로꾼이긴하나 민주당 지지자들은 협박을 잘하죠 내로남불의 전형이라고할까 

    김어준이 같은놈들도 조용하죠

    팩트는 더듬어만진당 김경수의 부하들은 문재인 캠프에서 불법으로 SNS지원 대응 2팀소속으로 활동 전력이 있고 합리적인 의심이라 생각

    0
  • H.O
    84
    2018-04-30 22:13:59

    문재인 캠프에서 불법으로 SNS지원 대응 2팀소속으로 활동 전력이 있고  <-- 증거 없으면 감옥갈텐데.

    0
  • 우라우라
    169
    2018-05-02 10:30:36 작성 2018-05-02 10:41:56 수정됨

    H.O 제가 감옥간다구요?

    지원단은 10개 팀 약 76명 규모로 꾸려졌다. SNS기획팀, SNS메시지팀, SNS분석대응팀, SNS플랫폼팀, SNS콘텐츠팀, 뉴스매거진팀, SNS네트워크팀, 대응1팀, 2팀, 3팀으로 구성됐다. 사무실에 컴퓨터 90대 이상과 프린터 24대 등을 설치하고 11월30일부터 본격적인 활동을 시했다.

    송 비서관은 당시 SNS지원단에 참여한 사실을 인정했지만, 불법적인 활동이었다는 점에는 동의하지 않았다. 그는 “당시 내가 SNS지원단에 합류한 것은 맞다. 당시 책임자 두 분이 법적 책임을 지긴 했지만 조직적인 댓글 조작은 아니다. 지금 야당 측과 언론은 민주당도 똑같다는 식으로 말하고 있고, 언론도 악의적이다. 김 의원의 해명에 대해 자꾸 말꼬리를 잡고 있는 것 같다”고 밝혔다. 


    불법이라 책임진사람이 있는데 총대맨사람 말고 직접적으로 처벌안받았다고 했는걸 안했다고 할수 있습니까 밀양 여고생 집단강간사건처럼 몇명 처벌 안받았다고 공모자들이 공범들이 공범아닙니까?


    전형적인 내로남불 이네요  


    http://www.sisajournal.com/journal/article/174938

    0
  • 로그인을 하시면 댓글을 등록할 수 있습니다.