MelRanG
719
2020-03-15 23:31:05
7
822

파이썬 크롤링 후 jsp로 구현질문입니다


A사이트와 B사이트의 검색결과가 다 다릅니다. a사이트에는 판매하는 것이 b사이트에는 없는 경우가 있어서

제가 검색을 하면 a사이트와 b사이트를 검색한 후 a사이트결과 b사이트결과를 통합해서 올리는 웹앱을 만드려는데 질문이 있습니다.


검색했을 때 나오는 값을 a사이트와 b사이트 다 크롤링한 후 이 데이터를 jsp로 넘겨서 결과를 띄울 수 있나요? 만약 가능하다면 이클립스에 파이썬파일만들어서 크롤링코드 구현 후 서블릿이나 jsp로 넘기면 되는건가요?

0
  • 답변 7

  • soyeomul
    208
    2020-03-16 00:04:02

    파이썬으로 긁어와서 취합한것을 파일로 저장합니다.

    파일을 jsp 에서 읽습니다.


    더 좋은 방법은 다른분이 소개해주실거 같아요^^^


    [우분투 18.04 파여폭스 나비에서 작성했어요]

  • MelRanG
    719
    2020-03-16 00:11:03 작성 2020-03-16 00:11:28 수정됨

    @soyeomul 

    검색해서 나온값을 파일로 저장하고 읽어들여서 결과창을 띄우면 딜레이가 큰가요??

  • soyeomul
    208
    2020-03-16 00:18:54

    동시에 돌리면 딜레이 큽니다.

    딜레이 줄이려면 파이썬  크롤링은 백그라운드로 주기적으로 미리 돌려두는 방법도 있겠네요.


    [안드로이드서 적었어요]

  • MelRanG
    719
    2020-03-16 12:20:23

    soyeomul

    아하 그러면 jsp로 구현한 웹페이지에서 특정단어 검색하면 파이썬크롤러가 그 링크 들어가서 관련자료를

    퍼온 후 파일로 저장하고 jsp가 그 파일을 읽어서 불러들이는건가요?

  • soyeomul
    208
    2020-03-16 14:51:46

    제가 제시한 방법(파일)으로는 속도 문제는 해결이 쉽지않아보이네요. 자바에 파이썬의 subprocess 역할을 하는게 있는지 알아보시는것도...


    [안드로이드서 적어요]

  • soyeomul
    208
    2020-03-17 10:43:15

    사용자가 값을 요청했을때

    파이썬 크롤링과 jsp 동시 실행하게끔 한다면,,,

    - subproces


    사용자의 값 요청에 상관없이 파이썬 크롤링은 백그라운드에서 주기적으로 계속 돌아간다면,,,

    - 파일(=데이타베이스)


    제 생각을 정리해봤어요~


    [우분투 18.04 파여폭스 나비에서 작성했어요]

  • MelRanG
    719
    2020-03-17 19:22:34
  • 로그인을 하시면 답변을 등록할 수 있습니다.