sori
10
2020-04-10 08:53:55
12
811

개발자는 아닌데 이런 작업을 처리할 수 있는 언어가 뭐가 있을까요?


안녕하세요

회사에서 개발만 빼고 dba겸 엔지니어겸 pl겸 여러가지를 하고있습니다.

개발실력은 그냥 이미 있는 소스를 컨트롤씨 해서 컨트롤브이 한다음

제게 필요한 기능에 맞게 고쳐서쓰는 정도는 합니다.

주로 java 구요


근데 어떤 업무를 하나 맡았는데 java로는 안될것 같더라구요

그래서 혹시 아래의 이런 작업을 할수있는 다른 프로그래밍 언어가 뭐가 있는지 여쭤보고자 합니다.


db테이블에 url 값을 읽어서 브라우저로 해당 페이지를 접속한다음

항상 동일한 버튼을 눌러서 파일을 다운로드 하고

그 파일을 특정 경로로 이동 및 rename 시키는 작업입니다.

이걸 10만번 해야하는데...


혹시 이런게 가능한 언어는 뭐가 있을까요? 

0
  • 답변 12

  • B급 개발자
    807
    2020-04-10 09:00:22 작성 2020-04-10 11:25:29 수정됨

    Java? 서버사이드의 어플리케이션 레벨에서  Java로 못하는 일이 있을까요?

  • sori
    10
    2020-04-10 09:03:19 작성 2020-04-10 09:05:08 수정됨

    답변 감사합니다. 

    근데 자바로는 안되는 부분이 있어서 자바 발고 다른게 있는지 여쭤보려고 합니다.

    저도 잘은 모르는데.. 사내 자바 개발자들분들 말로는 뭐 처리를 해야하는데 그게 자바로는 힘들다고 했었거든요


    이럴땐 개발자가 아니여서 무슨말인지 모르겠습니다.-_-;;;

  • MKRO
    384
    2020-04-10 09:05:09

    제 생각에는 http 가능하고 로컬환경 다룰 수 있으면 될 거 같고 그래서 거의 모든 언어로 다 할 수 있을거 같은데 자바로 안된다고 하신 이유가 있나요?

  • sori
    10
    2020-04-10 09:08:56

    음... 

    다시한번 자바로 왜 안되는지 확인해보겟습니다. ㅎㅎㅎ


    답변 정말 감사합니다.

  • 한경닷컴교육센터
    3k
    2020-04-10 09:11:50

    RPA 솔루션 활용해보세요.. 

    그리드원,uipath,AA등등 무료찾아서 자동화 시키시면 편하실꺼에요 

  • 유키
    914
    2020-04-10 09:20:07

    개발자들이 안 된다고 하는 이유 Best 1....


    나한테 물어볼까봐 귀찮아서...

  • 봄을찾아서
    270
    2020-04-10 09:22:04

    지금 생각나는 건, db에서 데이터를 조회한 뒤 csv 파일로 추출하고...

    파이썬과 셀레니움으로 csv파일을 열어서 말씀하신 작업을 수행하도록 자동화 시키면 가능할 것 같아요.

  • Dive_Drink_Develope
    5k
    2020-04-10 09:27:25 작성 2020-04-10 09:28:18 수정됨

    저도 요즘 크롤링쪽 관심가지고있는데

    파이썬 셀레니움으로 검색해보시구요

    https://basketdeveloper.tistory.com/48

    브라우저를 굳이 안타고 경로 접속만해도 되면

    자바에서 url로 접속해서 HTML을 받은 뒤에 특정버튼에 걸려있는 URL2를 추출해서 자바에서 그걸 다시 다운받게 하셔도 될것같습니다.

    구글 검색어 java parse html / java download from url to file



  • urbug2
    1k
    2020-04-10 09:34:33 작성 2020-04-10 09:39:44 수정됨

    자바로 되요. 브라우저 상에서 버튼을 눌러서 다운 받는 것은 안되도. html 파싱하면 해당url은 알 수 있으니까요. http객체만 사용해도 쉽게 그리고  충분히 구현되요.
    자바로 네이버 만화 이미지 파일 다 긁어서 저장해서 보고 그랬어요.

    로그인등 다른 절차가 필요한 url이면 코드량은 그만큼 늘어 나겠지만...
    단순하게 url로 접근하는 이상의 뭔가가 필요하다면 java로 가능은 해도. 그냥 안된다고 생각하시면 되요. 그 절차 속에 뭐가 더 필요한지도 모르고...

    그러나 가능여부만 묻는다면 됩니다.
    si 바닥에서 페이지 개발과 crud만 날리는 분에게 요청하면 안된다고 할 겁니다... 
    그런데 이건 그 분 잘못은 아니에요. 자바 개발이라고 해도 범위와 할 수 있는게 각각 다르니까요.
    언어가 가능한 것과 개발이 가능한 것은 다른 거니까요.


  • 바람종
    1k
    2020-04-10 10:50:24

    자바로 다 가능합니다.

    페이지가 응답에 마크업이 완성되어있는 스타일이면

    HTTP Client로 해당 url을 호출해서 html파일을 얻고 html parser 라이브러리를 이용해서 원하는 버튼에 링크된 url을 알아내고 다운도 자바로 받으시면 됩니다.

    다만 브라우저의 엔진을 통해서 화면이 구성되거나 단순한 http client 통신으로는 다운받기 어려운 경우는

    selenium 같이 브라우저를 직접 띄우고 그 브라우저를 제어하는 식으로 접근할수도있습니다.

    셀레니움도 java로 가능하니 알아보시면 좋겠네요.


    어떤 언어로 되고 안되고의 개념보다는 해당 작업을 하는데 좋은 라이브러리들을 그 언어가 잘 갖추고 중요할 수 있는데

    자바는 충분히 있는거 같네요

  • mirheeoj
    11k
    2020-04-10 12:26:54

    일단 해당 페이지의 html을 분석해서 다운 URL이 항상 동일한지 확인해보세요. 

    동일하다면 어떤 언어를 사용해도 매우 간단하게 처리될 겁니다. 

    매번 바뀌고 패턴도 없다면 결국 브라우저 임베딩을 해야 될거예요. 

  • 초무쿤
    5k
    2020-04-10 15:59:35 작성 2020-04-10 16:03:16 수정됨

    Java로 않되는게 아니라

    10만이라 문제인거 같습니다만.

    1초에 10건 10만개 계산해보시면 왜인지..

    멀티쓰레드(thread pool)로 처리하셔야될듯 하네요.

    그리고 대상 사이트에서 DDOS로 의심되서 블럭당할 가능성도 있구요.

  • 로그인을 하시면 답변을 등록할 수 있습니다.