테라스
13
2021-01-27 17:44:35
3
893

프리랜서 일감 알리미 텔레그램 채널 만들어 봤습니다.


크롤링(또는 스크래핑)에 꽂혀서... 만들어 봤습니다.


먼저 저는 깊이가 얕은 코더 수준이라....
노드나, 파이썬이나 둘다 전문가는 아니어서..
구글링 엄청해서 만들었어요.


서버

오라클 클라우드 무료(평생 무료) 하나 얻어서 crontab 돌렸구요...


크롤링(스크래핑)

Headless 크롤링으로 주로 nodepuppeteer로 만들었는데..
프리모아는 인증서가 신뢰를 할 수 없다고 오류를 내길래, 이것 저것 다 해봤는데 실패..
맥에선 잘되는데 서버로 올라가면 안되더라구요..

결국 파이썬selenium으로 만들었습니다.

okky의 구인에는 글이 너무 많이 올라와서 별도로 뺐네요...

채널명

링크

IT 프리랜서 일감 알리미
(위시켓, 프리모아)

https://t.me/moncoXITjob

디자인로고 일감 알리미

https://t.me/moncoXdesignjob

Okky 일감 알리미

https://t.me/moncoXokkyjob


텔레그램 채널에 기본 알림은 끄고 특정 키워드의 메시지만 알림을 받도록 하는 기능을 몰라서... 효용이 크지 않아 보이는데
앱으로 만들어 키워드 푸시알림 기능을 추가하면 되겠더라구요.

아... 위 사이트들 크롤링하겠다고 동의를 안받았는데.... 그럼 불법일까요?
5분마다 크롤링하게 해서 서버에 큰 부담을 안주려고 노력(?)했는데...
오키 어제 서버 죽은거 같아서.. 이런거 싫어할 수도 있겠네요...
(운영자님 문제되면 채널 삭제할게요..)

앱으로 만들거면 동의 받고 진행해야겠네요...


...
0
  • 댓글 3

  • 플래니타
    531
    2021-01-28 09:04:31

    멋지네요. 얕아보이지 않습니다. ^^

  • 믿음
    5k
    2021-01-28 09:19:15

    테라스 님, 안녕하세요.
    OKKY 운영자 믿음입니다. ^^

    • 이런 시도 너무 좋습니다.
    • 하지만, OKKY 오픈소스 프로젝트로 함께해요.
    • 크롤링은 운영에 안좋은 영향을 줄 수 있어요.

    이런 시도 매우 환영하고 응원합니다~! ㅎㅎㅎ

    하지만, 저희가 불특정 다수에게 오픈되는 자료라면 상관없지만, 이것을 이용해 서비스를 개발중이라서 크롤링을 허용하기는 어렵습니다.
    현재 OKKY 구인 정보를 통해서 회원들에게 보다 좋은 서비스를 제공하기 위해 기획과 개발을 동시에 진행중입니다.

    대신 저희가 오픈소스를 지향하고 있어서 저희와 함께 기능을 만들어 가면 좋을 것 같아요.
    이 부분에 관심 있으시면 오픈소스 셋팅 마무리 한 후 따로 연락드리겠습니다!!!

    그리고, 얼마전에 특정 봇들이 엄청난 크롤링이 집중되어서 서버가 견디지 못한 문제가 발생 했었습니다.
    안정적인 운영에 있어서 크롤링은 안좋은 영향을 미칠 수 있습니다.

    하지만 좋은 방법으로 이런 시도들이 활발하게 이루어 질 수 있도록 빠른 시일 내에 오픈소스 셋팅 마무리 하겠습니다.

    좋은 하루 되세요. ^^


  • 테라스
    13
    2021-01-28 10:51:42

    @믿음 님 답변 감사합니다.

    구글 플레이스토어를 보니,

    - 모바일웹을 앱패키징한 앱이 2개가 있고,
    - 1개는 네이티브인데 크롤링해서 만든 것 같은 앱이 하나 있더라구요?

    Okky에서 허락한 앱인지 궁금하더라구요.

    구글의 모바일웹 앱패키징의 경우,
    개발자와 웹사이트 소유자가 다르면 요즘에 리젝되거든요, 소유권이나 운영대행권을 증명해야 해서....

    아무튼, 언제든 okky의 서비스에 일조하는 것은 영광으로 생각하고 참여하겠습니다~~


    @플래티나 님, 응원 감사합니다!

  • 로그인을 하시면 댓글을 등록할 수 있습니다.