cameobc04
66
2019-08-02 16:37:12
13
908

빅데이터 관련으로 취직한 비전공자인데 이게 맞는 건지 잘 모르겠습니다


데이터를 크롤링해서 가공하는 업무를 하게 된다고 얘기했는데

합격 후 오키를 비롯한 여러 사이트에서 알아보니 빅데이터는 애초에 석박사가 아니면 취직할 수 없는 분야라고 입모아 말하더라구요.

그러다 보니 합격은 했지만 가서 결국 데이터 가공만 하다가 경력도 못 쌓는게 아닐지 영 걱정이 되어 글을 남겨 봅니다.

구직 활동을 더 오래 해보는 게 맞는 일일까요?

읽어주셔서 감사합니다.

0
1
  • 댓글 13

  • ignoreOrange
    1k
    2019-08-02 16:39:39

    개인적으로 빅데이터 관련 스타트업이나 회사들이 많아지긴 하고 있는거 같은데

    제가 알기로는 아직 우리나라에는 빅데이터라 할만한 데이터 자체가 없어서 빅데이터란 기술을 제대로 하는 회사는 없다고 들었습니다.

    흠...회사 자체를 잘 사전조사 해봐야할거 같은데

    0
  • cameobc04
    66
    2019-08-02 16:41:46

    댓글 감사합니다

    회사는 4년 정도 되었고, 여러 기업들과 제휴를 맺은 것도 확인했습니다.

    검색하면 새롭게 투자받은 얘기도 나오고 해서 괜찮은 것 같은데 그곳에서 맡게 될 업무가 제게 도움이 될 지가 계속 걱정 되서 글을 남겨봤습니다!

    0
  • spintheblackcircle
    6
    2019-08-02 16:45:20

    크롤링 후 가공이면, tagger에 가까운 업무일 겁니다. 어렵지는않은데, 힘든일이긴하죠. 나중에 개인프로젝트라도 진행하시는게 좋습니다.

    0
  • cameobc04
    66
    2019-08-02 16:50:03

    spintheblackcircle


    댓글 감사합니다

    혹시 하나만 더 질문 드려도 될까요?

    이쪽으로 취업한 후 나중에 이직할 때 경력으로 쳐주긴 할까요?

    그게 너무 걱정되서 여쭤봅니다...

    0
  • 아스키
    10k
    2019-08-02 17:10:06

    "빅데이터는 애초에 석박사가 아니면 취직할 수 없는 분야라고 입모아 말하더라구요."

    꼭 그렇지만는 않습니다. 석/박사 정도 요구하는 건 데이타 사이언스 분야쪽이구요. 기술을 응용하는 분야도 있습니다. 요즘에는 정확한 데이타 분석을 위해 분야를 나누어지는 추세입니다.

    빅데이타 처리 방법 : "수집->적재->처리탐색->분석/응용"

    "데이타수집/적재/처리/분석/머신러닝-->AI" 

    결국 빅데이터는 머신러닝이나/AI 를 위해 발전하고 있습니다.그리고

    빅데이타 기술은 하둡, HBase, 하이브, 스파크, 휴, 카프카, 우지, 레디스, 스톰, 제플린, 주키퍼, 임팔라, 스쿱 , R, 텐서플로 등 같은 빅데이타 분석처리 툴 환경 구성도 할 줄 알아야하고 빅데이터 에코시스템 같은 빅데이타 자동화 도구도 이용할 줄 알아야 합니다. 의학용 IBM의 AI 프로그램 왓슨이 실패한 원인중에 하나가 부정확한 데이타입력도 한몫했다고 합니다. 앞으로 기술이 AI로 전환시점에서 빅데이타 기술은 기본이고 더 발전해 나갈것입니다.


    0
  • 단순vs무식
    40
    2019-08-02 17:26:34
    혹시 회사 여의도에 있나요 ?
    0
  • cameobc04
    66
    2019-08-02 17:33:29

    아스키

    댓글 감사합니다..ㅜㅜ

    나이가 있다 보니까 아무래도 너무 신중해지게 되는 것 같네요

    정말 감사합니다.


    0
  • cameobc04
    66
    2019-08-02 17:33:41
    0
  • 돈까스
    2k
    2019-08-02 18:28:45

    데이터 수집, 가공도 굉장히 중요한 업무입니다.

    데이터 분석 활용 프로스세의 최초 시작은 수집, 가공부터 시작이죠.

    전체적인 프로세스를 이해하려고 하시면서 실력을 키워가시면 좋습니다.

    수집, 가공을 잘 하려면, 그 이후 단계인 분석, 활용 등에 대한 감각도 필요해요.


    0
  • 초무쿤
    2k
    2019-08-02 18:32:09 작성 2019-08-02 18:32:43 수정됨

    요즘은 약장수들이 너도 나도 빅데이터. 인공지능 갔다 붙이더군요

    일단 기술적으로 hove hadoop (+spark) 이거나 이에 준하는 기술이 아닌곳은 그냥 이름만빅데이터 가져다 붙인거라 버시면 될둣 하네요. 크롤링이나 DW는 이런 기술 없이도 그전에도 잘 해왔습니다.


    0
  • 머신러닝
    708
    2019-08-02 22:30:40

    제대로 된 빅데이터 회사라면 경력이 없는 사람을 채용하지 않을 것입니다.

    반대로 얘기하면(긍정적으로 보면) 님이 경력을 제대로 쌓으시면 좋은 빅데이터 회사를 갈 수 있다는 얘기입니다.


    제가 직장생활을 오래한 편인데요(특히 머신러닝/딥러닝) 분야, 회사에서 직접 가르켜 주는 것은 전혀 없습니다. 다만 일을 할 기회를 줄 뿐이죠. 개인의 성장은 스스로가 챙기는 것입니다.

    우선 빅데이터 업무 중에서 (만약 모델링 분야를 생각하신다면) 데이터를 모으고 가공하는 일도 업무 과정 중에 하나입니다. 데이터를 모은 다음에 그것을 어떻게 활용할 수 있을지를 고민하는 것을 추천 드리고 싶네요.

    캐글을 한번 해보시는 것은 아주 큰 도움이 됩니다. 캐글코리아 찾아보세요.

    0
  • spintheblackcircle
    6
    2019-08-03 12:49:06

    답변을 늦게 드려서 죄송합니다.


    우선 tagger쪽이면, 데이터 엔지니어링과 관련이 많습니다. 고객들의 대량 트랙잭션 자료 등을 전처리하고 label을 붙여주는 일이 주요업무겠죠. 다들 관과하는 것이 tagger쪽 업무에 대해서 잘알고 있어야, 소위 말하는 머신러닝모형을 만들때, 큰 도움이 됩니다. 자료의 형태를 이해해야, 변수들을 어떻게 피쳐엔지니어링 해야할지 & 어떤 모형을 선택해야 할지 시행착오를 많이 줄일 수 있습니다.


    저도 이전 회사(IT업종이 아닌 대기업)에서 데이터분석/모형구축/예측 시스템 등 업무를 했습니다. 전처리 ~ 모형구축 및 서비스(AWS 올리는 것 포함)까지 혼자서 다 진행했었는데, 경력에 엄청난 도움이 되었습니다.


    만약 회사에서 대량의 자료를 가지고 처리업무를 하실 때, 시간이 나면 개인적으로 미니프로젝트를 하면 도움이 많이 됩니다. (반드시 프로젝트는 회사내부 전산에서만 하세요. / 참고로 저도 학사만 했습니다. 회사경력은 10년 정도네요.)

    0
  • 바이트ama
    90
    2019-08-04 08:02:19
    크게 보면 규칙성없는 대량의 데이터를 수집하는 것도
    빅데이터 업무에 포함된다고 봅니다.

    그걸 분석하는 사람들이 데이터 사이언테스트 같은 분들이구요. 요세는 대규모사이트에 일반적으로 존재하는 업무라고 생각해요. 

    사내 분석팀있으면 친하게 지내면서 소스까보면 도움이 되지 않을까요?
    0
  • 로그인을 하시면 댓글을 등록할 수 있습니다.