Yeon93
903
2019-09-17 13:33:53 작성 2019-09-17 14:07:30 수정됨
13
732

데이터 엔지니어의 미래에 대해서 어떻게 생각하세요..??


데이터 엔지니어가 되고 싶은 학부생입니다.

주변에서는 데이터 엔지니어(데이터 파이프라인 관리, 에코시스템, 분산처리)하는 업무 뿐만 아니라, 결국에는 머신러닝까지 할 줄 알아야 할꺼라고 하는데...지금이라도 머신러닝으로 방향을 틀어야 할 지 모르겠습니다. 어차피 석사도 생각은 하고 있습니다.


0
1
  • 댓글 13

  • ercnam
    2k
    2019-09-17 13:37:44

    그렇죠. 머신러닝에 필요한 리소스가 빅데이터 아니겠습니까.

    뇌피셜이지만 궁극적으로는 빅데이터, 머신(딥)러닝, 블록체인이 하나로 합쳐지면 뭐랄까 대변혁이 일어날수 있지 않을까 싶습니다만

    국내 한정으론 블록체인=비트코인=그거망한거아님?? 정도로 타락해버린듯 해서 안타깝네요.

    0
  • defult
    2k
    2019-09-17 13:41:31 작성 2019-09-17 13:58:29 수정됨

    연구자 분야라서 당연히 적용분야 넓히기위한 연구를 계속해야하기에 접목을 위해서 데이터가공 영역은 결국 다 하게되죠.

    거기다 연구개발이라 라이브러리 꿀어쓰는게 아닌 SI작업자들이 쓸 라이브러리를 만들어야하는 입장이고요

    1
  • Yeon93
    903
    2019-09-17 14:01:54

    그렇다면 데이터 엔지니어쪽은 전망이 많이 어두울려나요...

    데이터엔지니어가 되고 싶은 학생이었는데, 머신러닝으로 돌아가야 되나 싶네요..

    0
  • defult
    2k
    2019-09-17 14:16:05 작성 2019-09-17 14:26:43 수정됨

    어두운게 아닌 어디를 해도 신기술접목을 위해서 상호 다 해야하죠.

    머신러닝도 수많은 인공지능 계통중 하나고 언제 또 다른 계통이 대세가 될지 알수없습니다.

    애체에 이쪽 영역은 그 기술을 쓴다가 아닌 그 기술을 개량한다 혹은 비슷한 계통의 새 기술을  창조하셔야합니다.

    일단 관련 연구실있는 대학원가는것을 우선 목표로 두세요


    현재 가시려고하시는 분야는 전망이 밝고 어둡고가 아닌 하신다면 전망을 스스로 만드셔야하는 업종이라는것만 이해하세요

    (4차산업 젠체 동일)

    1
  • Yeon93
    903
    2019-09-17 14:31:39

    defult /// 자기가 좋아하는 분야 공부하면서, 해당분야가 약간씩 변경되고 하더라도 그냥 잘 따라가는 능력이 더 필요 할 수도 있겠네요..ㅠㅠ감사드립니다 선배님

    0
  • jeremy2spade
    168
    2019-09-17 15:06:27 작성 2019-09-17 15:07:16 수정됨
    1
  • Yeon93
    903
    2019-09-17 16:43:35

    Jeremy2 /// 감사합니다! 혼란스럽네여 봐도ㅋㅋ뭔가 이거 해야겠다! 했는데 뭔가 직업의 존재자체에 대해서 걱정을 해야하니..

    0
  • defult
    2k
    2019-09-17 16:48:25 작성 2019-09-17 16:49:00 수정됨

    산업분야 가리지않는 연구직의 운명이죠

    1
  • 단순vs무식
    43
    2019-09-17 18:07:54

    하둡 기반 배치 프로세스 구성 관리 및 기계학습 기반 서비스 업무를 하는 입장에서 말씀드리면 가고자 하는 진로가 있는 이상 결국엔 다 하셔야 나중에 선택과 집중의 순간에서 빛을 보실 수 있을겁니다 개인적으로 하둡엔지니어링 기반etl에서 데이터 활용 역량 키우시는게 장기적으로 발전 할 수 있는 폭이 넓어지실 수 있을거 같습니다

    1
  • Yeon93
    903
    2019-09-17 18:16:23 작성 2019-09-17 18:17:29 수정됨

    단순vs무식 /// 안그래도 ETL과 데이터파이프라인, 하둡 에코시스템을  공부하고 싶습니다. 데이터 활용능력이라는 것은 데이터가지고 머신러닝이나 분석 업무도 해보면 좋다는 말씀이신가요??


    그리고 어차피 석사를 갈꺼지만, 만약에 학부생입장에서 뭔가 해봐야 한다면 꼭 공부해야 하는거나 프로젝트가 있을까요?

    0
  • defult
    2k
    2019-09-17 19:24:34

    인공지능 빅데이터로 가고싶으시면 통계학은 대학원전에 필히 숙지해두세요.


    0
  • 단순vs무식
    43
    2019-09-17 21:34:46

    @Yeon93 

    첫번째 질문 : 네, 현재 빅데이터 필드의 경우 크게 데이터 엔지니어링 / 데이터 분석 및 적용 / 데이터 시각화 이렇게 필드별로 구분된 영역이 점점 정형화 되고 있는 추세 입니다 단순히 빅데이터 기반 ETL을 잘 구축하는 것은 당연한 역할이 되고 있으며 이후 로직인 분석 및 시각화 롤에 대한 수요도 꾸준히 증가 추세입니다


    두번째 질문 : 전에 비슷한 질문이 여기 올라와서 그때 드렸던 답변 다시 이어 드립니다


    1. 로그단에서 데이터 수집 로직 구현( 카프카나 플럼 수준에서 구현 가능하다면 베스트입니다)

    2. oozie 기반 배치 프로세스( 수집 및 적재 된 데이터를 대상으로 배치 프로세스를 일정한 시간에 구현 가능하게끔 하는 역량은 현업에서 많이 요구되는 역량입니다)

    3. 수집 및 적재된 데이터에 대한 전처리 및 시각화(이 부분은 방대해서 세세하게 설명드리기 어렵지만, 개괄적으로 표현하자면 내가 모은 데이터가 어떤 의미를 가지고 있다를 다른 사람에게 설명할 수 있는 수준이면 가장 베스트 입니다)


    첨언 드리자면, 아마 상기한 로직의 경우 학부 수준에서는 케이스 스터디 수준으로 밖에 못하실 가능성이 높습니다. 가장 이상적인건 엔터프라이즈 하둡(클라우데라,호튼웍스 등)이 구성된 환경에서 상기한 케이스별로 직접 구현해보거나 아니면 잘 구성되어 있는 로직에 대한 이해 수준만 가지셔도 실무단에서 확실히 도움 많이 될 수 있습니다



    0
  • Yeon93
    903
    2019-09-17 22:36:58

    @단순vs무식 

    으아 감사드립니다! 사실 아직 카프카가 뭘 하는 건지도 모를 정도로 용어 이해도가 많이 떨어져서 조금 어렵긴 하지만, 하나하나 찾아봐야겠습니다..감사드립니다.

    0
  • 로그인을 하시면 댓글을 등록할 수 있습니다.