adrhb
45
2019-04-05 19:14:40
11
1343

데이터엔지니어가 되고싶습니다. 조언부탁드립니다.


안녕하세요 저는 비전공자 출신으로 
7개월 국비지원 교육과정을 밟고 지방의 웹개발자로 근무한지 이제 막 2년이 되었습니다. 
현재 저는 제대로된 사수 없고 2년째 한 프로젝트만 주구장창 하고있습니다.
주변에 서울로 상경하는 개발자들도 하나둘씩 늘어나고... 
저도 이대로 우물안에만 있어선 안되겠다는 생각이 드네요.
저의 계획은 퇴사 후 데이터 엔지니어 교육과정을 밟고 
데이터 엔지니어 직무로( 경력있는 신입) 이직할 생각입니다. 
지인은 그냥 신입으로 들어가면 장땡이라며 바로 이직하라고 하는데... 
저는 웹개발만 해봐서 바로 취직이 될지 의문입니다.
그래서 교육기관을 찾고있는데 --> 하둡이나 spark 등 빅데이터 툴을 사용해서 프로젝트를 하고 포폴에 추가하려고 합니다
가장 커리큘럼이 마음에 들었던 패스트 캠퍼스는 국비지원도 안되고 수강료도 비싼데다 교육생 모집도 안하고있네요..
혹시 추천해주실만한 교육기관이 있으시다면 추천 부탁드립니다.

그리고 저의 계획에 무슨 말씀이든 좋으니 조언 부탁드립니다.
0
0
  • 댓글 11

  • LichKing
    14k
    2019-04-05 19:22:00

    제 주변에 스파크돌리는사람들은 다 개발자로 들어와서 서브스킬정도로 활용하고있지 스파크하겠다고 공부해서 들어온분은 안계십니다.

    물론 서브스킬로 활용하는 만큼 메인스킬이신분들에는 못미칠수있겠지만 메인스킬로 뽑는건 그만큼 문이 더 좁을겁니다.

    빅데이터분석이라는게 물론 깊게들어가면 여전히 어렵겠지만 말씀하신 스파크와 같은 툴의 등장으로 꽤 문턱이 낮아져서 일반개발자들도 어느정도는 다룰수있거든요.

    여기 올라오는글 보면 빅데이터/ai/av,vr 같은용어 많이 쓰면서 그쪽으로 가고싶다는글이 많이 올라오는데 메인스킬로 저걸 들이미는건 문턱이 꽤 높을겁니다. 전 개인적으로 일단 개발능력을 키워서 어느정도 규모있는 데이터를 다루는 회사를 들어가는걸 권합니다.

    그런곳에 가면 하기싫어도 데이터분석을 해야되거든요. 이렇게 빠지는게 그나마 쉬운길이라고 봅니다.

    4
  • saevom
    42
    2019-04-05 20:01:06

    스파크 소스를 열심히 분석해서 스파크 커미터 정도 되시면 누구나 인정하는 데이터 엔지니어가 되겠지만, 그 수준에 이르기가 쉽지 않죠. 윗 분 말씀대로 어느정도 규모있는 곳에서 개발을 하시면 싫어도 데이터 조회를 위해서 카프카, 스파크 등 각종 툴을 다 가져다 써야합니다.

    1
  • 즐겁게
    712
    2019-04-05 23:46:58 작성 2019-04-05 23:47:51 수정됨

    데이터 ?

    데이터 로직 ?

    데이터 툴사용 ?


    수학과나 로직을 잘하시는거 아니었을거라 생각합니다.

    원하시는게 데이터 분석이라면 포기하라고 하겠습니다.


    저도 기계과 출신이고 대학교때도 고3 수학 의대생 입학생까지 해봤지만

    그정도로 함부로 로직을 만든다 분석을 잘할거라고 생각하지 않아요.

    단순 툴 배운다고 잘하는건 아니에요.

    툴은 활용할뿐이고 그 툴마져도 돈내고 배우실정도면 매우 오랜시간

    공부(또는 일하면서 실력을 쌓고)하셔야 실력이 생길거에요.


    세상을 우습게 보지 않으시겠지만

    세상의 모든 직장인들이 대단한거에요.

    엉망으로 보여도 실력이 없다고 판단되는 사람도

    나름의 노하우가 있고 나름의 분야에는 실력이 있습니다.


    글쓰신분도 결코 성장가능성이 낮지 않겠으나

    다른 모든 사람들역시 가능성이 있었던 사람들입니다.


    단순히 위에 쓴글로만 본다면 앞으로 잘된거라는 막연한 예기를 해드릴 수는 없습니다.


    자신을 낮출필요도 없지만

    과한 목표는 본인에게 도움되지 않습니다.


    본인의 가용 시간, 지식, 분야, 이해력, 집중력 등을 고려해서

    단계별로 목표를 세워야 성공할수 있습니다.

    0
  • adrhb
    45
    2019-04-06 01:55:33 작성 2019-04-06 02:01:03 수정됨

    즐겁게 

    제가 아는 지식 선에서 말씀드리겠습니다.빅데이터를 세분화하자면 많지만

    큰 갈래로 나뉘면 두 가지가 있습니다

    데이터 사이언스와 데이터 엔지니어

    데이터 사이언스는 통계 전공자에게 어울리는 일이고,

    빅데이터 분석 툴 개발/운영은 경력있는 개발자에게 어울리는 일입니다.

    요즘엔 경계가 모호해져서 둘 다 잘하면 정말 좋겠지만요ㅠㅠ....

    즐겁게 님께서는 전자로 잘못알고 계신건 아닌지요?

    데이터 사이언스는 통계,수학 분야의 석/박사 이상급의 사람들이 도전하고있다는 것은

    이미 알고 있습니다. 하지만 진심어린 조언 잘 새겨듣겠습니다 감사드립니다 ~ 
    0
  • adrhb
    45
    2019-04-06 01:59:21

    LichKing  님 saevom 님 답변 감사합니다... 데이터 엔지니어링 쪽 공부도 좋지만

    규모있는 곳에 입사가 가장 바람직하다는 말씀이시네요 ㅠㅠ

    0
  • 머신러닝
    819
    2019-04-06 12:38:07

    넵. 회사가 크지 않더라도(회사가 크면 입사가 매우 어려워지므로)

    크진 않지만 데이터는 많이 다룰 수 있는 벤처기업에 입사하는 것이 최선일 것 같습니다.

    0
  • 오호라
    451
    2019-04-09 17:45:28

    교육기관은 모르겠지만. 데이터 엔지니어쪽으로 궁금한게 있으시면 물어보세요 ..

    하둡이 기본이기는 한데 요즘은 아파치 하둡보다는 클라우데라 매니저나 암바리 통해서 

    손쉽게 하는게 흐름 같습니다. 

    그리고 자연스럽게 

    클라우데라냐 암바리냐에 따라서 데이터 레이크 구축할때 플랫폼이 틀려지는거 같기도 하고요. 

    그래도 스파크 하둡이 대세이기는 하죠. 

    아 그리고 스타트업이면.. 기본 베이스가 AWS 니.  EMR 도 알아야겠죠.. 



    0
  • adrhb
    45
    2019-04-10 10:02:18

    머신러닝 님,오호라 님 

    퇴사 후 관련직무 경험이없어서 신입으로 입사하려고 하는데

    그럴경우 신입 연봉으로 가야하나요 ? ㅠㅠ......

    아님 이런경우 일반적으로 신입으로 지원했어도 어느정도 경력을 쳐주나요?

    0
  • 오호라
    451
    2019-04-10 10:15:01

    관련 직무 경험이 없으니 중고 신입이겠네요 

    나름 메리트있습니다.  데이터 엔지니어라고 하지만 웹 만질때도 있거든요 보직이 포지션이 애매할때

    스타트업은 다할줄 알아야 하니. 

    메리트겠네요.  아마 신입이기는 하지만 어느정도는 쳐줄겁니다. 

    그게 어느정도일지는.. 상대편 맘이라. ㅠㅠ 


    0
  • adrhb
    45
    2019-04-26 12:43:30


    오호라님. 만약 저같은 웹 개발자 출신 중고 신입으로 지원하였을 경우,

    1.기존에 해왔던 프로젝트 및 사용언어

    2.하둡 책 하나만 판다.

    어느 쪽으로 더 공부해야 유리할까요? 물론 둘 다 신경쓰긴 할 것입니다 ㅠㅠ....

    0
  • 오호라
    451
    2019-04-26 17:04:49

    데이터 엔지니어쪽이라면

    하둡과 spark 관련해서 공부하는게 더 좋지 않을까요.

    그리고 책도 중요하지만. 요즘은.......... 한번쯤 해보는것도 많이 보더라구요. ㅜㅜ

    vm 을 이용해서라도 설치해보고 돌려보고 한것을 이력서

    추가해보면 좋지 않을까합니다. 

    그리고 꼬옥 굳이 하둡이 아니더라도 

    개인적으로 이것저것 많이 해서 정리해서 모아두고 

    이력서 낼때 같이 내어 보세요. 

    git 좋고 블로그 좋고


    0
  • 로그인을 하시면 댓글을 등록할 수 있습니다.