ilovegp
1k
2020-11-21 04:44:25
9
646

빅데이터도 경쟁이 심한 분야인가요?


석사 중에 젊은 사람들과 같이 프로젝트 하는데

멀리서 구경만 했네요  물론 교수 눈에서는 거기서 거기지만

선경험이 있는것 같긴한데 어짜피 오래 이 분야를 팔꺼라 지금 당장

잘하진 못하더라도 여짜피 시간 들려서 하면 크게 차이가 없을 거라 생각합니다.

근데 궁금한게 


빅데이터 경쟁은 어느정도 인가요? 현재 it 웹 분야보다 더  치열한가요?

알고리즘으로 누가 더 성능 내냐 하는 경쟁도 많이 시키나요?


어떤가요? 



0
  • 댓글 9

  • 만년코더
    7k
    2020-11-21 11:17:23 작성 2020-11-21 11:17:42 수정됨

    경쟁이라는게 뭘 위한 경쟁인지 모르겠는데요.

    ???

  • 돈까스
    4k
    2020-11-21 11:32:18 작성 2020-11-21 11:33:43 수정됨

    그건 사람마다 다르게 느낄 것 같습니다.

    석사 출신들 면접 때 조금 봤는데, 이 분들의 전체적인 문제는 기본적인 전산 지식이 별로 없는 채로 데이터 분석만 많이 하신 분들이 많았습니다.


    잘 가공되고 정리된 데이터 가지고 분석은 많이 해본 것 같은데,

    데이터를 가공하거나 정리를 못하거나 관심도 없는 사람들.

    그 데이터는 어떻게 구했어요? 어떻게 정리했어요? 라고 하면 학부생들 시켜서 했다거나

    이 프로젝트에서 제 롤은 분석이었고 다른 사람들이 했습니다. 라고 답변하는데...


    그걸 보면 음. 전체적인 빅데이터 프로세스를 모르는데 괜찮을까 하는 생각이 많이 듭니다.

    실제로 일을 해보시면 빅데이터 프로젝트의 대부분의 시간은 데이터 수집과 정련에 들어가거든요.

    그 초기 데이터를 어떻게 수집하고 가공하느냐에 따라 조금이라도 편향된 기준으로 정리가 되면,

    아무리 좋은 모델을 써서 분석을 한다고 한들 성능/정확도 차이가 크게 납니다.


    물론 뭐... 큰 대기업 들어가면 분석만 하거나, 데이터 수집/정련을 잘 해주는 팀이 있을 거니까 상관없겠는데요.

    아무튼 그 분야의 대기업의 일자리 수는 많지 않고, 중소기업의 일자리 수가 더 많을텐데요.

    중소기업에서는 데이터 수집/정련을 해주는 사람이 없어서 직접해야 한다거나, 외주를 주거나 하여 좋은 지원을 받기가 어려운 경우가 많습니다.

    전체적인 프로세스를 알고 일을 해야 효율적인데 부분, 부분 알고 있는 사람들을 모아서 일을 하는 상황이 되면 힘들죠.


    아무튼 그런 상황이에요.

    경쟁률은 심히지만, 조금만 더 일반적인 CS 스킬들을 가지고 있다면 굉장히 차별화할 수 있다고 보이고요.

    R-DB를 잘 쓰고, 병렬처리 프로그래밍을 할 수 있고, 전체적인 프로세스를 경험해서 필요한 사람들에게 잘 지원을 요청할 수 있는 스킬이 있다면 경쟁할 상대가 별로 없게된다고 할 수 있습니다.


  • ilovegp
    1k
    2020-11-21 13:25:01

    만년코더

    님 경쟁은 성능쪽으로 많이 겨루는거 같아요 누가 더 문서나 논문을 보고 높은 성능을 내느냐 이고요. 


    돈까스 

    님 말에 따르면 전산적인 빅데이터 엔지니어와  데이터 분석 둘다 할줄 아는 사람은 드물다는거죠?

    심지어는 도메인 영역까지 섭렵한 사람은 더더욱 힘들고요.

    이얘기를 하신거죠?? 

    -1
  • 돈까스
    4k
    2020-11-21 15:09:53 작성 2020-11-21 15:16:41 수정됨

    네. 일단 글쓴분께서 언급하신 석사 중에 젊은 사람들이 그럴 확률이 높아요.

    뭐. 유행따라 전공한 사람들이 대부분이니까 그렇겠죠.


    말씀하신 성능이라는 것에 대해서도 궁금한 것이 많은데요.

    빅데이터와 인공지능 분야에서 말하는 글쓴분이 언급한 높은 성능이란 뭘까요?

    정확도를 말하는 것입니까? 아니면 얼마나 빨리, 더 많이 처리할 수 있는지를 말하는 것입니까?


    보통은 성능이라고 말하는 것이 정확도를 말하는 경우가 많았습니다.

    정확도라고 하면 또 다음으로의 문제가 있는데, 어느 정도의 정확도를 가져야 성능이 좋고 쓸만할까요?

    85%, 90% 라고 말하는데 그렇다고 하면 비교대상은 무엇일까요?

    사람의 판단한 결과를 기준으로 잡는다고 하면 일반인 기준인지 전문가 기준인지...


    뭐. 말이 길어졌는데, 글쓴분의 표현이 모호하고, 글쓴분께서 단어를 너무 무디게 사용하시는 것 같아요. :)

    그래서 만년코더님같은 반응이 나올수 있습니다.

  • 컴퓨터연구소
    74
    2020-11-21 23:50:26

    먹고사는문제를 말씀하신거같으신데요. 빅데이터할정도면 웹분야는 그냥쥐어잡을수있죠.

    -1
  • 돈까스
    4k
    2020-11-22 01:50:26

    음. 빅데이터랑 웹은 다른 영역입니다.

    빅데이터 하는 사람한테 웹 개발 하라고 하면 잘 할 것 같으세요? :(


  • ilovegp
    1k
    2020-11-22 02:52:35

    아네 빅데이터 성능은 정확도를 말하는거죠 이부분은 오해가 있을순 있겠네요 

    빅데이터쪽은 성능이라는 표현이 이분야에서는 자연스럽게 정확도를 의미해서요

    저도모르게 성능이라는 단어를 썼었네요. 저도 실제 실무를 안해봐서 정확도 경쟁을 하게 될것같은데


    저도 아직 실제로 일해본게 아니라서 정확히 모르겠습니다. 그래서 저는 빅데이터 경쟁이

    어느정도인지 혹은 무슨 경쟁을 하는지 궁금했떤 겁니다. 

    기본적으로 경쟁 안하는 분야는 없었으니까요 ㅎ


    예를 들면 웹개발 경쟁을 한다 하면 자연스럽게 생산성을 의미 하잖아요 저도 이렇게 생각하고요

    그래서 빅데이터 쪽 일하시는 분이라면 빅데이터 경쟁도 일반적인 경우가 있을것 같아서


    저도 여쭤보는겁니다 ㅎㅎ 

    -1
  • kingofkj
    682
    2020-11-23 13:58:10

    얼마전 뉴스에서 네이버 사장이 그러더랍니다

    자기들은 많이 뽑고 싶은데 뽑을 사람이 없다라고

    @돈까스 님 말에 대부분 공감합니다만

    빅데이터나 딥러닝 전문가들이 꼭 기본적인 전산지식이 필요할거 같진 않습니다

    (뭐 알고 있다면 나쁠 이유는 없다고 생각하지만요)

    괴물 같은 분들은 적재되어 있는 테이블의 명칭과 데이터의 형태만 가지고도 그게 어떻게 발생되어 있는지 유추 가능하다고 합니다.

    이런걸 데이터적으로만 따라가서 업무를 유추하고 거기에 해당하는 정재된 데이터를 얻는것은 불가능한 것은 아니라고 생각되네요

    하지만 이런 것은 배움으로보다 경험에서 얻는 경우가 많아서

    논리적, 수리적인 사고를 모두 가지고 있는 자연과학에 능통한 전문인력이 우리나라에는 많이 부족하다고 생각합니다(주입식 교육의 패해죠)

    -1
  • holy
    57
    2020-11-23 14:11:54

    누가 이런말을 한사람이 있죠

    교수는 자신의 이론을 검증하기 위해 주위의 데이터를 이론에 맞춘다.

    만약 대학에서 교수들이 말하는 경쟁이라면 본인의 이론으로 얼마나 실적(대기업과 연계)을 내느냐겠지만

    그건 기업들이 해당 이론을 쓰는지 안쓰는지를 모르니..

    -1
  • 로그인을 하시면 댓글 을 등록할 수 있습니다.