신경망 모델에서 은닉층 노드 개수에 대한 질문입니다.

Question

간단한 신경망을 구현한다고 가정해보겠습니다.입력층 노드의 개수를 N_input은닉층 노드의 개수를 N_hidden출력층 노드의 개수를 N_output 으로 각각 정의했을 때,N_hidden을 얼마를 주는게 좋을지에 대한 어떤 기준이나 답이 있나요?제가 배우기로는 여기에 대해서는 답이 없고 결과 잘 나오는 숫자를 고르면 된다 정도로 알고 있었는데'보통은 N_hidden 수를 N_input 수보다 크게 준다.' 라는 말을 어디선가 들어서요.제가 배웠던 것과는 조금 다른 내용인데 제가 잘 몰라서 그런가 싶기도 하고요.뉘앙스가 약간 보통은 N_hidden 수를 N_input 수보다 크게 주기 때문에 그렇게 하지 않은 것은 약간 이상한, 틀린 것이라고 말하고 싶은 그런 뉘앙스였습니다.경험 있으신 다른 분들의 의견은 어떤지 궁금합니다.

LLM만들자 · Accepted Answer

입력층이라는 것이 입력 x의 크기를 말하는 거겠죠? 입력층보다 은닉층이 항상 클 필요는 없고, 클 수도 없습니다.업무에서 저는 보통 input size가 1만 ~ 500만 사이인 데이터를 다루고 있습니다.이렇게 input size가 큰 경우가 많은데 hidden size가 항상 input size 보다 클 순 없겠죠. hidden size를 100이나 200을 쓰는 이유는 이 크기를 기준으로 더 늘리거나/줄이거나 해도 성능 차이가 크지 않음을 경험했기 때문입니다. 따라서 100, 200이 초기값으로 쓰기 적당한거죠.

니플 · Answer

hidden layer 갯수를 물어보신 거라면http://channelofchaos.tistory.com/105위 링크를 참고하시면 됩니다.

LLM만들자 · Answer

supervised learning에서 Neural Networks (NN) 학습한다는 것은 x를 y로 맵핑해주는 함수 f(;θ)를 찾는 것이죠. y &#61; f(x;θ), 여기서 θ는 NN의 weight와 bias. x와 y 사이에 비선형성을 포함한 복잡한 관계가 있어보인다면(개발자가 생각하기에) 적어도 hidden layer 1개 이상의 Multi-Layer Perceptron (MLP)을 사용하면 될텐데요(non-linear activation를 포함한),이 때 hidden_size의 초기 값으로 100이나 200정도를 줬던 것 같습니다.

LLM만들자 · Answer

몇%의 성능 차이에 목숨을 걸고 싶다 하면 32~500 사이에 최적 값을 찾아봐야겠죠. ~

배고프고가난한백수 · Answer

거북왕님, 머신러닝님 답변 감사합니다.다만 저의 질문은 거북왕님께서 말씀하신 은닉층 개수가 아니라 은닉층의 유닛 개수였습니다.머신러닝님께서 hidden size 초기값을 100이나 200정도, 혹은 32~500 사이에 최적 값을 찾아봐야하지 않겠느냐고 하셨는데 혹시 초기값을 100이나 200정도로 잡은 기준이 있을까요?저는 은닉층의 크기에 대해서 딱히 정답이 없다고 배워왔고 보통 얼마만큼 준다는 얘기도 들은바가 없었지만, 보통 은닉층 크기는 입력층 크기보다 크게 주는데 그렇게 하지 않은 것은 약간 이상한, 틀린 것이라는 뉘앙스의 얘길 들어서요.물론 은닉층의 유닛 개수가 너무 많거나 적은 경우는 피하려고 어느 정도 고려를 해보겠지만,그런 것도 아니고 임의대로 은닉층 유닛 수 잡고 돌려서 결과가 딱히 나쁘게 나온 것도 아닌데, '보통 은닉층의 크기는 입력층의 크기보다 크게 하는데~~' 라는 식으로 왜 은닉층의 크기를 입력층보다 크게 하지 않았냐는 식으로 이상하다는 식으로 말하는게 납득이 안갑니다.제가 알기로는 은닉층의 크기를 세세하게 따져서 결정하려면 결국 은닉층 크기를 바꿔가면서 가장 성능이 잘 나오는 녀석으로 고르는 것으로 알고 있고 이 때 초기에 은닉층 크기를 얼마로 주어야 할까에 대한 기준은 딱히 없는 것으로 알고 있었는데,보통 많은 경우에 은닉층의 크기를 입력층의 크기보다 크게 주는 것이 사실인가요?또한 그러하다면 왜 그런지 이유도 알고 싶습니다.

배고프고가난한백수 · Answer

머신러닝님 답변 감사합니다.저도 머신러닝님처럼 은닉층의 크기를 크게도 해보고 작게도 해봤는데 일정 수준 이상으로는 굳이 크게 한다고 해서 성능이 더 좋게 나오지는 않고 오히려 계산 시간만 잡아먹는 것을 경험해본 적이 있었습니다.그래서 본문에서처럼 저런 말을 듣고 약간 어안이 벙벙해졌었는데 머신러닝님의 답변을 보니 명쾌해지네요.답변 감사합니다.

신경망 모델에서 은닉층 노드 개수에 대한 질문입니다.

6개의 답변

Q&A 목록