모델의 출력값들이 거의 하나로 수렴하는 문제

Question

고등학교에서 자유 주제 탐구를 위해 모델을 훈련 하던중 문제가 발생했습니다.0도에서 90도 까지의 코사인 값을 근사하기위해 각과 코사인 사이의 관계를 찾아내 그걸 손실함수로 만들어 훈련을 진행했습니다.제가 생각하기에는 미분가능하기에 손실함수로 쓰기에 큰 문제가 없다고 생각합니다.그런데, 모델의 출력이 거의 한값으로 수렴하는 문제가 발생했습니다. 스케듈러도 넣고, 입력 데이터 정규화도 하고,정규화 층도 줄여보고, 기울기에 대해 패널티도 부여하고, 그래디언트의 표준 편차를 확인해보니 너무 높아 그래디언트 클램프도 적용 하는 등 해결하려 노력 했습니다만 계속 값이 하나로 수렴했습니다.제가 손실함수를 MSE로 바꿔 실험 해 봤을때도 같은 문제가 발생했습니다.(제가 실수 했을수도 있습니다.) 자유탐구는 오차가 적은 값 몇개로 다항식을 근사해서 어찌저찌 제출했지만 그후로 계속 고민을 해봐도 해결되지 않았습니다.(수행평가를 대충 때우려고 질문하는것은 아닙니다.) 아래는 문제를 재현하는 데 필요하다고 생각하는 코드들입니다.set.py(모델 관련 된 코드들입니다)모델 class Model(nn.Module): def __init__(self): super().__init__() self.model = nn.Sequential( nn.Linear(1, 128), nn.LayerNorm(128), nn.LeakyReLU(), nn.Linear(128, 256), nn.LeakyReLU(), nn.Linear(256, 256), nn.LeakyReLU(), nn.Linear(256, 128), nn.LeakyReLU(), nn.Linear(128, 1) ) def forward(self, x): out = self.model(x) return out 손실함수 class Compute_fucs(): def __init__(self): self.grid = torch.linspace(0, 1, steps=10000000, dtype=torch.float64) self.scale = 1 self.sigmoid = nn.Sigmoid() def compute_circle(self, cos): cos = cos.to('cuda') starts = cos xs = starts + (self.grid.to('cuda') * (1 - starts)) length = (self.grid[1]-self.grid[0])*(1 - starts) length = length.to('cuda') ys = torch.sqrt(torch.clamp(1 - xs**2,min=1e-6)) result = length*ys return result.sum(dim=1) def compute_triangle(self, cos): cos = cos.to('cuda') return cos*torch.sqrt(torch.clamp(1 - cos**2, min=1e-6)) def loss_fn(self, output, target,panerty): cos = self.sigmoid(output) out1 = self.compute_circle(cos) out2 = self.compute_triangle(cos) output = 2*out1 + out2 target = target*(torch.pi / 180) loss = torch.mean((target*self.scale - output*self.scale)**2) return loss + panerty 그외 class Modeltrainer(): def __init__(self,model = None, opt = None, best_loss = None): self.model = copy.deepcopy(model) self._init_weights() self.model = self.model.to('cuda') self.opt = opt if opt is not None else torch.optim.Adam(model.parameters(), lr=0.001) self.compute = Compute_fucs() self.loss_fn = self.compute.loss_fn self.best_loss = best_loss if best_loss is not None else 1e30 self.best_state = None self.opt_best_state = None self.scheduler = CyclicLR(self.opt, base_lr=0.001, max_lr=0.006, step_size_up=113, mode='exp_range', gamma=0.99994 ) def _init_weights(self): for m in self.model.modules(): if isinstance(m, nn.Linear): nn.init.kaiming_normal_( m.weight, a=0.01, mode='fan_in', nonlinearity='leaky_relu' ) if m.bias is not None: nn.init.constant_(m.bias, 0) def is_decrease(self,y,x,creat_graph=None): dy_dx = torch.autograd.grad(y.sum(), x,create_graph=creat_graph)[0] dec = torch.tensor(0.0, dtype=torch.float64, device='cuda') if (dy_dx > 0).any() == True: dec += torch.sum(dy_dx[dy_dx > 0]) if (dy_dx < -1).any() == True: dec += torch.sum(torch.abs(dy_dx[dy_dx < -1])) return dec def train(self,x,y,num_epochs): self.best_state = copy.deepcopy(self.model.state_dict()) self.opt_best_state = copy.deepcopy(self.opt.state_dict()) finished = False eval_loss = [] dataset = TensorDataset(x, y) g = torch.Generator() g.manual_seed(42) train_loader = DataLoader(dataset, batch_size=8, shuffle=True, generator=g) for epoch in range(num_epochs): loop = tqdm(train_loader, desc=f"Epoch {epoch+1}/{num_epochs}",leave=False) for x, y in loop: x = x.to('cuda') y = y.to('cuda') self.opt.zero_grad() output = self.model(x) panerty = self.is_decrease(output,x,creat_graph=True) loss = self.loss_fn(output,y,panerty) loss.backward(retain_graph=True) nn.utils.clip_grad_norm_(self.model.parameters(), max_norm=3.0) self.opt.step() loop.set_postfix(loss=loss.item()) self.scheduler.step()train_model.pydata = torch.linspace(0, 90, steps=901, dtype=torch.float64) data = data[:,None] datax = (data - data.mean()) / data.std() datax = datax.requires_grad_(True) model = set.Model().double() opt = torch.optim.Adam(model.parameters(), lr=0.001) trainer = set.Modeltrainer(model=model,opt=opt)출력 예시0.3363808108555254 or 0.8850799190169886 .... 0.3363808108555254 0.8850799190169886 0.3363808108555254 0.8850799190169886 0.3363808108555254 0.8850799190169886 0.3363808108555254 0.8850799190169886 ... ...

DreamingDeveloper · Answer

import torch import torch.nn as nn import torch.nn.functional as F from torch.utils.data import DataLoader, TensorDataset from torch.optim.lr_scheduler import ReduceLROnPlateau from tqdm import tqdm import copy모델 정의class Model(nn.Module): def init(self): super().init() self.model = nn.Sequential( nn.Linear(1, 128), nn.BatchNorm1d(128), nn.LeakyReLU(),nn.Linear(128, 256), nn.BatchNorm1d(256), nn.LeakyReLU(), nn.Linear(256, 256), nn.BatchNorm1d(256), nn.LeakyReLU(), nn.Linear(256, 128), nn.BatchNorm1d(128), nn.LeakyReLU(), nn.Linear(128, 1) )def forward(self, x): return self.model(x)손실 함수 정의class Compute_fucs(): def init(self): self.scale = 1def loss_fn(self, output, target, penalty): cos = torch.clamp(output, 0, 1) predicted_angle = torch.acos(cos) target_rad = target * (torch.pi / 180) loss = torch.mean((predicted_angle - target_rad) ** 2) return loss + penalty학습기 정의class Modeltrainer(): def init(self, model=None, opt=None, best_loss=None): self.model = copy.deepcopy(model).to('cuda') self._init_weights() self.opt = opt if opt is not None else torch.optim.Adam(self.model.parameters(), lr=0.001) self.compute = Compute_fucs() self.loss_fn = self.compute.loss_fn self.best_loss = best_loss if best_loss is not None else 1e30 self.scheduler = ReduceLROnPlateau(self.opt, mode='min', factor=0.5, patience=10, verbose=True)def _init_weights(self): for m in self.model.modules(): if isinstance(m, nn.Linear): nn.init.kaiming_normal_(m.weight, a=0.01, mode='fan_in', nonlinearity='leaky_relu') if m.bias is not None: nn.init.constant_(m.bias, 0)def is_decrease(self, y, x, creat_graph=False): dy_dx = torch.autograd.grad(y.sum(), x, create_graph=creat_graph)[0] penalty = torch.mean(F.relu(dy_dx)) # 부드러운 패널티 return penaltydef train(self, x, y, num_epochs): dataset = TensorDataset(x, y) g = torch.Generator().manual_seed(42) train_loader = DataLoader(dataset, batch_size=64, shuffle=True, generator=g) for epoch in range(num_epochs): loop = tqdm(train_loader, desc=f"Epoch {epoch+1}/{num_epochs}", leave=False) for x_batch, y_batch in loop: x_batch = x_batch.to('cuda') y_batch = y_batch.to('cuda') self.opt.zero_grad() output = self.model(x_batch) penalty = self.is_decrease(output, x_batch, creat_graph=True) loss = self.loss_fn(output, y_batch, penalty) loss.backward() nn.utils.clip_grad_norm_(self.model.parameters(), max_norm=3.0) self.opt.step() loop.set_postfix(loss=loss.item()) self.scheduler.step(loss.item())데이터 준비data = torch.linspace(0, 90, steps=901, dtype=torch.float64).view(-1, 1) target = data.clone() datax = (data - data.mean()) / data.std() datax = datax.requires_grad_(True).to(torch.float64)datax = datax.to('cuda') target = target.to('cuda')모델 학습model = Model().double() trainer = Modeltrainer(model=model) trainer.train(datax, target, num_epochs=300)제가 gpt를 통해 문제 원인을 분석하고 얻은 결과입니다📌 문제 요약: 모델 출력이 거의 일정한 값으로 수렴함---🔍 1. 손실 함수에서의 수치적 불안정 및 학습 유도 실패🔹 compute_circle() 함수self.grid는 1e7 크기의 텐서입니다. 이로 인해 GPU 메모리 사용량이 커지고, 계산 비용이 매우 높습니다.그리고 starts = cos, xs = starts + self.grid * (1 - starts) 구문은 cos 값이 작을수록 가 1에 가까워지고, \sqrt{1 - x^2}는 작은 값이 됩니다.이는 결국 미분 시 gradient가 매우 작아져 학습이 멈추는 문제가 생깁니다 (vanishing gradient 현상).> 💡 손실 함수 내부의 적분 근사 방식이 너무 미세하게 설정되어 있고, 대부분의 구간에서 변화량이 거의 0이 됩니다. → 이로 인해 모델은 아무리 학습해도 손실이 거의 줄지 않음.---🔍 2. Sigmoid 후처리에 의한 출력 압축cos = self.sigmoid(output)sigmoid()는 출력 범위를 (0, 1)로 강제함 → 모델 출력이 중간값인 0.5 부근으로 수렴하기 쉬움그 결과, 역전파에서도 gradient가 죽기 쉬운 형태가 됨특히 sigmoid 출력의 평균이 0.5~0.7 사이로 수렴 → 이 자체가 손실을 크게 유발하지 않으면, 모델은 더 이상 학습을 하지 않음---🔍 3. 패널티 항 설계 문제dy_dx = torch.autograd.grad(y.sum(), x,create_graph=creat_graph)[0]이 is_decrease()는 미분 값이 0보다 크거나, -1보다 작을 때 페널티를 줍니다.문제는 대부분의 경우 모델이 flat하게 학습되므로, 근처 → 패널티가 거의 안 걸림또는, 아주 작은 미분 변화만 생겨도 갑자기 패널티가 급증할 수 있음 (비연속적인 패널티)---🔍 4. 입력 분포와 출력 목표간 비선형 대응input은 표준화된 각도, target은 라디안 값인데, output은 중간에 sigmoid 거쳐서 코사인 값으로 압축 후, 그것을 다시 circle/trapezoid 면적으로 처리이 중간 mapping이 지나치게 비직관적이고 복잡하여, 실제로 모델은 "정답이 어디에 있는지" 알 수 없음---🔍 5. 데이터가 너무 정적임data = torch.linspace(0, 90, steps=901, dtype=torch.float64)0~90도 사이의 균등한 901개의 점너무 정적인 데이터로, 작은 배치에서 variation이 매우 낮음 → 모델은 "모든 입력이 비슷하다" 판단 후 출력 고정---원인은 이런 원인일수가 있다고 하네요 참고하셔서 좋은 결과를 얻길 기대합니다

모델의 출력값들이 거의 하나로 수렴하는 문제

1개의 답변

Q&A 목록