[Pytorch] nn.Parameter()로 grad 확인하기

troch graph에서 특정 노드로 흘러오는 역전파 값을 확인하고 싶을 때 유용하게 사용할 수 있습니다.

torch는 requiers_grad=True를 통해 연산된 텐서들을 autograd로 추적할 수 있지만, leaf node가 아닌 변수들의 gradient는 None으로 바뀌게 됩니다.
이러한 변수들의 gradient를 남기기 위해서 retain_grad()를 사용합니다.

x_stage1로 전달되는 미분값의 확인을 위해 params를 더해줍니다. 

더해주는 연산은 역전파가 동일하게 흐르므로, 전파되는 미분값의 크기를 대략적으로 파악할 수 있습니다.

이를 통해, 계수의 조절과 loss가 적절한지 등 실험설계의 방향성을 잡는데 좋습니다.