Add와 Concatenate 차이

정말 사소하지만,,, 궁금해서 찾아봤던 내용이다.
연구를 하던 중에 Element-wise sum과 Concatenate가 어떤 차이가 있는지,
사용해야되는 상황이 어떻게 다른지에 대해 찾아보았다.
예를 들면, A,B,C가 각각 3000원, 2000원, 5000원을 가지고 있다.

Add는 단순하게 총합이 10000원인 것을 의미한다. 위치에 대한 정보를 고려하지 않는다.
Concat은 각각 A,B,C가 가진 돈의 위치가 그대로 보존한다. 즉, Concat은 추출된 feature의 본래 위치를 보존한다.

즉, Add는 A+B 일 때 더해지는 값 한 가지를 residual로 인식하고,
Concat은 두 입력이 밀접하게 관련되어 있지 않을 때 사용하는 것이 자연스럽다.