Fixin’ ResNet / 레스넷 고치기

Diggin’ into neural nets.

A ResNet is a relatively new type of deep artificial neural networks that can recognize objects – the kind that finds objects in your images on Google Photos.

This illustration mixes images of a stack of sandwiches with a ResNet. The protagonist is adding a “skip connection” (blue wire) between neural layers (slices of bread). Such skip connections, inspired by biology, are the characteristic of ResNets. The skip connections allowed ResNets to be deeper than its predecessors (have a tall stack), and helped them to recognize more complex images.

Why is it good for a network to be deep? And why do skip connections help? I find it a stretch to explain them with the analogy of a sandwich, so I defer the answers to later posts. Let’s say for now that the ResNet has skip connections repeated every 2-3 layers, so it’s easy to make it deeper by stacking the same structure multiple times. That makes it look like the stacked sandwiches (see Figure 3 of the original paper).

Well, this was my first attempt at a neuroscience/AI-inspired illustration. The analogy leaves a lot to be desired, but hopefully it will get better as I try more. At least this fulfills my new year’s resolution—to post about neuroscience—on the new year’s day! 🙂

신경망 속 파고들기.

레스넷은 비교적 새로운 심층 신경망으로, 구글 포토에서처럼 물건들을 알아볼 수 있습니다.

그림에서는 높이 쌓은 샌드위치와 레스넷의 이미지를 합했습니다. 주인공은 “건너뛰는 연결”(파란 전선)을 신경망 층 (빵) 사이에 추가하고 있습니다. 건너뛰는 연결은 실제 뇌에서 영감을 얻은 구조로, 레스넷의 깊이를 더하는 데 도움을 주었습니다. (층을 높이 쌓을 수 있게 해주었습니다.)

왜 신경망이 깊으면 좋은지, 왜 건너뛰는 연결이 도움이 되는지, 샌드위치의 비유로 설명하기에는 한계가 있어서, 대답은 이후 꼭지들로 미루도록 하겠습니다. 여기서는 레스넷이 건너뛰는 연결을 2-3층마다 반복해서 가지고 있어서, 샌드위치를 쌓듯이 같은 구조를 반복만 하면 쉽게 깊어지도록 할 수 있다는 점만 언급하겠습니다. (원래 논문의 그림 3을 참고하세요.)

뇌과학/AI에 관한 첫 꼭지였습니다. 비유가 아직 어색하지만, 더 시도하면서 개선해 보겠습니다. 적어도 뇌과학에 관해 써 보겠다는 제 새해 다짐을 새해 첫날에 실천한다는 의미는 있겠네요. 🙂