Animation: Dual-Task Interference

I made an animation for my recent neuroscience article on dual-task interference. It was nice to finally visualize a scientific idea, after making it my new year’s resolution for so long. Graphical summary of the paper in my Twitter thread.

Reflection / 반추

I originally planned the mobile as a piece on metacognition, as it apparently is. Then I was about to accompany it with an essay about how we deliberate and reach a decision, which I studied during my PhD.

But while I was making it, I also realized that I had ideas like this, and others, from when I was little. I felt like I’ve only made it now because now I have more experience executing such ideas.

In that sense, the mobile could be also about growth: a larger self looking back on the little selves. Indeed, metacognition, or evaluation of one’s own thinking, can be one way for learning and growth for humans and machines. For example, if you were sure you would be invited to a friend’s birthday and if you were not, you would wonder about the reason and might learn more about what happened to the friend or to your friendship. That’s different from when you were unsure about getting the invitation to begin with, in which case being not invited wouldn’t mean much. Therefore, the sense of being sure, or confidence, is a form of metacognition that can help learning. Machines use confidence to learn as well: agreement between the graded sense of confidence and the all-or-none outcomes can be mathematically expressed as “cross entropy“, which is a standard measure used in training machines.

Back to the mobile, I debated whether to use wires or paper, but chose paper because each figure is planar. I glued several sheets together to reinforce them. If someone wants it in a more permanent form, I’d like to try 3D printing it.

원래는 메타-인지에 관한 모빌로 계획했다. 지금도 그렇게 볼 수 있다. 설명으로는 우리가 어떻게 고민하고 결론에 도달하는지에 대해, 내가 박사과정 때 연구했던 내용을 곁들여 쓸 생각이었다.

하지만 모빌을 만드는 동안, 어릴 때도 이런 아이디어를 포함해 여러 아이디어들이 있었던 것이 기억났다. 이제야 이 모빌을 만들게 된 것은, 이제서야 그 아이디어를 실현할 수 있게 되어서라는 생각이 들었다.

그런 의미에서, 이 모빌은 성장에 관한 작품일 수도 있겠다: 큰 자신이 작은 자신들을 반추하는 것이다. 메타-인지, 혹은 스스로의 생각에 대한 판단은 실제로 사람이나 기계가 배우고 성장하는 데 도움이 된다. 예컨대 어떤 친구의 생일파티에 초대될 거라고 확신했는데 초대받지 못했다면, 그 친구나 친구와의 우정에 대해 다시 생각해보고 뭔가를 더 배울 수 있을 것이다. 하지만 초대받을지 여부가 애초에 불확실했다면, 초대를 못 받아도 별 뜻이 없었다고 여길 것이다. 이렇게 자신감은 배움을 도울 수 있는 메타–인지의 한 형태이다. 자신감은 기계들의 훈련에도 쓰인다:  자신감과 실제 결과 사이의 일치도는 수학적으로 “크로스 엔트로피“로 표현될 수 있으며, 이는 기계들을 훈련할 때 일상적으로 쓰이는 척도이다.

모빌로 돌아와서, 철사를 쓸지 종이를 쓸지 고민하다가, 각 인물의 디자인이 평면적이기 때문에 종이를 쓰기로 했다. 종이 몇 장을 함께 붙여서 단단하게 세울 수 있도록 만들었다. 더 튼튼한 버전을 원하는 사람이 있다면 3D 프린팅으로 만들어 보고 싶다.

YK 2019.

Fixin’ ResNet / 레스넷 고치기

Diggin’ into neural nets.

A ResNet is a relatively new type of deep artificial neural networks that can recognize objects – the kind that finds objects in your images on Google Photos.

This illustration mixes images of a stack of sandwiches with a ResNet. The protagonist is adding a “skip connection” (blue wire) between neural layers (slices of bread). Such skip connections, inspired by biology, are the characteristic of ResNets. The skip connections allowed ResNets to be deeper than its predecessors (have a tall stack), and helped them to recognize more complex images.

Why is it good for a network to be deep? And why do skip connections help? I find it a stretch to explain them with the analogy of a sandwich, so I defer the answers to later posts. Let’s say for now that the ResNet has skip connections repeated every 2-3 layers, so it’s easy to make it deeper by stacking the same structure multiple times. That makes it look like the stacked sandwiches (see Figure 3 of the original paper).

Well, this was my first attempt at a neuroscience/AI-inspired illustration. The analogy leaves a lot to be desired, but hopefully it will get better as I try more. At least this fulfills my new year’s resolution—to post about neuroscience—on the new year’s day! 🙂

신경망 속 파고들기.

레스넷은 비교적 새로운 심층 신경망으로, 구글 포토에서처럼 물건들을 알아볼 수 있습니다.

그림에서는 높이 쌓은 샌드위치와 레스넷의 이미지를 합했습니다. 주인공은 “건너뛰는 연결”(파란 전선)을 신경망 층 (빵) 사이에 추가하고 있습니다. 건너뛰는 연결은 실제 뇌에서 영감을 얻은 구조로, 레스넷의 깊이를 더하는 데 도움을 주었습니다. (층을 높이 쌓을 수 있게 해주었습니다.)

왜 신경망이 깊으면 좋은지, 왜 건너뛰는 연결이 도움이 되는지, 샌드위치의 비유로 설명하기에는 한계가 있어서, 대답은 이후 꼭지들로 미루도록 하겠습니다. 여기서는 레스넷이 건너뛰는 연결을 2-3층마다 반복해서 가지고 있어서, 샌드위치를 쌓듯이 같은 구조를 반복만 하면 쉽게 깊어지도록 할 수 있다는 점만 언급하겠습니다. (원래 논문의 그림 3을 참고하세요.)

뇌과학/AI에 관한 첫 꼭지였습니다. 비유가 아직 어색하지만, 더 시도하면서 개선해 보겠습니다. 적어도 뇌과학에 관해 써 보겠다는 제 새해 다짐을 새해 첫날에 실천한다는 의미는 있겠네요. 🙂

A Forgetful Neuron & Ariadne’s Thread / 깜박하는 신경 세포와 아리아드네의 실타래

I need an aid to catch little lessons from drawing before they slip into oblivion. I feel like one of those tiny neurons, the cells that comprise the brain. Any one of them would get excited with an electrical pulse, but then would dissipate the charge and lose clue of what just happened, in just about a tenth of a second. A neuron is too short-sighted for the giant world its host lives in, where food or a mate is often not obtained with a subsecond deliberation.

I, its host, am no better though. I would be drawing one day and would be exuberant about finding a gem of an idea, but when I come back in a week or so, I would have lost the stone or its shine. Progress is often not found in my foggy horizon.

To have any hope, I will have to employ some tactics, perhaps borrowing from the neurons. A neuron fights its forgetfulness in at least two ways. It tells others what it just heard, like in a telephone game but with a more serious ambition, so that someone down the line would remember the message and remind it back when it has long forgotten what it said. It also gradually revises its phone book of synapses, the connection to other neurons, depending on who answers the call and what happens afterwards. So after enough revisions the neuron calls those neurons that answered its call or got its host goodies. The neuron thus patches its amnesia with the aid of its group and its phone book.

I may use such aids, social and material. I would discuss ideas with friends, so over time they may remind me where I was and re-excite me. They would even add their ideas on top. Attending a meet-up was a critical source of help for me to resume drawing after years of pause.

On the material side, I might look back on the trace I left to remember where I meant to go from there. I started posting works to leave the trace, but the far end of the trace gets out of sight soon. Hence a little retrospect, sorted by themes below – Ariadne’s thread I left in the labyrinth of growth.

---

Expressing emotions without facial expressions
표정 없이 감정 표현하기

Bamboo and Morning Glory  /  대나무와 나팔꽃
A Whole New World  /  새로 열린 세상
Living Room Festival  / 거실 축제
Unlikely Allies: Squid and Whale  /  뜻밖의 동맹:  대왕오징어와 고래

---

Holidays for Creatures
동물들의 휴일

Halloween for Beans / 콩의 할로윈
Sharks Booed! / 상어의 할로윈
Cookies for Rudolph / 루돌프에게 쿠키를

---

Crosswalk Series
횡단보도 시리즈

Crosswalk (for Benches and Containers) / 벤치와 컨테이너의 횡단보도
Crosswalk on a Foggy Day / 안개 낀 날의 횡단보도
Stroller on a Rainy Crosswalk / 비 오는 횡단보도를 건너는 유모차

---

Studies for “Return”
“귀환”을 위한 습작

Study 1 / 습작 1
Study 2 / 습작 2
Study 3 / 습작 3

---

Taking photos as I would paint
그림 그리듯 사진 찍기

Wind Chime / 풍경
Snow in Harlem / 할렘에 내리는 눈
Snow on Hudson River / 허드슨 강에 내리는 눈
Out of the Night / 밤으로부터
Low Lights can Elevate / 높여주는 낮은 빛
Out of the Old Window / 낡은 창 밖으로

---

그림을 그리면서 얻은 작은 깨달음들이 망각의 저편으로 사라지기 전에 잡아두려면 도움이 필요하다. 뇌 안의 조그만 신경 세포가 된 기분이다. 신경 세포는 전기 자극을 받으면 들뜨지만, 십분의 일 초도 안 되어 전기가 새어나가면 무슨 일이 있었는지 까맣게 잊고 만다. 신경 세포 하나는 그 주인이 사는 거대한 세상에 비하면 너무 근시안이다. 일 초도 안 되는 궁리로는 음식이나 짝을 찾기 어렵다.

신경 세포의 주인인 나도 그리 낫지는 못하다. 어떤 날에는 그림을 그리다 보석같은 아이디어를 얻었다며 기뻐하다가, 일 주일쯤 뒤에 돌아와 보면 그 돌의 어디서 광채가 났는지 잊어버리기 일쑤다. 뿌연 시야 안에 앞길은 좀처럼 보이지 않는다.

조금이라도 희망을 가지려면 무슨 수가 필요하다. 신경 세포에게서 귀뜸할 수도 있지 않을까? 신경 세포는 망각과 싸우는 방법을 적어도 두 가지 갖고 있다. 하나는 무언가를 배우자마자 자신과 연결된 다른 신경 세포에게 얘기하는 것이다. 전화기 게임에서처럼 – 하지만 더 진지한 이유로 – 여러 세포들이 다른 세포에게 얘기하기를 반복하다보면, 자기가 말한 내용을 잊어버린 뒤에도 다른 세포들이 되알려 주기를 기대하는 것이다. 다른 하나는 메시지를 받을 때마다 시냅스가 – 다른 신경 세포로의 연결점이 – 나열된 전화번호부를, 누가 전화를 받았고 그 뒤에 무슨 일이 일어났는가에 따라 조금씩 고치는 것이다. 그러면 다음에 자극이 왔을 때 응답을 했거나 주인에게 좋은 결과를 가져다 줬던 신경 세포에게 연락을 할 수 있기 때문이다. 신경 세포는 이렇게 동료들과 전화번호부의 도움으로 건망증을 극복한다.

나도 그렇게 사회적, 물질적인 방법들을 동원해 볼 수 있겠다. 친구들에게 아이디어를 얘기해서, 나중에 내가 어떤 생각을 하고 있었는지, 왜 들떠 있었는지 깨우쳐 줄 수 있게 하는 것이 한 방법이다. 친구들이 자기 아이디어까지 더해 줄 수도 있다. 몇 년 동안 중단했던 그림을 다시 그리게 된 데는 그림 모임에 나가기 시작한 것이 큰 역할을 했다.

물질적으로는 내가 남긴 그림들을 되돌아보는 방법이 있겠다. 원래 그 이유에서 그림들을 블로그에 올리기 시작했지만, 시간이 지나면 옛 그림은 곧 잊혀지게 마련이다. 그래서 서로 관련된 그림들을 위에 모아 보았다. 배움의 미로에 남긴 아리아드네의 실가닥이다.