모두팝 세미나 - A Unified Framework to Calculate Every Deep Learning Architecture by Hand 리뷰

안녕하세요

Tom Yeh 교수님의 AI by hand 세미나가 진행된다는 소식을 듣고, 간만에 모두의 연구소를 다녀 왔습니다!

이번 세미나는 영어로 진행된다고 하여, 20살부터 영어랑 담 쌓고 살아온 제가 가기에는 쪼금 많이 부담스럽긴 했지만, AI 동시통역 서비스 'Cuckoo'의 지원으로 강연 및 Q&A 세션에 영-한 통역을 지원할 수 있게 되었다 하여 재밌어 보이기도 하고, 한글도 좀 섞이면 괜찮겠다 싶어서 가게 되었습니다.

모두팝 세미나 라운지. 세미나 시작 전에 소심하게 한 컷 찍고왔다.

 

사실 'A Unified Framework to Calculate Every Deep Learning Architecture by Hand'라는 제목만 봤을때는 정확히 뭘 하는걸까? 라는 궁금증이 들었는데, 딥러닝의 아키텍쳐들을 전부 matric으로 변환하고, 각 matric에서 어떤 연산들이 일어나는지 수학적으로 해석하면서 Ai계에서 중요한 논문들을 리뷰하는 식으로 진행되었습니다.

 

감사하게도 주요 자료들은 아래 사이트에서 공유해주시기 때문에 확인할 수 있습니다! 

https://aibyhand.substack.com/

AI by Hand ✍️ | Tom Yeh | Substack

 

예시로 LSTM을 봐보자면, LSTM 논문의 핵심 내용은 결국 장단기 메모리를 만들어 어떤 내용을 잊어먹을지(forget gate), 어떤 내용을 기억할 것인지(candidate memory)에 대한 내용입니다. 그리고 대부분은 LSTM을 공부할때의 훌륭한 시각적 자료로 아래 그림을 한번쯤은 봤을 것입니다.

 

 

연사님의 경우 matric으로 아키텍쳐들을 표현한다고 했는데요, 위와 같이 각 행렬별로 일어나는 연산을 손수 계산해가며 전체 아키텍쳐의 흐름을 파악하는 방식으로 수업을 진행한다고 합니다. 아래 사진처럼요!

 

물론 오해해서는 안되는 점은 연사님도 전달하고자 하는 핵심 내용은 행렬 문제를 수학적으로 풀기 위해 이런 공부방식을 제시하는 것이 아닌, 한 두개의 flow만 손으로 계산해가며 아키텍쳐를 쭉 따라가보면 결국 전체를 이해할 수 있게 될 것이다 라는 내용이였습니다. 저는 대학교를 학사 졸업하고 바로 취업을 한 케이스이라 AI 논문에 대해 깊게 공부해본 경험은 없었는데, 그래서 그런가 matric 하나의 개념으로 다양한 논문들의 아키텍쳐를 설명하는 시도 자체가 굉장히 새롭게 느껴졌습니다. 과장을 보태자면 행렬 연산만 할 줄 안다면 모든 딥러닝 아키텍쳐 연산을 수행할 수 있다는 거니까요. (물론 어디까지나 연산이 가능한 것이지, 아키텍쳐가 어떻게 이루어 지는지는 공부를 해야겠죠?)

 

일을 시작하고 나서 느낀점은 "나는 개념이 부족한 사람이기 때문에 어떤 솔루션을 해결할때 아키텍쳐를 분해하기 보다는, APP 단에서 로직적으로 해결하는게 중요해! "라는 마음가짐으로 일을 해왔었고, 리서치 활동도 새로운 기술이 나옸다 하면 어떤 내용이구나~ 하고 팔로업만 하고, 그 이상으로 들여다 볼 생각은 하지 않았었는데 이번 기회에 연사님이 제공해주신 공부 자료들로 나도 손으로 하나하나 계산해가며 딥러닝 논문들의 아키텍쳐를 이해해보는 시간을 가지면 좋을거라는 생각을 하였습니다. 여러모로 즐거운 모두팝 세미나 시간이였습니다!