Standford의 cs20si 2018년 봄학기 수업 3강에서 Optimizer 얘기할 때 "Autodiff is amazing!"이라는 문구가 나옴.
뭔가 찾아보니 Automatic Differentiation 얘기임.
ㄴ https://stats.stackexchange.com/a/257754
위키페디아를 찾아보니, 딥러닝의 backpropagation은 "a special case of reverse mode AD"라고 함
ㄴ https://en.wikipedia.org/wiki/Automatic_differentiation
여기보면, Automatic differentiation은 과거에 컴퓨터로 미분을 구하려고 사용하던 Symbolic differentiation이나 Numerical differentiation 두 방식의 단점을 보완했다 함.
https://alexey.radul.name/ideas/2013/introduction-to-automatic-differentiation
* 좀 길게 쉽게(?) 설명해준 버전. 근데 여전히 용어가 익숙하지 않아서 와닿지 않는다.
'SW-PRODUCT > 개발-데이터분석' 카테고리의 다른 글
| [링크] Some Design Patterns for Real World Machine Learning Systems (0) | 2017.10.31 |
|---|---|
| [링크] t-SNE : 다차원 데이터를 2차원에 그려주기! (0) | 2017.10.24 |
| R에서 dist 객체 이해하기 (0) | 2017.10.24 |
| [링크] Detecting Fake News with Scikit-Learn (0) | 2017.10.19 |
| [링크] Andrew Ng: Artificial Intelligence is the New Electricity (0) | 2017.10.18 |