딥러닝

두 레이싱 선생(지도·강화) 밑에서 실제로 배우는 기계는 신경망입니다 — 단순한 가중합의 층을, 아주 복잡한 함수를 표현할 수 있을 때까지 쌓은 것.

뉴런에서 네트워크로

• 뉴런은 입력에 가중치를 곱해 더하고, 단순한 비선형을 통과시킵니다.
• 층은 뉴런 여럿을 나란히, 깊은 네트워크는 층 여럿을 직렬로 쌓은 것. 단순한 조각들이 "커브를 알아본다"로 합성되는 힘이 깊이에서 나옵니다.
• 훈련 = 모든 가중치를 오차가 줄어드는 방향으로 아주 조금씩 동시에 조정 (경사하강법). 지도학습과 강화학습의 차이는 오차 신호가 어디서 오느냐뿐입니다.

CNN — 보는 신경망

이미지는 거대하고, 패턴(모서리, 라인)은 어디에나 나타날 수 있습니다. 합성곱(convolution) 네트워크는 작은 필터를 이미지 위로 슬라이드시켜, 같은 패턴 탐지기가 모든 위치에서 일하게 합니다. 앞층은 모서리를, 깊은 층은 그걸 모아 형태를, 마지막 층은 형태를 결정(조향)으로 바꿉니다.

레이싱 모델이 정확히 이것입니다: 카메라 프레임 입력 → 합성곱 → 조향 출력. 두 선생이 같은 CNN을 훈련하기에, 지도로 선행학습하고 강화로 다듬을 수 있는 것입니다.

실전 감각

• 거의 항상, 더 좋은 데이터가 더 화려한 네트워크를 이깁니다.
• 손실은 떨어지는데 주행이 나쁘면 용의자는 네트워크가 아니라 데이터입니다 — 지도학습 참고.
• 모델은 트랙을 "이해"하지 않습니다. 픽셀을 행동으로 사상할 뿐입니다. 픽셀이 바뀌면(조명, 라인 색) 사상이 무너집니다 — 그것이 Sim2Real 격차입니다.