신경망이 실제로 무엇인지
IBM에 따르면, 신경망은 뉴런이라고 불리는 간단한 처리 단위로 구성된 기계 학습 모델로, 계층으로 배열되어 있으며 입력을 출력으로 매핑하기 위해 데이터로부터 패턴 인식 가중치와 편향을 학습합니다. 모든 네트워크는 원본 데이터를 받아들이는 입력 계층, 그 데이터를 변환하는 하나 이상의 숨겨진 계층, 그리고 레이블 또는 예측과 같은 최종 결과를 생성하는 출력 계층을 가집니다.
각 뉴런은 들어오는 값에 가중치라고 불리는 숫자를 곱하고, 편향 항을 추가하며, 결과를 비선형 활성화 함수를 통해 전달합니다. IBM은 가중치를 각 입력이 결과에 얼마나 많은 영향을 미치는지를 설정하는 다이얼에 비유하며, 편향은 뉴런이 활성화되는 지점을 조정합니다.
훈련이 작동하는 방식: 순전파와 역전파
MIT News는 이 아이디어를 1944년으로 추적합니다. Warren McCullough와 Walter Pitts는 나중에 MIT로 이사했으며, 상호 연결된 처리 노드의 개념을 처음으로 제안했습니다. 원래 설계에서는 각 노드가 가중 입력을 합산하고, 합이 임계값을 초과하면 '발화'하여 MIT가 '피드포워드 아키텍처'라고 부르는 것의 다음 계층으로 신호를 보냅니다.
훈련은 무작위 가중치로 시작합니다. IBM은 네트워크가 먼저 '순전파' 단계를 실행하여 입력 데이터를 계층을 통해 전달하여 예측을 생성한다고 설명합니다. 손실 함수는 그 예측과 정답 사이의 간격을 측정하며, IBM에 따르면 수치 예측의 경우 평균 제곱 오차와 같은 공식을 또는 분류 작업의 경우 교차 엔트로피를 사용합니다.
그러면 네트워크는 '역전파'를 실행하여 연쇄 법칙이라고 불리는 미적분 규칙을 사용하여 계층별로 각 개별 가중치가 오류에 얼마나 기여했는지를 계산합니다. 경사 하강법이라고 불리는 최적화 단계는 그러면 모든 가중치를 오류를 감소시키는 방향으로 약간 조정하기 위해 그 계산을 사용합니다. IBM과 MIT 모두가 설명하는 대로, 훈련 예제 전체에서 이 사이클을 수천 번 또는 수백만 번 반복하는 것이 네트워크가 '학습'하는 방식입니다.
딥러닝이 폭발적으로 성장한 이유
'딥러닝'은 하나가 아니라 많은 쌓인 숨겨진 계층을 가진 네트워크를 의미합니다. MIT News는 1960년대의 단일 계층 네트워크에서 10개에서 50개 이상의 계층을 가진 현대 네트워크로의 이동을 언급합니다. MIT News에 따르면, MIT의 Marvin Minsky와 Seymour Papert가 단일 계층 네트워크의 한계를 보여주는 1969년 책을 발표한 후 연구 추진력이 붕괴되었으며, 1980년대에만 부분적으로 회복되었고 2000년대 초에 다시 쇠퇴했습니다.
이 분야의 현대적 부흥은 MIT가 2010년경으로 거슬러 올라가는 것으로 추적하며, 원래 비디오 게임용으로 구축된 그래픽 처리 장치(GPU)에 의해 주도되었습니다. 이는 깊은 네트워크가 필요로 하는 막대한 계산을 실행하는 것을 실용적으로 만들었습니다. IBM은 이 컴퓨팅 능력이 훨씬 더 큰 데이터셋과 결합하여 오늘날의 대규모 모델의 매개변수가 수십억에 도달할 수 있도록 했다고 덧붙입니다.
주요 딥러닝 아키텍처와 용도| 아키텍처 | 일반적인 용도 | 출처 |
|---|
| 합성곱 신경망(CNN) | 이미지 인식, 지역 패턴을 스캔하는 필터 사용 | IBM |
|---|
| 순환 신경망(RNN) | 텍스트 또는 시계열과 같은 순차 데이터, 메모리 같은 숨겨진 상태를 통해 | IBM |
|---|
| 트랜스포머 | 시퀀스 전체에 걸친 자기 주의; 현대 대규모 언어 모델 구동 | IBM |
|---|
| 확산 모델 | 단계별 노이즈 추가 과정을 역전시켜 이미지 생성 | IBM |
|---|
| 오토인코더 | 축소 또는 생성 작업을 위해 데이터를 더 작은 표현으로 압축 | IBM |
|---|
'블랙박스' 문제: 결정이 설명하기 어려운 이유
완전히 훈련된 네트워크도 해석하기 어려울 수 있습니다. MIT News는 훈련 후, 최종 가중치 설정이 실제로 무엇을 나타내는지 또는 훈련된 시스템이 이미지의 어떤 기능에 의존하고 있으며 그것들을 어떻게 결합하는지가 종종 불명확하다고 명시합니다. '블랙박스' 문제라고 불리기도 하는 이 불명확성은 네트워크가 어떻게 구축되었는지와는 별개입니다. 특정한 이미 훈련된 네트워크가 특정한 결정을 왜 내리는지를 이해하는 것에 관한 것입니다.
지금 이 설명이 왜 중요한가
위의 메커니즘은 일상적인 AI 사용의 급속한 확대를 뒷받침합니다. Stanford의 HAI 2026 AI Index Report는 2025년 생성 AI의 조직 채택이 88%에 도달했으며, 생성 AI가 대량 시장 도입 후 3년 이내에 53%의 인구 수준 채택에 도달했다는 것을 발견했습니다. 보고서는 이것이 개인용 컴퓨터나 인터넷이 동일 수준에 도달하는 것보다 빠르다고 말합니다. 같은 보고서는 2025년 미국 민간 AI 투자를 285.9억 달러로, 그 해에 중국에 투자된 12.4억 달러의 23배 이상이라고 말합니다.
Stanford 보고서는 또한 SWE-bench Verified와 같은 코딩 벤치마크에서 AI 모델 성능이 약 60%에서 1년 이내에 거의 100%에 도달했으며, 여러 모델이 이제 박사 수준의 과학 질문과 경쟁 수학에서 인간의 기준선을 충족하거나 초과한다는 것을 발견했습니다. 이러한 능력 향상 중 어느 것도 위에서 설명한 기본 메커니즘(역전파와 경사 하강법을 통해 조정된 가중 연결)을 변경하지 않습니다. 이는 단지 그것이 적용되는 규모일 뿐입니다.
자주 묻는 질문
- 신경망과 딥러닝의 차이점은 무엇입니까?
- 신경망은 계층 구조의 가중 처리 단위의 기본 모델입니다. 딥러닝은 특히 많은 숨겨진 계층을 가진 신경망을 의미합니다(IBM은 현대 네트워크의 10개에서 50개 이상의 계층을 인용하며, MIT News에 따르면 1960년대의 단일 계층 네트워크와 비교합니다).
- 역전파는 실제로 어떻게 작동합니까?
- 네트워크가 예측을 만든 후(순전파), 손실 함수는 정답에 대한 오류를 측정하고, 역전파는 연쇄 법칙을 사용하여 각 가중치가 그 오류에 얼마나 기여했는지를 계산합니다. 경사 하강법은 모든 가중치를 조정하여 오류를 감소시킵니다(IBM에 따르면).
- 신경망이 '블랙박스'라고 불리는 이유는 무엇입니까?
- MIT News는 훈련이 성공한 후에도 네트워크가 의존하는 입력 기능이 무엇인지, 또는 학습한 가중치 값이 실제로 무엇을 나타내는지가 종종 불명확하며, 정확한 출력에도 불구하고 특정 결정을 해석하기 어렵다고 설명합니다.
- 딥러닝이 최근에만 실용적이 된 이유는 무엇입니까?
- MIT News는 2010년 이후의 부흥을 그래픽 처리 장치(GPU)에 기인하며, 원래 비디오 게임용으로 구축되었고, 많은 계층을 가진 네트워크를 대규모 데이터셋에서 훈련하는 데 필요한 컴퓨팅 능력을 제공했습니다.
- 오늘날 AI는 얼마나 광범위하게 사용되고 있습니까?
- Stanford의 2026 AI Index Report는 2025년 생성 AI의 조직 채택이 88%에 도달했으며, 생성 AI가 도입 후 3년 이내에 인구의 53%에 도달했으며, 이는 PC 또는 인터넷이 같은 단계에서 더 빠르다는 것을 발견했습니다.
