과학의 발전에서 이론은 중요한 역할을 합니다. 깊은 학습과 같이 많은 발견들은 초기에 우연히 발견된 후에 이론이 도입되곤 합니다. 예를 들어, 전기의 경우, 볼타는 배터리를 우연히 발견했고, 이것은 지속적인 전기의 첫 번째 원천이었습니다. 이후 많은 전기 기기와 기술이 발명되었지만, 맥스웰이 그의 이론을 정립한 60년 후에야 전기에 대한 진정한 이해가 시작되었습니다.
오늘날 AI와 머신러닝에서 부족한 것은 바로 이론입니다. 이를 통해 시스템의 속성과 한계를 정확히 알 수 있습니다. 또한, 더 나은 시스템을 만들 필요가 있기 때문이며, 인간의 지능과 큰 언어 모델 사이의 기본 원칙을 이해하는 데 도움을 줄 수 있습니다.
삼층 신경망과 관련하여 주요 문제 중 하나는 차원의 저주입니다. 그러나 합성곱 함수의 경우 이 문제를 피할 수 있습니다. 이러한 함수는 다양한 변수에 대한 함수의 함수로 구성됩니다. 합성곱 함수의 차원성이 중요한 것이 아니라 각 구성 함수의 최악의 차원성이 중요합니다. 심층 신경망에서 이 합성곱 구조를 사용하면 차원의 저주를 피할 수 있습니다.
또한, 트랜스포머 모델은 각 계층에서 필요한 희소 변수를 찾을 수 있을 것으로 추측됩니다. 이론을 기반으로 한 AI 접근법이 필요하며, 이는 진정한 설명 가능성을 제공하고, 시스템을 개선하고, 뇌에도 적용되는 지능의 원칙을 발견하는 데 도움이 될 것입니다.
─
원문 URL : https://www.youtube.com/watch?v=rrh4CsgXt5c
원문 제목 : Theory Is Key To Make Better AI
