7주차 강의일지
chatgpt-5?
1. Q-Learning
개념
Q-Learning은 강화학습의 대표적인 알고리즘입니다. 여기서 ‘강화’란 보상을 최대화하려는 목표를 의미합니다. Q-Learning은 주어진 상황(상태)에서 가장 좋은 행동을 찾아내기 위해 행동-보상 관계를 학습하는 방식으로, 주어진 상황에서 최적의 결정을 내리도록 에이전트를 훈련시킵니다.
작동 방식
에이전트가 환경과 상호작용하면 즉각적인 보상(결과)을 받습니다. 이 보상을 바탕으로 “이 행동이 좋은가, 나쁜가”를 점차 배워갑니다. 에이전트는 현재 상황에서 어떤 행동이 가장 좋은지 예측하면서, 여러 번의 시행착오 끝에 최적의 행동을 선택할 수 있게 됩니다. 결국, 모든 상황에 대해 가장 좋은 행동을 결정할 수 있는 ‘Q-값’을 학습하게 됩니다.
GPT와의 차이
GPT 모델은 텍스트 데이터를 바탕으로 학습된 언어 모델입니다. Q-Learning처럼 강화학습을 사용하는 것은 아니지만, 때때로 강화학습의 개념이 일부 활용되기도 합니다. 예를 들어, RLHF(인간 피드백을 통한 강화학습)로 GPT의 응답 품질을 개선합니다.
결론적으로 Q-Learning과 GPT는 모두 어떤 기준에 따라 학습하지만, Q-Learning은 “상황-행동 관계”를, GPT는 “텍스트 생성”을 목표로 한다는 차이가 있습니다.
2. 귀납과 연역
귀납 (Induction)
귀납은 개별적인 사례나 데이터를 통해 일반적인 규칙이나 패턴을 추론하는 방법입니다. 인공지능에서 귀납은 주로 기계학습에 사용됩니다. 모델이 다양한 데이터를 보고 패턴을 학습하고, 그 패턴을 바탕으로 새로운 데이터를 예측하는 방식입니다. 예를 들어, 고양이와 개의 사진을 학습시켜 그 차이점을 알게 된 AI가, 이후 처음 보는 동물 사진이 개인지 고양이인지 맞추는 것이 귀납적 추론의 예입니다. AI가 실제 환경에서 발생하는 변화를 학습하면서도 새로운 데이터를 다룰 수 있도록 유연성을 제공합니다.
연역 (Deduction)
연역은 일반적인 규칙이나 원리를 이용해 특정 상황에 대한 결론을 내리는 방식입니다. AI에서는 전문 시스템이나 규칙 기반 시스템에서 연역이 사용됩니다. 예를 들어, “모든 포유류는 젖을 먹인다”라는 규칙과 “고양이는 포유류다”라는 조건이 주어졌을 때, “고양이는 젖을 먹인다”라는 결론을 내리는 것이 연역입니다. 연역적 추론은 규칙이 명확하게 정의된 경우에 효과적이지만, 다양한 변수가 있는 복잡한 상황에서는 한계가 있을 수 있습니다.
AI와 귀납/연역의 관계
인공지능 시스템은 주로 귀납적 학습 방식에 의존해 데이터를 통해 패턴을 추론하고 학습합니다. 그러나 전문 시스템처럼 연역적 추론이 필요한 경우에는 명확한 규칙과 원리를 바탕으로 문제를 해결합니다. 최근의 고급 AI 시스템들은 귀납과 연역의 조합을 통해 더 효과적인 학습과 예측을 시도하며, 상황에 따라 두 가지 방식을 균형 있게 활용하고자 합니다.
3. 휴리스틱 탐색
개념
휴리스틱 탐색은 문제를 해결하기 위한 방법 중 하나로, 모든 가능한 경로를 일일이 계산하지 않고 ‘경험적인 규칙’이나 ‘직관’에 따라 가장 유망한 경로를 먼저 탐색하는 방식입니다. 휴리스틱 탐색은 완벽하지는 않지만, 특히 복잡하고 빠른 결정이 필요한 상황에서 효율적으로 활용됩니다. 예를 들어, AI가 미로를 풀 때 모든 길을 다 탐색하지 않고, 사람이 직관적으로 “오른쪽이 유망해 보인다”고 생각하며 길을 찾는 것처럼 특정 기준에 따라 탐색을 진행하는 방식입니다.
AI에서의 사용
AI에서는 주로 A 알고리즘이나 베스트-퍼스트 탐색에서 휴리스틱을 사용합니다. 여기서 휴리스틱 함수는 각 경로의 유망성을 평가하여 최적의 길을 찾는 데 도움을 줍니다. 휴리스틱 탐색 덕분에 AI는 복잡한 문제에서도 상대적으로 빠르고 효율적인 방식으로 답을 찾을 수 있습니다.
4. 인지 아키텍처
개념 인지 아키텍처는 인간의 인지 과정을 모방하여 설계된 AI의 구조입니다. 목표는 인간처럼 사고하고, 학습하며, 문제를 해결할 수 있는 시스템을 만드는 것입니다. 인지 아키텍처는 메모리, 학습, 추론, 인식 등 다양한 기능을 통합하여 AI가 복합적인 인지 작업을 수행할 수 있도록 설계됩니다.
AI에서의 사용 대표적인 인지 아키텍처로는 ACT-R(Adaptive Control of Thought-Rational)과 SOAR 등이 있습니다. 이러한 시스템은 다양한 정보를 종합적으로 처리하며, 학습과 기억을 통해 상황에 맞는 결정을 내립니다. 예를 들어, 인간처럼 과거 경험을 바탕으로 현재 상황에 맞는 판단을 하거나, 새로운 문제를 해결하기 위해 기존 지식을 결합하는 방식으로 활용됩니다.
의의 인지 아키텍처는 단순한 패턴 인식 수준을 넘어서, 인간과 유사한 학습과 추론을 가능하게 합니다. AI가 단순히 정해진 답을 찾는 것을 넘어, 문제 해결 과정에서 스스로 적응하고 학습하는 데 큰 역할을 합니다.