2025.07.19 - [AI] - Chatgpt(실험모델) 2025년 IMO(국제수학올림피아드) 금메달 획득
위 글에서 이어집니다.
gpt의 기술담당자의 트윗에 따르면, gpt의 실험모델이 IMO를 푸는 과정에서 스스로 잘못된 결론에 이르렀음을 인지(메타인지)했다고 하였습니다.
일단 AI모델, 특히 LLM(언어기반모델)은 어떻게든 응답을 하려는 경향이 있고, 답을 내지 못했더라도 마치 그것이 정답인것 마냥 이야기 하곤 합니다. 아마 여러분들도 gpt나 그 외 인공지능을 쓰면서 이러한 경우를 많이 겪으셨을겁니다. 환각(hallucination)이라고도 합니다. 심지어 그와 관련된 수학적 증명도 있을 정도입니다.
https://arxiv.org/abs/2408.02357
On the consistent reasoning paradox of intelligence and optimal trust in AI: The power of 'I don't know'
We introduce the Consistent Reasoning Paradox (CRP). Consistent reasoning, which lies at the core of human intelligence, is the ability to handle tasks that are equivalent, yet described by different sentences ('Tell me the time!' and 'What is the time?').
arxiv.org
위 논문은 LLM이 잘못된 정보를 제공할 수 밖에 없다는 수학적 증명을 다루고 있습니다
그런 와중에, gpt실험모델이 IMO의 6번문제를 해결하지 못했다고 스스로 인식했다고 하니 대단한 일이 아닐 수 없습니다. 왜냐하면, AI모델은 어렵고 난해한 문제일수록 어떻게든 대답을 하려고(잘못된 답이라도) 더 강하게 집착하기 때문입니다.
메타인지가 발현되었다는 것은, AI가 스스로 오류를 교정할 수 있다는 것이고 이는 곧 AI의 정확도로 이어집니다. 물론 단순한 트윗하나뿐이라 속단하기는 이르지만, 실마리를 잡았다는 점에서 큰 의의가 있다고 할 수 있습니다.
'AI' 카테고리의 다른 글
| qwen과 gemini중 어느 쪽의 딥리서치가 더 좋을까? (0) | 2025.07.23 |
|---|---|
| AI로 공문서 쓰는 요령 (0) | 2025.07.22 |
| Google Deep Mind의 IMO 금메달 (2) | 2025.07.22 |
| 가장 자연스러운 영상 제작 AI - VEO3 (0) | 2025.07.20 |
| 테렌스 타오의 chatgpt 2025 IMO 금메달 후기 (4) | 2025.07.20 |