AI가 아직 풀지 못하는 "간단한 퍼즐"의 깊은 이유 - 인간 뇌가 가진 경이로운 힘을 탐구하다 : 인간에게는 "초", AI에게는 "미로"

「인간에게는 몇 초, AI에게는 난제」——ARC가 드러내는 “범용성”의 벽과 다음 승부처

8월 31일(미국 시간)에 Live Science에 게재된 인터뷰 기사는, 최신 거대 AI가 "인간이라면 몇 초 만에 풀 수 있는 퍼즐"에 고전한다는 역설을 다시금 세상에 가시화했습니다. 주제는 AI 연구자 프랑수아 쇼레가 2019년에 설계한 ARC(Abstraction and Reasoning Corpus)입니다. 색이 있는 그리드 위에서 "숨겨진 규칙"을 찾아내고, 보지 못한 판에 적용하는 단순한 과제이지만, 핵심은 적은 예시로부터의 일반화 능력입니다.

ARC는, 화려한 학력 테스트의 높은 점수나 고등 수학의 증명보다도, AI의 "학습 방식"을 파헤칩니다. 이 기사에서는 ARC Prize Foundation의 그레그 캄라트의 설명을 발판으로, 이 "인간은 쉽게, AI는 어려운" 현상의 의미, SNS의 반응, 그리고 다음 전장이 될 **인터랙티브한 "게임형" 평가(ARC-AGI-3)**까지, 한 번에 해석합니다. Live ScienceScientific American

왜 ARC가 AI의 "약점 센서"인가

ARC가 측정하는 것은, 소수 샷에서의 추상화와 전이입니다. 다시 말해, "교과서 밖에서 처음 보는 상황에 직면했을 때, 얼마나 빨리 '규칙'을 추출하고 적용할 수 있는가"입니다. 캄라트는 "AGI란, 학습 효율에서 인간과 동등해지는 것, 혹은 인간이 풀 수 있고 AI가 풀 수 없는 문제가 더 이상 발견되지 않을 때"라고 말합니다. 현재 상황은 그 반대입니다——인간의 평균은 ARC-AGI-2에서 약 66%를 기록하는 반면, AI는 여전히 실수가 두드러집니다. 인간의 샘플 효율이 월등히 높다는 것이 차이를 만드는 근본이라고 합니다. Scientific American

"o3 쇼크"와 "벤치마크의 포화" 논쟁

그렇다고 해도, AI 측의 반격도 빠릅니다. 2024년 말, OpenAI의 o3는 ARC-AGI-1의 세미프라이빗 평가에서 75.7%(규정 계산량) / 87.5%(고계산량)를 기록하며, 세계를 떠들썩하게 했습니다. 여기서 "이제 AGI인가?"라는 과열과, "아니, 고계산 튜닝의 스파이크 성능이다"라는 냉정한 반론이 동시에 분출됩니다. ARC 측의 기술 블로그는 **탐색이 포함된 사고(검색과 샘플링)** 등의 노력이 성공했다고 분석하지만, 동시에 "진정한 일반화"를 측정하는 과제 만들기는 계속 진화해야 한다고 시사합니다. ARC Prize

다음 무대: ARC-AGI-3 = 100개 규모의 신작 비디오 게임

ARC Prize Foundation은, 일문일답의 "무상태" 벤치에서 졸업합니다. 2025년에는, 100개 규모의 2D 픽셀 게임으로, 탐색, 계획, 기억을 요구하는 "환경 내 스킬 획득"을 평가하는 ARC-AGI-3의 프리뷰를 시작합니다. 내부 테스트 단계에서는 "어느 AI도 1면도 클리어하지 못했다"라는 엄격한 보고가 나와 있으며, 단기 기억이나 목표 추정 등 에이전트 능력의 본격 측정으로 방향을 잡았습니다. 7-8월에는 Hugging Face와 연계한 30일간의 프리뷰 경기도 실시되었으며, 결과 요약도 공개되었습니다. Live ScienceARC Prize

SNS의 반응에서 보인 "세 가지 온도대"

1) 회의파: "그거, AI가 아니라 LLM이지"

Reddit의 r/technology에서는, "‘AI’라는 명칭이 기대치를 왜곡한다. LLM이나 추론 모델이라고 불러야 한다"는 목소리가 대량으로 모였습니다. 그 중에는 "통계적 예측 기계에 불과하다"고 단정하는 댓글도. 용어에 대한 불만은, "AGI 도래"라는 마케팅에 대한 반발과 표리입니다. Reddit

2) 생활자의 피로감: "빨래는 누가 개지?"

같은 스레드에서는, "AI가 가사를 줄여주지 않는다", "예술을 대량 생산해 취미를 침식할 뿐"이라는 "생활자 시점의 불만"도 두드러졌습니다. 연구 벤치의 열광과, 일상 과제의 미해결감의 격차가 드러났습니다. Reddit

3) 기술파: 벤치 설계와 점수 해석을 둘러싼 정정당당한 논쟁

Hacker News에서는 "ARC-AGI-2는 인간 패널 평균이 60%대", "‘100%’는 ‘모든 문제가 누군가에 의해 풀렸다’는 의미" 등, 평가 설계의 해석이 논의되었습니다. o3의 높은 점수에 대해서도 "고계산 조건에 의한 것", "범용화보다는 탐색 강화의 승리"라는 분석이 공유되었습니다. Hacker NewsarXiv

또한 X(구 Twitter)에서는, 테크계 인플루언서가 Live Science 기사를 소개하면서, **"인간에게는 쉽고 AI에게는 어려운"**이라는 꼬임을 가시화했습니다. ARC 공식 계정은 o3의 점수 달성을 알리면서, 신세대 벤치로 시선을 옮깁니다. X (formerly Twitter)

무엇이 "몇 초 만에 풀 수 있는 힘"을 만드는가: 인간의 세 가지 이점

1. 신체화된 직관
   인간은 유아기부터, 물건의 "묶음"이나 "구멍", "회전 대칭" 등을, 신체 경험을 통해 자연스럽게 습득합니다. ARC와 같은 그리드 과제는, 이 소박한 물리와 게슈탈트의 연장선에서 처리됩니다.

2. 극단적인 샘플 효율
   몇 개의 예시로부터, 가능한 규칙을 순간적으로 가설 생성 및 제거할 수 있습니다. 반면 심층 학습은, 사전 분포로부터의 외삽에 약합니다.

3. 메타 학습으로서의 어용론
   인간은 문제 문장이나 제시 방식에서 "출제자의 의도"를 읽습니다. 이는, 형식적 규칙 밖에 있는 메타 단서입니다.

캄라트가 강조하듯이, 현재의 AI는 **"스파이크적으로 똑똑하지만, 면에서는 빈약하다"**. 폭넓은 미지 상황에서의 "학습 방식"이야말로 약점입니다. Scientific American

앞으로의 승부처: 정지화→행동, 문자→환경

정지된 입력과 출력을 채우는 것에서, 환경 내에서의 탐색, 계획, 기억으로. ARC-AGI-3가 비디오 게임이라는 형태를 취하는 것은, 벤치마크의 "무상태성" 한계를 넘기 위해서입니다. 연구의 문맥에서는, 에이전트 평가는 안전성과도 직결됩니다.

계획이나 자기 점검을 측정할 수 없는 모델은, 착각의 폭주(환각의 강화)를 일으키기 쉽기 때문입니다. Live Science/Scientific American이 제시하는 방향은, 이른바 벤치의 세대 교체 선언이기도 합니다. Live ScienceScientific American

"지금 할 수 있는 것"과 "아직 할 수 없는 것"을 언어화하기

• 현실: o3 이후의 "추론 강화형"은, 일정한 신규 과제 적응을 보여주었습니다. 그러나, 그것은 무거운 탐색과 비용에 의해 지탱된 피크한 능력으로, 인간의 고속 일반화와는 이질적입니다.  ARC PrizearXiv##HTML