"사고하는 AI"의 환상 ─ AI는 어디에서 막히는가? Apple 논문과 CNBC 보도가 찌른 핵심

1. 소개: 열광의 이면에 커지는 위화감

생성 AI 붐 제2막을 알리는 키워드는 "레조닝(Reasoning)"이었다. ChatGPT와 Google Gemini가 "생각을 소리 내어 말하는" 듯한 〈Chain-of-Thought〉를 도입하면서, 제품 출시의 무대 뒤에서는 "이번에는 인간적 사고에 더 가까워졌다"는 찬사가 쏟아졌다. 그러나 6월 26일, CNBC가 던진 한 가지 의문이 축제 분위기에 찬물을 끼얹었다. ――"사고를 보여주는 모델은 정말로 똑똑해졌는가?" 이 질문이 폭풍을 불러일으키기까지는 시간이 거의 걸리지 않았다.

2. CNBC 기사 골격: 정확도 붕괴의 임계점

CNBC의 디지털판과 TV 프로그램 TechCheck에 따르면, 여러 독립 연구에서 "모델이 단계적 추론을 수행할수록, 특정 복잡도를 초과하는 순간 정답률이 급락하는" 현상이 재현되었다고 한다. 그 상징이 Apple의 논문 The Illusion of Thinking이다. 연구팀은 20개 이상의 최첨단 LLM을 수학, 프로그래밍, 미지 개념의 3개 영역에서 비교하고, 사고 추적을 생성하는 모델일수록 “critical complexity”를 경계로 성능이 수직 하락하는 그래프를 제시했다. 모델은 장대한 추론을 내놓으면서도, 최종 답변은 잘못된 "생각하고 틀리는" 실수를 저지른다.theverge.com

CNBC는 이 행동을 “accuracy collapse”라고 명명했다. 투자자들이 "비용이 많이 드는 추론 모델을 도입할 가치가 있는가"라는 의문을 제기하기 시작했다고 보도했다.

3. Reasoning 모델이란 무엇인가――편리한“긴 독백”

LLM의 표준 모드가 "다음 토큰 예측"인 반면, 레조닝 모델은 "생각을 단계별로 표시"하는 것이 장점이다. 계산식을 나열하고, 함수를 호출하며, 지식을 열거하는――그 과정이 인간이 읽을 수 있는 형태로 남기 때문에 디버깅 가능성과 설명 책임이 향상된다고 평가되어 왔다. 그러나 Apple 논문은 "보이는 것은 생각이 아니라 “자기 연상 게임”의 흔적에 불과하다"라고 단언한다. 겉보기에는 논리적이더라도, 복잡성이 임계값을 초과하면 모델은 갑자기 사고를 줄이고, “I don’t know”와 동의어인 단축 출력을 하는 경우도 있었다고 한다.itpro.com

4. 반론의 폭풍: Anthropic과 Meta의 반격

Apple의 도발적인 결론에 대해, Anthropic은 즉시 "벤치마크가 잘못되었다"고 반박하며, Open Philanthropy와 공동으로 재검증을 수행했다. 결과는 "포맷 지정이나 타임아웃이 원인으로 실점을 했을 뿐"이라고 주장하며, **"사고 모델은 건재하다"**고 강조했다. Meta도 Safe Superintelligence의 인수 실패가 보도되는 가운데, 자사 개발 모델 Behemoth의 지연을 "정확도 조정을 위해"라고 설명하면서 "장기적으로는 사고형이 필수적"이라고 CNBC의 추가 인터뷰에서 언급했다.rcrwireless.com

5. SNS의 반응: #ReasoningGate라는 논란극

X(구 Twitter)에서는 기사 공개 후 24시간 만에 〈#ReasoningGate〉가 트렌드에 올랐다. "모델은 “Thinking Out Loud”가 아니라 “Guessing Out Loud”다", "AI의 독백에 속았던 것인가" 등 풍자가 이어졌다. 특히 벤처 캐피탈리스트 @AIThesis는 "투명성이 높다고 해서 반드시 옳은 것은 아니다. 투자는 내용을 파악하라"고 포스트하여 2.3만 좋아요를 얻었다. 매체 공식 계정 @CNBC도 "Why ‘thinking’ models may not actually be smarter"라는 제목으로 짧은 영상을 게시하여, 조회수는 14.5만 회를 돌파했다.

한편 Reddit /r/ArtificialIntelligence에서는 〈Are current AI models really reasoning, or just predicting the next token?〉이라는 스레드가 다시 떠올라, "결국 오토컴플리트를 길게 만든 것일 뿐이다" vs. "연상도 충분히 사고의 한 형태다"의 대격론이 벌어졌다. 스레드는 48시간 만에 1,200개 이상의 댓글을 기록하고 있다.reddit.com

6. 기술적 논점: 오버싱킹과 크리티컬 컴플렉시티

IEEE Spectrum의 분석에서는 "레조닝 모델은 “깊이 생각할수록” 성공률이 떨어진다"라고 보고되고 있다. 사고 단계를 늘리는 행위가 반드시 정확도 향상으로 이어지지 않으며, 오히려 "오버싱킹 페널티"를 초래한다고 한다. 더 나아가 NUS와 Johns Hopkins의 연구는 "인간의 워킹 메모리적 기구가 결여되어 있어, 중간 경로를 유지하지 못하고 자기 모순에 이른다"고 지적한다.spectrum.ieee.orgarxiv.org

7. 업계 영향: 자금과 로드맵의 재편

투자자 측에서는, 추론 체인을 계산하는 추가 비용이 "토큰 단가 +30~50%"에 해당하여, 가격 우위성이 흔들린다는 추산이 공유되었다. 일부 VC는 "모델 수를 무작정 늘리기보다, 기존 LLM을 API 레벨에서 모듈러 연결하는 것이 리스크에 강하다"며 포트폴리오를 재구성하기 시작했다. DeepSeek과 같은 저렴하고 고효율 모델이 평가를 높이고, Google과 Nvidia의 초거액 GPU 투자가 다시 의문시되는 상황이다.reuters.com

8. 대체 노선: 하이브리드형과 뉴럴 심볼릭

과제 해결의 열쇠로 떠오른 것이 뉴럴 심볼릭 AI와 모듈러 에이전트이다. 이는 "기호적 규칙"과 "심층 학습"의 장점을 결합하여, “생각하는” 파트를 명확히 분리하는 방법이다. Gary Marcus 등이 제안하는 이 접근법은 "인과 추론을 회로 레벨에서 보장할 수 있다"고 하며, ReasoningGate 이후 스타트업 자금 유입이 급증했다.en.wikipedia.org

9. 무엇이 "사고"인가――철학적 관점

John Mark Bishop은 이미 2020년에 "AI is stupid and causal reasoning won’t fix it"라는 제목의 논문에서 "계산은 이해가 아니다"라고 단언했다. 이번 소동은 그 경구를 2025년판으로 업데이트한 격이다. 인간이 행하는 “의미 이해”와 LLM이 행하는 “통계적 연상”의 격차는 여전히 메워지지 않았다.arxiv.org

10. 향후 전망: 투명성 vs. 타당성의 이항 대립을 넘어서

단기적으로는 (1) 벤치마크의 재설계, (2) 사고 추적의 자동 검증 도구, (3) 하드웨어 효율화가 시급하다. 한편, 장기적 비전으로는 "AI의 워킹 메모리 내장", "인과 모델링의 네이티브 구현", "다중 에이전트 협조에서의 오류 수정" 등, 설계 철학 자체가 재고될 것이다.