AI의 한계를 드러내는 프랙탈 패턴의 비밀: 예측 불가능성에 다가서는 새로운 발견

같은 교재를 사용하고, 같은 순서로, 같은 방법으로 가르친다. 그렇다고 해서 만들어진 AI가 완전히 같은 행동을 할 것이라고는 할 수 없다.

인간의 학습이라면 이상하지 않을지도 모른다. 하지만, 계산의 절차가 정해져 있는 컴퓨터에서 출발점의 아주 작은 차이가 최종 결과를 좌우한다면 어떨까.

시드니 대학교의 연구팀이 이 문제를 이해하기 위한 새로운 실마리를 제시했다. 열쇠가 되는 것은 확대해도 복잡한 무늬가 계속 나타나는 "프랙탈"이다.

2026년 11월 5일자 Phys.org가 소개한 연구에 따르면, AI의 학습 결과가 다양하게 나타나는 이유는 하드웨어의 차이나 외부에서 들어오는 난수만으로 설명할 수 없다. 신경망의 학습 방식 자체에 결과의 예측을 어렵게 하는 수학적 구조가 숨어 있을 가능성이 있다.

컴퓨터의 결함만이 원인은 아니었다

연구를 수행한 것은 시드니 대학교 물리학부의 Pulin Gong 교수와 박사 과정의 Andrew Ly 씨이다. 성과는 학술지 "Nature Machine Intelligence"에 게재되었다.

신경망은 내부에 있는 다수의 수치, 즉 파라미터를 조정하면서 학습한다. 이미지를 구분하는 경우라면, 예측과 정답의 차이를 단서로 수치를 조금씩 갱신하여 더 나은 판단을 할 수 있는 상태를 목표로 한다.

이 학습에서는 데이터를 제시하는 순서나 계산상의 작은 차이가 결과에 영향을 미친다. 따라서 결과가 일치하지 않으면, 먼저 난수나 계산 환경을 확인하는 것이 자연스럽다.

이번 연구가 다룬 것은 그 이후의 문제였다.

데이터도 학습 절차도 갖추고, 같은 입력과 상태에서 같은 계산 결과를 얻을 수 있는 "결정론적" 환경을 사용한다. 그래도, 초기 파라미터를 조금만 변경해도 학습이 다른 도달점으로 진행될 수 있다고 한다.

여기서 "완전히 같은 조건"과 "거의 같은 조건"을 구별할 필요가 있다.

이 연구는 완전히 같은 초기 상태와 결정론적 절차에서도 이유 없이 결과가 변한다고 주장하는 것이 아니다. 문제는 출발점에 남은 미세한 차이를 줄여도 결과의 차이가 기대만큼 줄어들지 않는 데 있다.

AI의 학습을 "색칠된 지도"로 생각하기

연구를 이해하기 위해 AI의 학습을 한 장의 지도로 바꾸어 보면 이해하기 쉽다.

지도상의 한 점 한 점이 학습을 시작할 때의 파라미터의 조합을 나타낸다고 하자. 거기서 학습을 진행하여 어떤 결과에 도달한 장소를 파란색, 다른 결과에 도달한 장소를 주황색으로 칠한다.

같은 결과로 이어지는 출발점의 집합은 수학에서는 "흡인역"이라고 불린다.

파란 영역과 주황 영역이 깔끔하게 나뉘어 있다면, 이야기는 비교적 간단하다. 경계에서 충분히 떨어진 파란 장소에 출발점을 두면, 작게 어긋나도 파란 결과에 도달할 것으로 기대할 수 있다.

그러나 연구팀이 주목한 것은 파란 영역 안에 주황 점이 들어가고, 주황 영역 안에도 파란 점이 들어가는 구조였다.

크게 보면 같은 색으로 보이는 장소도 확대하면 다른 색이 나타난다. 더 확대해도 다른 도달점으로 이어지는 점이 복잡하게 얽혀 있다.

이러한 구조가 "riddled basins"이라고 불리는 것이다. 일본어로 이미지를 전달하자면, 다른 결과로 향하는 구멍이 곳곳에 들어간 흡인역이라고 할 수 있다.

출발점을 자세히 조사하면 안심할 수 있을 것 같지만, 그 이후에도 세밀한 혼합이 있다. 여기에 학습 결과를 예측하기 어려운 이유가 있다.

"100억 배 정밀하게 해도 개선되지 않는다"의 의미

연구팀은 이미지 인식이나 텍스트 처리 등에 사용하는 네트워크를 포함하여 약 50만 건의 학습을 조사했다.

소개 기사에 따르면, 어느 비교적 큰 이미지 인식 네트워크에서는 출발점의 설정을 100억 배 정밀하게 해도 재현성에 측정 가능한 개선이 보이지 않았다.

보통은 오차를 줄이면 결과도 안정된다고 생각하고 싶어진다. 위치를 정확히 측정하면 목적지에 가기 쉬워지고, 재료를 정확히 측정하면 같은 요리를 재현하기 쉬워지기 때문이다.

그러나 목적지가 다른 출발점이 매우 세밀한 스케일까지 얽혀 있다면, 초기값의 차이를 줄이는 것만으로는 결과가 일치한다고는 할 수 없다.

다만, 이 "100억 배"는 계산기를 100억 배 고성능으로 했다는 의미는 아니다. 또한, 학습 데이터를 100억 배 늘린 실험도 아니다.

대상으로 하고 있는 것은 학습을 시작하는 설정의 정밀함이다. 이 결과로 곧바로 "AI에 계산 자원을 추가해도 무의미하다"고 결론지을 수는 없다.

"약 48%"는 AI의 오답률이 아니다

또 하나, 눈에 띄는 숫자가 있다.

소개 기사에서는 그 네트워크의 초기 설정에 1비트 상당의 아주 작은 변경을 가하면, 약 48%의 케이스에서 다른 내부 구성으로 학습이 진행되었다고 설명하고 있다.

이 숫자는 강렬하지만, 잘못 읽어서는 안 된다.

"AI가 약 48%의 확률로 틀린다"는 의미가 아니라, "답변의 약 48%가 변한다"는 의미도 아니다. 미세한 변경을 가한 학습의 조합이 다른 내부의 도달점으로 진행된 비율을 가리키고 있다.

내부의 수치가 다른 것과 사용자가 받는 답변이 다른 것도 동일하지 않다. 다른 파라미터의 조합으로도 같은 입출력 관계를 실현할 수 있는 경우가 있기 때문이다.

따라서 연구에서는 내부 구성뿐만 아니라 학습 후의 예측의 차이도 별도로 검토하고 있다. 공개 프리프린트의 대표적인 실험에서는 두 모델의 예측이 엇갈리는 입력의 비율이 평균 약 2.9%로 유지되었다. 이것도 특정 실험 조건의 수치이며, 모든 AI에 해당하는 비율은 아니다.

중요한 것은 눈에 띄는 숫자를 하나 꺼내는 것이 아니라, 무엇을 비교하고 무엇이 달랐는지를 확인하는 것이다.

학습 용이성과 재현 용이성은 양립할 수 있는가

연구에서는 성능과 재현성 사이에 있는 어려움도 나타났다.

학습 시에 파라미터를 얼마나 크게 갱신할지를 결정하는 설정을 "학습률"이라고 한다. 대략적으로는 한 번의 수정에서 얼마나 크게 나아갈지를 결정하는 것이다.

보고된 실험에서는 잘 학습할 수 있는 설정에서 결과의 예측이나 재현이 어려워지는 한편, 학습률을 낮추면 재현하기 쉬워져도 학습의 유효성이 저하되는 관계가 보였다.

이를 "고성능 AI는 반드시 불안정하다"라고 일반화하는 것은 이르다. 그러나 수치의 변동을 줄이는 것만을 목표로 설정을 변경하면 다른 바람직한 성질을 잃을 가능성이 있다.

개발자에게 필요한 것은 단순히 "학습률을 낮추면 해결된다"고 생각하는 것이 아니다. 어느 정도의 성능이 필요하며, 무엇을 어디까지 재현하고 싶은지를 용도에 맞게 정하는 것이다.

SNS와 독자 댓글에서는 "정밀하게 하면 해결되는가"가 초점에

이 연구에 대해 확인할 수 있었던 SNS 상의 발신에서는, Phys.org의 공식 LinkedIn 게시물이 초기 설정을 100억 배 정밀하게 해도 재현성이 개선되지 않았다는 점을 다루고 있다.

게시물의 주안점은 수치의 정밀함을 높이는 것만으로는 학습 결과가 일치한다고 할 수 없으며, 외부의 무작위성과는 별도로 학습의 수학적 구조를 고려할 필요가 있다는 점이다.

다만, 이것은 보도 기관 자체에 의한 연구 소개이며, 일반 사용자의 반응과는 구별해 두고 싶다.

SNS와는 별도로, 뉴스 공유 사이트 "Cuppa"의 공개 검색 결과에는 독자 댓글도 확인할 수 있었다. 그 독자는 정밀함을 대폭 높여도 개선이 보이지 않았다는 점에 놀라움을 나타내며, 계산 능력이나 하드웨어의 향상만으로 문제가 해결되는지 의문을 제기했다.

이는 연구가 독자에게 어떻게 받아들여지는지를 보여주는 한 예이다. 한편으로 "계산 능력을 늘려도 해결되지 않는다"는 해석은 실험에서 직접 확인된 범위보다 넓다. 초기값의 정밀함과 계산 자원 전반의 효과를 함께 다루는 것은 불가능하다.

2026년 11월 6일 시점에서 이번에 확인할 수 있었던 공개 정보로부터는 일반 사용자의 다수의 SNS 게시물이나 찬반의 분포까지는 파악할 수 없었다. "SNS에서 놀라움의 목소리가 쇄도"라고 표현할 만한 근거는 없다.

그럼에도 불구하고, 확인할 수 있었던 발신과 댓글은 하나의 명확한 질문을 제시하고 있다. AI는 더 세밀하고 더 정확하게 계산하면 반드시 동일하게 성장하는가. 이번 연구는 그 직관에 재고를 촉구하고 있다.

일본에서 AI를 도입하는 현장에는 무엇이 관련되는가

이 연구에서 일본의 도입 현장에 대한 시사를 생각한다면, 주목하고 싶은 것은 "한 번 잘 작동했다"는 것과 "다시 만들어도 안정적으로 작동한다"는 것의 차이다.

예를 들어, 공장에서 제품의 결함을 찾는 AI를 상상해 보자.

두 모델의 전체적인 정답률이 비슷해도, 어느 제품을 놓치는지까지 같다고는 할 수 없다. 평균 점수만 비교하면 현장에서 중요한 차이가 보이지 않을 가능성이 있다.

이는 이번 연구가 일본의 공장에서 실증한 결과가 아니라, 연구의 문제 의식을 실무에 대입한 예이다.

그 위에서 개발이나 평가에서는 다음과 같은 시점이 고려될 수 있다.

• 한 번의 학습으로 얻어진 최고 성적뿐만 아니라, 여러 번의 학습 결과의 변동도 확인한다.
• 정답률뿐만 아니라, 어느 입력에서 판단이 변하는지를 조사한다.
• 재학습 후의 모델이 중요한 사례에서 이전과 다른 판단을 하지 않는지 확인한다.
• 초기값이나 설정, 계산 환경을 기록하여 결과를 비교할 수 있도록 한다.

연구가 시사하는 수학적 어려움이 있어도 기록이나 검증의 가치가 없어지는 것은 아니다. 오히려 제어할 수 있는 조건을 갖춘 후에 남는 변동을 측정하는 것이 중요해진다.

챗봇 AI의 "매번 답이 다른" 것과는 구분해서 생각하기

가까운 생성 AI에서는 같은 질문을 해도 답이 바뀌는 경우가 있다. 그 경험과 이번 연구를 연결하고 싶어질지도 모른다.

하지만 이번 주제는 모델을 만드는 "학습 단계"에서 초기 조건의 차이가 어떻게 영향을 미치는가이다.

학습된 모델에서 문장을 생성할 때의 변동과는 다루고 있는 단계가 다르다. 따라서 이 논문만으로 챗봇 AI의 응답 변화나 사실 오인을 모두 설명할 수 있는 것은 아니다.

또한, "모든 신경망에 대해 재현성이 수학적으로 불가능하다고 증명되었다"고 읽는 것도 지나치다.

연구는 단순화된 모델로 구조를 분석하고, 더 복잡한 네트워크에서도 그 구조와 일치하는 특징을 조사하고 있다. 복잡한 모델에서 얻어진 증거와 모든 AI에 대한 일반적인 증명은 구별할 필요가 있다.

이번 발견의 가치는 AI 전체에 "예측 불가능"이라는 꼬리표를 붙이는 것이 아니다. 어떤 조건에서, 어떤 종류의 재현성이 손상되는지를 수학과 실험으로 조사하는 길을 제시한 데 있다.

신뢰할 수 있는 AI에는 "정답률의 그 이상"의 평가가 필요하다

AI의 평가에서는 높은 정답률이나 눈에 띄는 벤치마크 결과에 눈이 가기 쉽다.

하지만 실제로 오랫동안 사용하는 시스템에서는 데이터를 갱신하여 재학습할 때, 설정을 조정할 때, 다른 환경에서 다시 만들 때에도 필요한 품질을 유지할 수 있는지가 문제된다.

이번 연구는 그 어려움의 일부가 단순한 설정 오류나 기계의 버릇이 아니라 학습의 구조에 기인할 가능성을 시사하고 있다.

연구자들은 감도를 측정하는 방법이나 불안정성을 유발하는 조건을 줄이는 네트워크 설계 등, 향후 개선으로 이어