Les secrets des motifs fractals révélant les limites de l'IA : une nouvelle découverte sur l'imprévisibilité

En utilisant le même matériel pédagogique, dans le même ordre et de la même manière. Pourtant, il n'est pas garanti que l'IA résultante se comporte exactement de la même manière.

Cela pourrait ne pas sembler étrange dans l'apprentissage humain. Mais que se passe-t-il si une différence minime dans le point de départ influence le résultat final dans un ordinateur où les étapes de calcul sont fixées ?

Une équipe de recherche de l'Université de Sydney a fourni de nouveaux indices pour comprendre ce problème. La clé réside dans les "fractales", des motifs complexes qui continuent à apparaître même lorsqu'ils sont agrandis.

Selon une étude présentée par Phys.org le 5 novembre 2026, la variabilité des résultats d'apprentissage de l'IA ne peut être entièrement expliquée par les différences de matériel ou les nombres aléatoires externes. Il est possible qu'une structure mathématique dans la manière dont les réseaux neuronaux apprennent rende difficile la prédiction des résultats.

Ce n'était pas seulement dû à des dysfonctionnements informatiques

L'étude a été menée par le professeur Pulin Gong et le doctorant Andrew Ly du département de physique de l'Université de Sydney. Les résultats ont été publiés dans la revue "Nature Machine Intelligence".

Les réseaux neuronaux apprennent en ajustant de nombreux paramètres internes. Par exemple, pour distinguer des images, ils mettent à jour progressivement les valeurs en fonction de l'écart entre la prédiction et la réponse correcte, visant à améliorer la précision.

Dans cet apprentissage, l'ordre de présentation des données et de petites différences de calcul peuvent influencer les résultats. Par conséquent, si les résultats ne correspondent pas, il est naturel de vérifier d'abord les nombres aléatoires ou l'environnement de calcul.

Cette étude a exploré le problème au-delà de cela.

Dans un environnement "déterministe" où les données et les procédures d'apprentissage sont alignées, et où les mêmes entrées et états produisent les mêmes résultats, même un léger changement dans les paramètres initiaux peut mener l'apprentissage à une destination différente.

Il est nécessaire de distinguer entre "conditions complètement identiques" et "conditions presque identiques".

Cette recherche ne prétend pas que les résultats changent sans raison dans des conditions initiales identiques et des procédures déterministes. Le problème réside dans le fait que, même en réduisant les différences minimes au point de départ, les différences de résultats ne diminuent pas comme prévu.

Considérer l'apprentissage de l'IA comme une "carte colorée"

Pour comprendre cette recherche, il est utile de remplacer l'apprentissage de l'IA par une carte.

Supposons que chaque point sur la carte représente une combinaison de paramètres au début de l'apprentissage. Les endroits où l'apprentissage mène à un certain résultat sont colorés en bleu, et ceux menant à un autre résultat sont colorés en orange.

En mathématiques, un ensemble de points de départ menant au même résultat est appelé "bassin d'attraction".

Si les zones bleues et oranges sont bien séparées, la situation est relativement simple. En plaçant le point de départ loin de la frontière bleue, même un léger décalage devrait toujours mener au résultat bleu.

Cependant, l'équipe de recherche s'est concentrée sur une structure où des points oranges s'infiltrent dans la zone bleue et vice versa.

Même dans des zones qui semblent de la même couleur à grande échelle, une autre couleur apparaît lorsqu'on zoome. En zoomant davantage, des points menant à des destinations différentes s'entremêlent de manière complexe.

Ces structures sont appelées "riddled basins". En japonais, on pourrait les imaginer comme des bassins d'attraction avec des trous menant à d'autres résultats partout.

Même en examinant en détail le point de départ, il reste un mélange subtil au-delà. C'est là que réside la raison pour laquelle il est difficile de prédire les résultats d'apprentissage.

Ce que signifie "ne pas s'améliorer même avec une précision 10 milliards de fois plus grande"

L'équipe de recherche a examiné environ 500 000 apprentissages, y compris des réseaux utilisés pour la reconnaissance d'images et le traitement de texte.

Selon l'article, dans un réseau de reconnaissance d'images relativement grand, même en réglant le point de départ avec une précision 10 milliards de fois plus grande, aucune amélioration mesurable de la reproductibilité n'a été observée.

Normalement, on pourrait penser que réduire l'erreur stabiliserait les résultats. Mesurer précisément la position facilite l'atteinte de la destination, et mesurer précisément les ingrédients facilite la reproduction d'un plat.

Cependant, si les points de départ menant à des destinations différentes s'entremêlent à une échelle très fine, réduire simplement la différence initiale ne garantit pas des résultats identiques.

Cependant, ce "10 milliards de fois" ne signifie pas que l'ordinateur a été rendu 10 milliards de fois plus performant. Ce n'est pas non plus une expérience où les données d'apprentissage ont été multipliées par 10 milliards.

Ce qui est concerné, c'est la précision des réglages au début de l'apprentissage. On ne peut pas conclure immédiatement que "ajouter des ressources de calcul à l'IA est inutile" à partir de ce résultat.

"Environ 48%" ne signifie pas le taux d'erreur de l'IA

Il y a un autre chiffre frappant.

L'article explique que dans le réseau, un très petit changement équivalent à 1 bit dans les paramètres initiaux a conduit à un apprentissage vers une structure interne différente dans environ 48 % des cas.

Ce chiffre est frappant, mais il ne faut pas le mal interpréter.

Cela ne signifie pas que "l'IA se trompe avec une probabilité d'environ 48 %" ni que "environ 48 % des réponses changent". Cela se réfère au pourcentage d'apprentissages avec une modification minime qui ont conduit à une destination interne différente.

Une différence dans les valeurs internes ne signifie pas nécessairement une différence dans les réponses reçues par l'utilisateur. Différentes combinaisons de paramètres peuvent parfois réaliser la même relation entrée-sortie.

Par conséquent, l'étude examine non seulement la structure interne, mais aussi les différences de prédiction après l'apprentissage. Dans une expérience représentative du préprint publié, le pourcentage d'entrées où les prédictions de deux modèles divergeaient est resté stable à environ 2,9 % en moyenne. Ce chiffre est spécifique à certaines conditions expérimentales et ne s'applique pas à toutes les IA.

L'important n'est pas de se focaliser sur un chiffre frappant, mais de vérifier ce qui a été comparé et ce qui a différé.

Est-il possible de concilier facilité d'apprentissage et reproductibilité ?

L'étude a également mis en évidence la difficulté entre performance et reproductibilité.

Le réglage qui détermine l'ampleur des mises à jour des paramètres pendant l'apprentissage est appelé "taux d'apprentissage". En gros, il détermine l'ampleur de chaque correction.

Dans les expériences rapportées, il a été observé que des réglages permettant un bon apprentissage rendaient la prédiction et la reproductibilité des résultats difficiles, tandis que réduire le taux d'apprentissage facilitait la reproductibilité mais diminuait l'efficacité de l'apprentissage.

Il est prématuré de généraliser que "les IA performantes sont nécessairement instables". Cependant, changer les réglages uniquement pour réduire la variabilité des chiffres peut entraîner la perte d'autres propriétés souhaitables.

Pour les développeurs, il est nécessaire de ne pas simplement penser que "réduire le taux d'apprentissage résoudra le problème". Il s'agit de déterminer, en fonction de l'application, le niveau de performance requis et ce qui doit être reproduit.

Sur les réseaux sociaux et dans les commentaires des lecteurs, la question est de savoir si "une précision accrue résoudra le problème"

Dans les messages sur les réseaux sociaux concernant cette étude, le post officiel de Phys.org sur LinkedIn a souligné que la reproductibilité ne s'était pas améliorée même avec une précision 10 milliards de fois plus grande dans les réglages initiaux.

Le message met l'accent sur le fait que simplement augmenter la précision des chiffres ne garantit pas des résultats d'apprentissage cohérents, et qu'il est nécessaire de considérer la structure mathématique de l'apprentissage indépendamment de l'aléatoire externe.

Cependant, il s'agit d'une présentation de l'étude par le média lui-même, distincte des réactions des utilisateurs ordinaires.

En dehors des réseaux sociaux, les résultats de recherche publique sur le site de partage de nouvelles "Cuppa" ont également révélé des commentaires de lecteurs. Ces lecteurs ont exprimé leur surprise face au manque d'amélioration malgré une précision accrue, et ont remis en question si l'amélioration des capacités de calcul ou du matériel résoudrait le problème.

Ceci est un exemple de la façon dont l'étude est perçue par les lecteurs. Cependant, l'interprétation que "l'augmentation des capacités de calcul ne résoudra pas le problème" va au-delà de la portée directement confirmée par les expériences. On ne peut pas traiter la précision des valeurs initiales et l'effet global des ressources de calcul de la même manière.

Au 6 novembre 2026, les informations publiques disponibles ne permettaient pas de déterminer de nombreux messages sur les réseaux sociaux par des utilisateurs ordinaires, ni la répartition des opinions pour et contre. Il n'y a pas de preuve suffisante pour dire que "les réseaux sociaux sont inondés de réactions surprises".

Néanmoins, les messages et commentaires confirmés soulèvent une question simple et compréhensible : une IA se développera-t-elle toujours de la même manière si elle est calculée de manière plus fine et plus précise ? Cette étude invite à reconsidérer cette intuition.

Qu'est-ce qui est pertinent pour les sites d'implémentation d'IA au Japon ?

En réfléchissant aux implications de cette étude pour les sites d'implémentation au Japon, il est important de noter la différence entre "fonctionner bien une fois" et "fonctionner de manière stable même après reconstruction".

Par exemple, imaginez une IA détectant les défauts des produits dans une usine.

Même si deux modèles ont des taux de précision globaux similaires, cela ne signifie pas nécessairement qu'ils manqueront les mêmes produits. Comparer uniquement les scores moyens peut masquer des différences importantes sur le terrain.

Ce n'est pas un résultat démontré par cette étude dans une usine japonaise, mais un exemple de transposition de la problématique de la recherche en pratique.

Dans ce contexte, les perspectives suivantes peuvent être envisagées pour le développement et l'évaluation.

• Vérifier non seulement la meilleure performance obtenue en un seul apprentissage, mais aussi la variabilité des résultats de plusieurs apprentissages.
• Examiner non seulement le taux de précision, mais aussi les entrées pour lesquelles les jugements changent.
• S'assurer que le modèle après réapprentissage ne fait pas de jugements différents sur des cas importants par rapport à avant.
• Enregistrer les valeurs initiales, les réglages et l'environnement de calcul pour permettre une comparaison des résultats.

Même avec les difficultés mathématiques suggérées par la recherche, la valeur de l'enregistrement et de la vérification ne disparaît pas. Au contraire, il devient crucial de mesurer les variations restantes après avoir aligné les conditions contrôlables.

Il faut distinguer "chaque réponse est différente" des IA de chat

Dans les IA génératives courantes, il peut arriver que la réponse change même si la même question est posée. On pourrait être tenté de relier cette expérience à l'étude actuelle.

Cependant, le sujet principal ici est l'impact des différences de conditions initiales au "stade d'apprentissage" de la création du modèle.

La variabilité lors de la génération de texte à partir d'un modèle déjà appris concerne une étape différente. Par conséquent, cette étude ne peut pas à elle seule expliquer tous les changements de réponse ou les erreurs factuelles des IA de chat.

De plus, il serait excessif de lire que "la reproductibilité est mathématiquement impossible pour tous les réseaux neuronaux".

L'étude analyse le mécanisme avec un modèle simplifié et examine les caractéristiques cohérentes avec ce mécanisme dans des réseaux plus complexes. Il est nécessaire de distinguer les preuves obtenues dans des modèles complexes d'une preuve générale applicable à toutes les IA.

La valeur de cette découverte ne réside pas dans l'étiquetage de l'ensemble de l'IA comme "imprévisible". Elle réside dans la démonstration, par les mathématiques et l'expérimentation, des conditions sous lesquelles certains types de reproductibilité sont compromis.

Une évaluation au-delà du taux de précision est nécessaire pour une IA fiable

Dans l'évaluation de l'IA, l'attention se porte souvent sur un taux de précision élevé ou des résultats de référence impressionnants.

Cependant, dans un système utilisé sur le long terme, il est crucial de maintenir la qualité requise même après la mise à jour des données et le réapprentissage, l'ajustement des paramètres ou la reconstruction dans un environnement différent.

Cette étude montre que certaines de ces difficultés peuvent provenir de la structure de l'apprentissage, et non simplement d'erreurs de configuration ou de particularités des machines.

Les chercheurs indiquent également des directions pour des améliorations futures, telles que des méthodes pour mesurer la sensibilité et des conceptions de réseau qui réduisent les conditions générant de l'instabilité. Examiner les limites des prédictions ne signifie pas renoncer à l'amélioration. C'est un point de départ pour déterminer ce qui doit être changé.

Un magnifique motif fractal où le bleu et l'orange s'entremêlent. Derrière cela se trouve une question pratique : comment concilier une "IA qui prédit bien" et une "IA qui peut être vérifiée à plusieurs reprises".

Sources et références

1. Phys.org :##