Diagnostic de maturité IA. Les cinq dimensions à mesurer en entreprise.

Pourquoi la plupart des audits de maturité passent à côté.

Quand un client nous montre l'audit de maturité qu'il vient de recevoir d'un fournisseur ou d'un analyste, la conversation démarre généralement au même endroit. Le document est lourd, bien conçu, plein de scores de capacité positionnés contre une référence publiée. L'équipe dirigeante y a consacré du budget et du capital politique, et reste silencieusement perplexe sur ce qu'il faut en faire un lundi matin.

Le problème vient rarement de la rigueur de l'analyse sous-jacente. Il vient du choix de ce que l'on mesure. Un inventaire d'outils dit ce que l'organisation a acheté. Un comptage de cas d'usage dit ce que les équipes ont essayé. Ni l'un ni l'autre ne dit si le prochain déploiement va atterrir devant un opérateur qui fait confiance à la réponse, sur des données que le régulateur défendra, dans un processus que quelqu'un a accepté de porter. Ce sont ces questions qui décident si l'IA rapporte. Ce sont aussi les questions que la plupart des modèles de maturité n'abordent pas directement.

Dans notre travail avec les équipes dirigeantes depuis nos bureaux de Paris, Dubaï, Singapour et Bali, nous avons resserré le cadrage. L'objet d'un diagnostic de maturité est de faire émerger les conditions de la valeur durable, pas de produire une position sur un quadrant. Cinq dimensions, d'après notre expérience, couvrent presque tout ce qui compte.

Les cinq dimensions à évaluer.

Socle de données et contrôles d'accès.

La première dimension est la couche de données sur laquelle l'agent ou le modèle va s'appuyer. Nous regardons trois choses ensemble. Si la source canonique de la donnée est nommée et acceptée entre les équipes qui l'utilisent. Si les contrôles d'accès et le traitement des données personnelles sont documentés, audités et appliqués à l'exécution plutôt que dans un document de politique. Si la traçabilité est suffisante pour qu'un régulateur ou un audit interne puisse obtenir une réponse sans trois semaines de travail forensique.

Nous plaçons cette dimension en premier parce qu'aucun investissement dans les modèles ne compense une faiblesse à ce niveau. Les clients avec qui nous travaillons qui disposent d'un socle de données solide passent généralement de l'idée à la production rapidement. Ceux qui n'en disposent pas passent souvent leur premier trimestre à arbitrer les désaccords entre l'équipe qui possède le système client et l'équipe qui possède l'entrepôt, et le second à convaincre le juridique que l'arbitrage tient.

Modèle opératoire et responsabilité.

La deuxième dimension est de savoir qui est responsable des résultats IA dans l'organisation aujourd'hui, et si cette responsabilité s'accompagne de l'autorité et du budget pour vraiment agir. La maturité, ce n'est pas avoir un chief AI officer. C'est avoir des réponses claires à qui possède la valeur, qui possède le risque, qui possède le coût de run et qui décide quand un cas d'usage est retiré. D'après notre expérience, ces quatre questions font remonter au moins un trou de responsabilité que l'audit n'avait pas nommé.

Les équipes avec qui nous travaillons qui obtiennent un bon score sur cette dimension ont généralement donné aux opérations le droit de refuser une passation, et donné à un sponsor métier le droit d'arrêter un cas d'usage sans cérémonie. Celles qui obtiennent un mauvais score ont généralement une fonction innovation qui livre des pilotes que personne n'a accepté d'hériter.

Discipline d'évaluation et de risque.

La troisième dimension est la discipline de l'organisation à savoir comment son IA se comporte sans attendre l'incident. Nous cherchons une suite d'évaluation alimentée par du trafic réel en production, une observabilité qui permet à une équipe de rejouer la session de la veille, et un registre des risques mis à jour à chaque mise en production plutôt que tous les douze mois dans un classeur de conformité. C'est la dimension sur laquelle la plupart des organisations que nous rencontrons obtiennent le plus mauvais score, et celle qui décide silencieusement si un déploiement survit à sa première régression.

Talent et littératie.

La quatrième dimension couvre le volet humain. Nous regardons deux choses ensemble : si l'organisation a accès au talent expert d'ingénierie et de donnée nécessaire pour construire et opérer des systèmes IA, et si les opérateurs et les managers qui travailleront avec ces systèmes ont une littératie suffisante pour challenger une sortie plutôt que l'accepter sur parole. La pénurie d'ingénieurs IA experts attire toute l'attention. La pénurie d'opérateurs lettrés est, d'après notre expérience, la cause la plus fréquente qu'un déploiement sous-performe.

Gouvernance et droits de décision.

La cinquième dimension est la couche de gouvernance. Nous ne cherchons pas un long document de politique. Nous cherchons si les droits de décision sont clairs à trois moments : quand un cas d'usage est approuvé, quand un incident survient, et quand un modèle ou un fournisseur est changé. Une posture de gouvernance mature signifie que ces trois moments ne requièrent pas un comité d'urgence. Ils suivent un processus que l'organisation a répété. C'est aussi la dimension où l'essentiel de l'AI Act, du RGPD et des régimes régionaux équivalents se joue en pratique, et où l'écart vers une posture de conformité défendable est généralement visible dès le premier entretien.

Comment mener le diagnostic sans le rendre bureaucratique.

La version de cet exercice qui fonctionne tend à être restreinte, rapide et conversationnelle. Les équipes que nous accompagnons réunissent généralement un groupe focalisé de cinq à huit personnes : le sponsor exécutif, le chief information officer ou chief technology officer, le responsable de la donnée, le responsable conformité, et au moins un opérateur d'un processus que l'IA est susceptible de toucher. Sans voix d'opérateur, le diagnostic devient un exercice d'auto-félicitation, et nous avons appris à imposer ce siège tôt.

Le format que nous recommandons est deux ou trois sessions de travail plutôt qu'un livrable de soixante pages. La première session couvre la donnée, le modèle opératoire et l'évaluation. La seconde couvre le talent et la gouvernance. Entre les deux, nous menons de courts entretiens avec des opérateurs et une inspection technique rapide des couches de donnée et d'observabilité. La troisième session convertit les constats en trois ou quatre mouvements concrets pour les deux trimestres suivants. Nous avons constaté que le livrable importe moins que la conversation. Si l'équipe dirigeante quitte la salle avec une vision partagée des deux dimensions les plus faibles, le diagnostic a fait son travail.

L'erreur que nous voyons le plus souvent consiste à traiter le diagnostic comme une porte d'achat. L'audit devient une justification pour le prochain achat de plateforme plutôt qu'un guide pour le prochain changement opérationnel. Quand cela arrive, le diagnostic produit un outil, l'outil produit une ligne d'inventaire, et le score de maturité ne bouge pas à la revue suivante.

Une auto-évaluation en dix questions.

Avant de commander un audit plus lourd, les équipes dirigeantes avec qui nous travaillons trouvent souvent utile de se noter honnêtement sur les dix questions suivantes. Un « non » ou un « plus ou moins » hésitant n'est pas un échec. C'est un signal de l'endroit où la prochaine conversation doit avoir lieu.

1. Pour les trois principales sources de données sur lesquelles nos travaux IA s'appuieront, pouvons-nous nommer le propriétaire canonique et la piste d'audit ?
2. Savons-nous qui paie le coût de run d'un cas d'usage IA après la phase pilote, avant que le pilote ne démarre ?
3. Si un modèle dont nous dépendons est déprécié au prochain trimestre, avons-nous un plan de repli défini qui ne nécessite pas un projet d'urgence ?
4. Un membre de l'équipe peut-il rejouer une session de la semaine dernière et expliquer ce que l'agent a fait, sans escalade à l'ingénierie ?
5. Les opérateurs des processus concernés ont-ils été interrogés sur les frictions et la confiance avant que la liste courte des cas d'usage ne soit approuvée ?
6. Existe-t-il un kill switch documenté qui ne nécessite pas un déploiement de code pour être activé ?
7. Notre registre des risques se met-il à jour à chaque mise en production d'un cas d'usage, ou seulement à la revue annuelle ?
8. Le juridique, la sécurité et la conformité ont-ils été dans la salle avant que le premier prompt ne soit écrit, sur les trois derniers cas d'usage au moins ?
9. Les attentes de littératie IA sont-elles définies pour les managers des fonctions concernées, et pas seulement pour les équipes techniques ?
10. Si un régulateur demandait demain comment une sortie précise a été produite, pourrions-nous répondre sous un jour ouvré ?

D'après notre expérience, le score qui compte n'est pas le nombre de « oui ». C'est le motif. Trois réponses faibles regroupées sur une dimension est plus révélateur que neuf faiblesses dispersées, et la liste de priorités s'écrit d'elle-même dès que ce motif est visible.

Quand le score est honnête, la liste de priorités s'écrit d'elle-même.

Les conversations de direction auxquelles nous participons suivent un arc similaire une fois que les cinq dimensions ont été évaluées honnêtement. Le désaccord sur ce qu'il faut financer au prochain trimestre se dissipe rapidement. Les deux dimensions les plus faibles sautent aux yeux, la troisième est généralement celle qui surprend la salle, et la conversation budgétaire porte sur le séquencement plutôt que sur l'ambition. C'est la valeur pratique de l'exercice.

Si votre équipe prépare un plan IA pour les douze prochains mois et que la question de la maturité revient sans réponse, la conversation que nous ouvrons habituellement est courte. Nous demandons laquelle des cinq dimensions vous noteriez le plus bas s'il fallait trancher lundi, et si le prochain investissement prévu adresse cette dimension ou l'une des plus fortes. La réponse est généralement la seconde, et c'est généralement là que le travail commence.

Les équipes Consulting et Tech Factory de nos bureaux de Paris, Dubaï, Singapour et Bali sont joignables depuis le formulaire ci-dessous. Nous répondons sous un jour ouvré, avec un partner qui suivra le dossier plutôt qu'avec un chargé de relation.