EXPLOITER L’IA

FIELD NOTE 03 / 15

Arrêtez de demander à l’IA de se comporter comme un logiciel.

Une réponse différente n’est pas automatiquement une réponse défectueuse. L’erreur consiste à mettre un système probabiliste en production avec des attentes déterministes et aucun moyen de gérer la variation.

11 août 20265 min de lectureDirigeants des équipes responsables du chiffre d’affaires qui portent l’IA
L’IDÉE CENTRALE

Ne cherchez pas à supprimer l’incertitude. Encadrez-la, mesurez-la et orientez-la.

PARTAGER CETTE FIELD NOTE

Transmettez le signal utile.

PUBLICATION OU MESSAGE
STORY OU STATUT
Ouvre le menu de partage sur les téléphones compatibles. Sinon, la carte verticale est téléchargée.

01Deux mondes différents

Le logiciel traditionnel suit un parcours. L’IA interprète une situation.

Une calculatrice ne devrait pas développer un regard neuf sur sept multiplié par neuf. Un workflow CRM ne devrait pas parfois faire passer une opportunité à une autre étape parce que le langage semblait juste. Nous attendons que la même entrée suive les mêmes règles et produise le même résultat.

L’IA générative est différente. Elle prédit et construit une réponse à partir de probabilités. De petites modifications du contexte peuvent changer le parcours. Une même demande peut produire deux réponses différentes toutes deux utiles, une utile et une faible, ou deux réponses soignées erronées de façons différentes.

Cette variabilité n’est pas un défaut malheureux greffé sur l’intelligence. Elle contribue à permettre au système de résumer un appel ambigu, d’adapter une réponse ou de reconnaître que deux clients ont décrit le même problème avec des mots différents.

La capacité et l’incertitude arrivent dans la même boîte.

02Le piège de la démonstration

Un résultat impressionnant ne prouve presque rien.

La plupart des projets d’IA sont approuvés par une mise en scène. Quelqu’un choisit un exemple favorable, le modèle produit une réponse exceptionnellement bonne et la salle suppose silencieusement que le système se comportera toujours ainsi.

La question de production est différente : sur des centaines de cas variés, à quelle fréquence le résultat est-il utile, quelle est la gravité des échecs, le système peut-il reconnaître l’incertitude et en combien de temps quelqu’un remarquera-t-il une dérive du comportement ?

Voilà pourquoi valider un prompt n’est pas assurer la qualité. Une personne qui lit un résultat peut juger ce résultat. Elle ne peut pas en déduire la distribution des comportements futurs. Les équipes responsables du chiffre d’affaires doivent échantillonner les cas courants, les cas difficiles et les exceptions coûteuses.

03L’architecture

Placez le jugement probabiliste dans une enveloppe déterministe.

Toutes les parties d’un système d’IA ne devraient pas être intelligentes. L’identité, les permissions, les champs obligatoires, les limites de dépenses, les états de validation et les journaux d’audit sont généralement mieux gérés par des règles ordinaires. Utilisez l’IA là où l’interprétation crée de la valeur. Utilisez des contrôles déterministes là où la cohérence protège l’entreprise.

Prenez un système d’IA qui recommande le prochain compte à contacter à un commercial. L’IA peut interpréter des signaux récents et expliquer leur importance. Une règle doit toujours empêcher le système de contacter une personne qui s’y est opposée. Une autre règle peut exiger une validation humaine au-delà d’un seuil commercial. Un journal doit enregistrer les preuves et l’action à chaque fois.

L’objectif n’est pas l’autonomie maximale. C’est une autonomie utile avec une limite visible.

04Le modèle de travail

Gérez la variation avec une boucle de contrôle en cinq parties.

Un système d’IA fiable n’est pas un système qui ne varie jamais. C’est un système où la variation acceptable est définie, où l’échec est observable et où les cas incertains disposent d’une issue sûre.

MODÈLE DE TRAVAIL

Encadrer → Évaluer → S’abstenir → Faire remonter → Apprendre

  1. 01
    Encadrer

    Délimitez la tâche avec un contexte pertinent, des exclusions explicites, des exemples et des autorisations.

  2. 02
    Évaluer

    Testez des cas représentatifs selon une grille, des règles et des mesures de résultats.

  3. 03
    S’abstenir

    Permettez au système de signaler que les preuves manquent ou que le niveau de confiance est insuffisant.

  4. 04
    Faire remonter

    Orientez les cas inhabituels ou lourds de conséquences vers la bonne personne, avec le raisonnement associé.

  5. 05
    Apprendre

    Transformez les corrections et les résultats en contexte, tests et règles de décision actualisés.

FIELD NOTE ASSOCIÉE

L’évaluation ne fonctionne que lorsque l’équipe a rendu ses critères de jugement explicites.

La compétence la plus précieuse en IA est de savoir reconnaître un bon résultat.
05Mesurer le travail

La qualité est une distribution, pas un pouce levé.

Pour un travail ouvert, il n’existe pas forcément une seule bonne réponse. Cela ne transforme pas l’évaluation en chaos subjectif. Un résumé d’appel commercial peut être évalué sur l’exactitude factuelle, la couverture des champs convenus, la distinction entre faits et déductions, son caractère exploitable et l’absence d’affirmations non étayées.

Certains contrôles peuvent être déterministes. La synthèse citait-elle une source ? Incluait-elle un responsable de compte ? D’autres contrôles demandent une grille ou une comparaison. La prochaine action recommandée est-elle étayée par les preuves ? Le ton est-il adapté à la relation ? Un réviseur humain, un évaluateur fondé sur un modèle et les données métier en aval peuvent chacun détecter des échecs différents.

L’unité utile n’est pas « l’IA a-t-elle fonctionné ? ». C’est le profil de défaillance. Qu’est-ce qui échoue, à quelle fréquence, avec quelle conséquence et dans quelles conditions ? Une fois cela visible, l’équipe peut améliorer le système délibérément au lieu de réagir à la dernière mauvaise capture d’écran parvenue à la direction.

  • Suivez les taux de réussite par type de cas, pas seulement une moyenne générale.
  • Conservez un ensemble permanent d’exemples difficiles et à fortes conséquences.
  • Mesurez la fausse assurance séparément de la faible qualité ordinaire.
  • Examinez les cas que les humains corrigent le plus souvent.
  • Reliez les mesures de qualité aux résultats commerciaux lorsque le lien est réel.
06La décision de direction

Définissez le contrat d’incertitude avant le lancement.

Chaque système d’IA devrait avoir un contrat d’incertitude : la variation que l’entreprise accepte, les décisions que le système peut prendre, les preuves qu’il doit conserver et le moment où une personne prend le relais.

Pour un système d’idéation de contenus, ce contrat peut tolérer une large variation car un humain choisit ce qui est retenu. Pour un système d’orientation des comptes, la variation acceptable est plus étroite. Pour une promesse faite à un client concernant le prix, l’éligibilité ou les conditions juridiques, elle peut l’être davantage encore.

Cela recadre la conversation de direction. Le choix n’est pas entre faire confiance à l’IA et s’en méfier. Il porte sur les endroits où laisser le jugement probabiliste créer de la valeur et sur la structure déterministe qui doit l’entourer. C’est ainsi qu’un système variable devient une composante fiable du travail commercial.

La fiabilité n’est pas l’absence d’incertitude. C’est la capacité à fonctionner en sécurité en sa présence.

Sources et lectures complémentaires.

LE COMPLÉMENT HEBDOMADAIRE

Des signaux d’IA frais, mis en forme pour le commerce.

AI Laundry suit la semaine. Field Notes rend les idées durables utiles.

Aucun bruit quotidien. Aucun emballement recyclé. Désabonnez-vous à tout moment. Consultez notre politique de confidentialité.