Même l’IA d’OpenAI pour les avocats rate près d’une question de droit sur deux : ne signez rien qu’elle a relu seule

Jeudi 17 septembre 2026, OpenAI a lancé Astra for Law, une version de son modèle GPT-6 Astra réglée pour les cabinets d’avocats. Le chiffre le plus intéressant de l’annonce n’est pas dans le titre. Sur 200 questions de recherche juridique américaine, notées par l’évaluateur indépendant Vals AI, l’outil donne une réponse correcte dans 54 % des cas (LawSites et Legal IT Insider, 17 septembre 2026).

54 %, c’est le score de la meilleure configuration, celle vendue en priorité aux 200 plus gros cabinets américains, avec un accès réservé et vingt-six extensions de Thomson Reuters, Harvey ou iManage. Le même modèle, branché sur une simple recherche web, plafonnait à 38,7 %. Sur Hacker News, l’annonce a passé 415 points et 450 commentaires en une journée, et la question la plus reprise était celle que je me pose : si la version pour avocats se trompe presque une fois sur deux, que vaut la réponse que vous obtenez en collant vos conditions générales dans ChatGPT ?

Ma thèse, et je sais qu’elle va déplaire aux enthousiastes comme aux avocats : l’IA est déjà un excellent assistant juridique pour un dirigeant, à condition qu’elle ne décide jamais seule. Elle lit, elle résume, elle prépare les questions. Elle ne valide rien.

Damien Charlotin, chercheur à HEC Paris, recense depuis 2025 toutes les décisions de justice dans lesquelles un juge a relevé un contenu juridique inventé par une IA : une jurisprudence qui n’existe pas, un article de loi mal cité, une date fausse. Au 14 septembre 2026, sa base compte 2 041 affaires dans le monde, dont 14 en France.

Le détail qui concerne un dirigeant est dans la répartition. 811 de ces affaires impliquent des avocats. 1 174 impliquent des personnes qui se défendaient sans avocat, avec l’IA pour conseil. Plus de la moitié des erreurs relevées par les juges viennent donc de gens dans votre situation : pas juristes, pressés, et convaincus que la réponse bien rédigée était une réponse juste.

Le cas fondateur date de juin 2023. À New York, dans l’affaire Mata contre Avianca, deux avocats déposent un mémoire qui cite six décisions fabriquées par ChatGPT. Le juge leur inflige 5 000 $ d’amende. En France, le 18 décembre 2025, le tribunal judiciaire de Périgueux cherche les jurisprudences citées dans les conclusions d’un demandeur, n’en retrouve pas plusieurs, constate que d’autres existent mais avec une date ou un sujet faux, et invite les parties à vérifier que leurs sources ne sont pas des « hallucinations » (décision commentée par Doctrine le 19 décembre 2025). Le demandeur a gagné sur le fond. Il a surtout perdu en crédibilité devant son juge.

OpenAI l’écrit lui-même : Astra for Law n’est pas un nouveau modèle, c’est une configuration. Ce qui fait passer le score de 38,7 % à 54 % tient en une chose : un index de plus de 230 millions de pages de droit américain, tirées notamment de CourtListener, la base publique du Free Law Project, et mises à jour chaque jour. Sur les questions de jurisprudence, l’outil retrouve 24 % de décisions pertinentes en plus que la recherche web.

C’est la leçon la plus utile de l’annonce, et elle dépasse le droit. Une IA juridique vaut ce que valent les textes qu’elle a sous les yeux au moment de répondre. Cet index ne couvre que le droit américain. Pour une question de droit français posée à ChatGPT, vous êtes dans la configuration la plus proche du 38,7 % : un modèle général qui cherche sur le web, tombe sur des articles de blog, des forums, des textes abrogés, et rédige une réponse fluide avec ce qu’il a trouvé.

OpenAI précise d’ailleurs que l’outil « complète » les bases professionnelles, sans les remplacer, et n’a publié aucune comparaison avec elles. Quand l’éditeur lui-même ne dit pas que son outil suffit, je ne vais pas le dire à sa place.

Je me sers de l’IA sur des contrats presque chaque semaine. La frontière que j’applique est simple : elle a le droit de lire et de préparer, elle n’a pas le droit de conclure.

Le problème n’est pas que l’IA se trompe. C’est qu’elle se trompe avec le même ton que lorsqu’elle a raison. Le montage consiste donc à l’obliger à montrer ses sources, puis à les ouvrir vous-même. Il tient en trois outils : ChatGPT Plus à 20 $ par mois, ou n’importe quel assistant équivalent ; Légifrance, gratuit, pour les codes et les lois en vigueur ; Judilibre, le moteur gratuit de la Cour de cassation, pour les décisions de justice.

Voici l’instruction que je colle avant toute question juridique. Copiez-la telle quelle :

Chaque référence qui sort de l’IA passe ces quatre contrôles. Comptez deux minutes par référence.

Le montage coûte 20 $ par mois et deux minutes par référence. Ce qu’il rapporte, je ne peux pas le chiffrer à votre place : je ne connais ni le tarif horaire de votre avocat, ni le montant de vos contrats. Je sais en revanche ce qu’il évite. Un courrier qui cite un article inexistant perd son effet à la première lecture de l’autre partie, et une consultation préparée avec une liste de questions précises se facture moins cher qu’une consultation où l’avocat découvre le dossier.

Je ne sais pas non plus quand une version d’Astra for Law couvrira le droit français, ni à quel prix. OpenAI n’a donné ni tarif ni calendrier hors des États-Unis. Quand elle arrivera, la règle restera la même : 54 %, puis 70 %, puis 90 %, ce n’est jamais 100 %, et c’est vous qui signez.

Reprenez le dernier document juridique que vous avez fait relire ou rédiger par une IA : des conditions générales, un contrat, un courrier. Passez chaque article et chaque décision cités dans les quatre vérifications. Si tout tient, vous avez gagné une tranquillité. S’il y a une seule référence introuvable, vous savez désormais ce qui manque à votre façon de travailler.

Et si vous voulez un assistant branché sur vos propres contrats et vos modèles, qui cite ses sources et dit « à vérifier » au lieu d’inventer, c’est ce qu’on construit : assistant IA interne.