IA et compétences : l'étude sur 133 avocats de brevets

Les avocats spécialisés dans les brevets progressent-ils avec l'IA, ou perdent-ils la main ? Une expérience de trois mois sur 133 juristes donne une réponse en demi-teinte, et elle a été menée par une équipe qui travaille chez Google. Les juniors, eux, n'ont pas de gain mesuré sur le test sans IA.

Ce qu'il faut retenir

• 133 avocats issus de 11 cabinets : 90 ont eu accès à un outil d'écriture IA, 43 non.
• Pendant trois mois, leurs brouillons sont meilleurs : environ 0,33 écart-type de plus, surtout parce que les brouillons faibles disparaissent.
• Sur une relecture faite sans IA, les seniors qui avaient l'outil font un peu mieux. Chez les juniors, aucun écart moyen.
• L'étude n'est pas encore relue par des pairs, et Google a développé l'outil testé.

Un outil pour écrire des brevets

Un brevet repose sur ses « revendications », des phrases juridiques très précises qui délimitent ce qui est protégé. C'est là que les erreurs coûtent cher. Les chercheurs ont donc demandé aux avocats d'écrire des revendications dépendantes puis une description complète.

Le groupe avec IA utilisait un outil d'écriture non commercialisé, développé par Google Labs. Le groupe témoin travaillait avec des outils juridiques classiques, sans IA générative. Les brouillons ont ensuite été notés en aveugle par d'autres avocats spécialisés.

Sur la première tâche, de dix jours, le groupe avec IA a terminé environ dix minutes plus vite. Le témoin a mis environ 110 minutes.

Brouillons meilleurs, relecture moins claire

L'étude comporte une deuxième tâche : une relecture sans IA d'un brouillon généré par une IA. C'est là que les résultats se compliquent. Les seniors qui avaient l'outil font un peu mieux que le témoin. Chez les juniors, c'est-à-dire ceux qui ont moins de sept ans d'expérience, la différence moyenne est nulle.

Le point qui change la lecture : un audit a signalé 15 soumissions sur 91 comme possiblement faites avec une IA, alors que la relecture devait se faire sans. Sans ces 15 cas, l'avantage des seniors reste, mais il est plus faible, et l'écart global n'est plus statistiquement significatif.

Les limites, et qui a financé l'étude

L'échantillon est petit, surtout pour les juniors, et l'étude ne porte que sur les brevets. Les cabinets travaillaient pour un client exigeant, ce qui limite la généralisation. Trois mois, c'est court pour former un expert, et les chercheurs n'avaient pas pu mesurer le niveau de départ de chacun.

Il s'agit d'un document de travail publié par le NBER, pas encore évalué par des pairs. Six des sept auteurs travaillent chez Google, qui a développé l'outil. Cela ne rend pas les chiffres faux, mais il faut le savoir en les lisant.

Pour comparer, l'étude du MIT sur ChatGPT portait sur 981 personnes suivies pendant quatre semaines. Là aussi, le signal existe, mais il ne dit pas tout de la cause.

Progrès ou perte de main ?

Sur la qualité des brouillons, l'outil aide les deux groupes, juniors compris. Sur la relecture faite sans IA, il n'aide pas clairement les juniors. D'où le verdict à moitié : l'IA aide à produire un bon texte, mais la preuve qu'elle forme les débutants reste faible. Si tu apprends un métier, écris d'abord tes propres brouillons, puis compare-les avec ceux de l'outil.