On a passé vingt ans à optimiser nos sites pour Google. Balises meta, vitesse de chargement, maillage interne, tout le monde connaît la chanson du SEO. Mais quand un agent IA comme Claude, Cursor ou OpenCode débarque sur un site pour lire une doc technique ou interroger une API, il tombe sur du HTML touffu, des menus de navigation, des scripts, des captchas. Bref, un mur pensé pour des yeux humains. Cloudflare vient de mettre un chiffre sur ce décalage.

4 % des sites seulement déclarent leurs préférences IA

L’entreprise a scanné les 200 000 domaines les plus fréquentés du web. Le résultat pique.

  • 78 % disposent d’un fichier robots.txt, mais il a été rédigé pour les crawlers de Google et non pour des agents autonomes.
  • Seuls 3,9 % mettent en avant du contenu en Markdown si on le leur demande.
  • Et les standards récents (MCP Server Cards, API Catalog) sont déployés sur moins de 15 sites dans tout le lot.

Ce fossé a poussé Cloudflare à mettre en ligne isitagentready.com, un outil gratuit où n’importe qui peut entrer l’URL de son site et obtenir un diagnostic structuré.

Cloudflare

Quatre critères puis un score

La note repose sur quatre axes.

1/ La découvrabilité vérifie si le site dispose d’un robots.txt propre, d’un sitemap et des bons en-têtes.

2/ Le volet contenu regarde si le serveur sait répondre en Markdown plutôt qu’en HTML quand un agent le demande, un point en mesure de réduire jusqu’à 80 % la consommation de tokens selon les tests internes de Cloudflare.

3/ Le contrôle d’accès évalue si le site exprime clairement ce que les IA ont le droit de faire avec son contenu.

4/ Et les capacités testent la présence de l’authentification OAuth, des serveurs MCP, des catalogues d’API.

Pour une faille repérée, l’outil propose des pistes de correction. Cloudflare a même poussé le concept jusqu’à rendre son propre outil accessible aux agents via un serveur MCP intégré.

Cloudflare est à la fois juge et partie

Cloudflare publie le score de référence, fournit les recommandations et vend les produits (Workers, Rules, Access) qui permettent de corriger les problèmes détectés. Le schéma rappelle ce que Google a instauré avec ses données de performance web (définir la norme, noter les sites puis proposer ses propres services pour remonter dans le classement). Ce n’est pas rédhibitoire, mais les critères pourraient parfaitement évoluer en fonction des intérêts commerciaux de la société ou des vrais besoins du marché.

Plusieurs standards mis en avant dans le scoring sont encore en cours de rédaction à l’IETF ou n’ont pas atteint le stade de spécification définitive. En les adoptant aujourd’hui, vous acceptez le risque de devoir tout refaire dans dix-huit mois si le standard change de direction.