IndexNow : ce que fait le protocole

IndexNow, c’est quoi, et quels moteurs de recherche le reçoivent ?

IndexNow est un protocole ouvert : le propriétaire d’un site envoie à un moteur de recherche l’URL qu’il vient d’ajouter, de modifier ou de supprimer. Une clé prouve que le site est bien à lui. Bing l’a présenté le 18 octobre 2021, d’après son blog Webmaster.

Un envoi à un seul moteur suffit : il est partagé avec tous les autres moteurs participants, selon la documentation d’indexnow.org. La liste officielle compte Amazon, Bing, Naver, Seznam.cz, Yandex et Yep. Un envoi IndexNow à Bing prévient donc aussi Yandex.

Google ne figure pas dans cette liste. Rien ne dit qu’IndexNow change quelque chose pour Google, qui décide seul comment une page entre dans l’index.

Même chez les moteurs participants, l’envoi ne promet pas l’indexation.

Comment fonctionne IndexNow quand le contenu change ?

Sans IndexNow, un moteur découvre un changement quand son robot d’exploration (le programme qui parcourt les pages du web) repasse sur votre page. Ce passage peut tarder. Avec IndexNow, le site prévient lui-même le moteur, au moment où le contenu change.

Le moteur vérifie ensuite que la notification vient bien du propriétaire. Pour cela, il lit sur votre site un petit fichier qui contient la clé.

Tous les changements ne méritent pas un envoi. La FAQ d’indexnow.org recommande de les réserver aux changements de fond, comme un texte, un prix ou une disponibilité, et d’éviter les retouches de mise en page. Elle demande aussi de ne pas renvoyer la même URL plusieurs fois par jour sans changement réel.

Comment installer IndexNow sans écrire de code ?

Deux voies évitent d’écrire du code.

Cloudflare Crawler Hints. Si votre site passe par Cloudflare, cette option signale les changements de contenu via IndexNow, d’après la documentation de Cloudflare. Elle s’active depuis le tableau de bord de Cloudflare.
Votre CMS ou une extension. Certains CMS (le logiciel qui gère le contenu du site, comme WordPress), hébergeurs ou extensions SEO proposent IndexNow. Dans ce cas, la FAQ d’indexnow.org précise que vous n’avez pas besoin de fichier de clé. Vérifiez dans la documentation de votre outil que l’option existe et qu’elle est activée.

Si aucune des deux voies ne s’applique, il reste l’installation manuelle, décrite ci-dessous.

Comment installer IndexNow à la main : clé API, fichier et envoi

L’installation manuelle tient en quatre étapes, décrites dans la documentation d’IndexNow. L’étape 3 suppose d’envoyer une requête web (un appel à une adresse), depuis un outil ou un script.

Créer la clé. C’est une chaîne de 8 à 128 caractères. Seules les minuscules (a-z), les majuscules (A-Z), les chiffres (0-9) et le tiret sont autorisés.
Héberger le fichier de clé. Créez un fichier texte encodé en UTF-8 (l’encodage standard des caractères du web), nommé <votre-clé>.txt, qui contient la clé. Placez-le à la racine du site, par exemple https://www.example.com/<votre-clé>.txt : la documentation recommande vivement cet emplacement. Un autre dossier est possible avec le paramètre keyLocation, mais le fichier ne vaut alors que pour les URL de ce dossier.
Envoyer les URL. Pour une seule URL, une requête GET (un simple appel d’adresse web) suffit, de la forme https://<moteur>/indexnow?url=<url-modifiée>&key=<votre-clé>. Pour plusieurs URL, une requête POST (un envoi de données) va à https://<moteur>/indexnow, avec l’en-tête Content-Type: application/json; charset=utf-8 et un corps JSON (un format de données en texte). Exemple, avec une clé fictive :
```
{
  "host": "www.example.com",
  "key": "a1b2c3d4e5f6",
  "urlList": [
    "https://www.example.com/page-1",
    "https://www.example.com/page-2"
  ]
}
```
host est le nom de domaine du site, key la clé de l’étape 1 et urlList la liste des URL. Si le fichier de clé n’est pas à la racine, ajoutez keyLocation : l’adresse complète du fichier. Un envoi accepte jusqu’à 10 000 URL, en http comme en https.
Lire le code de réponse. Le moteur renvoie un code HTTP :
- 200 : URL reçue ;
- 202 : URL reçue, vérification de la clé en attente (possible au premier envoi) ;
- 400 : format de la requête invalide ;
- 403 : clé invalide, par exemple fichier introuvable ou clé absente du fichier ;
- 422 : URL qui n’appartiennent pas au site, ou clé non conforme au format ;
- 429 : trop de requêtes.

Un 200 dit seulement que le moteur a reçu l’URL. Il ne dit rien de son exploration ni de son indexation.

Ce qu’IndexNow apporte, et ce qu’il ne garantit pas

Dans son annonce de 2021, Bing présente IndexNow comme un signal qui aide les moteurs à explorer en priorité les URL modifiées, et donc à moins explorer pour vérifier si un contenu a changé. C’est l’argument de Bing. Aucune mesure indépendante de ce gain n’a été relevée.

Pour un petit site, l’intérêt est simple. Une page publiée ou corrigée est signalée aux moteurs participants dès sa mise en ligne, sans attendre le passage de leur robot.

La limite figure dans la FAQ d’indexnow.org : « Submitting a URL does not guarantee immediate indexing », c’est-à-dire qu’envoyer une URL ne garantit pas une indexation immédiate. Yandex écrit de même que la méthode ne garantit pas l’indexation des pages envoyées. Chaque moteur reste seul juge de ce qu’il explore et de ce qu’il garde.

IndexNow signale un changement. La FAQ d’indexnow.org parle de visibilité : une indexation plus rapide « peut soutenir de meilleures performances SEO » (« may support improved SEO performance »). La formule est prudente et ne promet aucune position.

IndexNow remplace-t-il le sitemap XML ?

Non. Les deux outils n’ont pas le même rôle.

IndexNow signale un changement au moment où il a lieu. Le sitemap XML, lui, dresse l’inventaire complet des URL du site. La FAQ d’indexnow.org fait cette distinction : le premier sert à prévenir, le second à couvrir l’ensemble. Elle recommande aussi d’utiliser les deux ensemble.

Un site qui active IndexNow garde donc son sitemap. Google, qui ne figure pas parmi les moteurs participants, lit d’ailleurs le sitemap.

Et pour Google : que faire à la place d’IndexNow ?

Google ne figure pas parmi les moteurs participants de la liste d’indexnow.org : ne comptez pas sur IndexNow pour lui. En novembre 2021, un porte-parole de Google avait indiqué que Google testerait le protocole, d’après Search Engine Journal. Aucun résultat de ce test n’a été relevé depuis, et aucune page récente de Google ne dit s’il l’utilise.

Pour Google, sa documentation Search Central propose deux outils. Pour quelques URL, l’outil d’inspection d’URL de Search Console permet de demander l’indexation à Google. Pour beaucoup d’URL, c’est le sitemap.

indexsonar lit votre Search Console en lecture seule (utilisateur « Restreint ») et vous envoie chaque semaine, par email, jusqu’à 3 priorités.