Le robot d'indexation est un connecteur de données qui permet de récupérer le contenu HTML des pages Internet. Une fois qu'une indexation a été exécutée sur un ensemble de pages, le robot d'indexation permet de convertir ce contenu HTML brut en entités dans la plateforme Yext. Cet article explique comment créer un robot d'indexation. 

Avant de mettre en place un robot d'indexation pour votre site Internet, vous devez vous assurer qu'il est correctement mis sur liste blanche pour permettre l'accès à vos pages web. Nous vous recommandons de placer l'agent utilisateur et les adresses IP de notre robot d'indexation sur liste blanche. 

User Agent (Agent utilisateur)

Le robot d'indexation Yext utilise l'agent utilisateur suivant :

Mozilla/5.0 (X11 ; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/87.0.4280.88 YextBot/Java Safari/537.36

Les adresses IP

Le robot d'indexation Yext utilise les adresses IP suivantes :

• 54.204.19.87
• 50.19.160.200
• 34.198.218.97
• 54.221.171.225

Les adresses IP suivantes doivent être utilisées dans l’UE :

• 35.240.80.184
• 35.241.216.126
• 35.195.140.58

Pour créer un robot d'indexation :

1. Cliquez sur Content dans la barre de navigation, puis sur Configuration.
2. Cliquez sur Crawlers (Robots d'indexation).
3. Cliquez sur le bouton + New Crawler (+ Nouveau robot d'indexation).
4. Saisissez le nom de votre robot d'indexation.
5. Cliquez sur Weekly (Hebdomadaire) et sélectionnez la fréquence à laquelle vous souhaitez que le robot d'indexation se lance : une seule fois, tous les jours ou toutes les semaines.
6. Cliquez sur Sub Pages (Sous-pages) et sélectionnez votre stratégie d'indexation.
   • Votre stratégie d'indexation vous permet d'indiquer si vous souhaitez explorer toutes les pages, des sous-pages ou des pages spécifiques.
7. Sélectionnez les types de fichiers que le robot d'indexation doit indexer.
8. Saisissez les pages ou les domaines que vous souhaitez explorer. Pour ajouter des pages ou des domaines supplémentaires, cliquez sur le lien + Add Another (+ Ajouter).
   • Notez que les domaines ainsi que toutes les pages pouvant être explorées sur le même domaine, seront indexés.
9. (Facultatif) Ajoutez les domaines que vous souhaitez exclure de l'indexation.
10. (Facultatif) Spécifiez la limite de débit ou la profondeur maximale du robot d'indexation.
11. Une fois que vous aurez sauvegardé votre robot d'indexation, retournez sur la page Crawlers (Robots d'indexation). Pour afficher les détails du robot d'indexation que vous venez de créer, cliquez sur le bouton View Details (Afficher les détails).