Creare un Crawler – Yext Help

Un crawler è un connettore di dati che estrapola i contenuti HTML delle pagine web. Una volta che una scansione viene eseguita correttamente su un insieme di pagine web, il crawler facilita conversione dei contenuti HTML grezzi in entità nella piattaforma Yext. In questo articolo viene mostrato come creare un crawler.

Prima di configurare un crawler per il tuo sito, devi assicurarti che il crawler sia autorizzato ad accedere alle tue pagine web. A tale scopo, dovrai inserire nel tuo elenco di whitelisting sia l'agente utente che gli indirizzi IP del nostro crawler.

Agente utente

Il crawler di Yext utilizza il seguente agente utente:

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, come Gecko) HeadlessChrome/87.0.4280.88 YextBot/Java Safari/537.36

Indirizzi IP

Il crawler di Yext utilizza i seguenti indirizzi IP:

54.204.19.87
50.19.160.200
34.198.218.97
54.221.171.225

Nell'UE devono essere utilizzati i seguenti indirizzi IP:

35.240.80.184
35.241.216.126
35.195.140.58

Per creare un Crawler:

Fai clic su Content nella barra di navigazione e seleziona Configurazione.
Fai clic su Crawler.
Fai clic sul pulsante + Nuovo Crawler.
Inserisci un nome per il Crawler.
Fai clic su Settimanalmente e seleziona la frequenza con cui desideri eseguire il crawler: Una volta, Giornalmente o Settimanalmente.
Fai clic su Pagine secondarie e seleziona la strategia di scansione.
- La strategia di scansione serve a indicare se si vogliono scansionare tutte le pagine, le pagine secondarie o pagine specifiche.
Selezionare i tipi di file di cui il crawler deve eseguire la scansione.
Inserisci le pagine o i domini che desideri scansionare. Per aggiungere altre pagine o domini, fai clic sul link + Aggiungi altro.
- Nota: la scansione verrà effettuata nelle pagine e nei domini specificati che possono essere indicizzati
(Facoltativo) Aggiungi i domini che vuoi escludere dalla scansione.
(Facoltativo) Specificare il limite di velocità o la profondità massima per il crawler.
Una volta salvato il crawler, tornerai alla pagina Crawler. Per visualizzare i dettagli del Crawl appena creato, fai clic sul pulsante Visualizza dettagli .