Crawler je datový konektor, který pomáhá scrapovat obsah webových stránek ve formátu HTML. Jakmile procházení proběhne na sadě webových stránek, může tok Přidat data pomoct převést tento surový obsah HTML do subjektů na platformě Yext. V tomto článku se dozvíte, jak vytvořit Crawler. 

Před nastavením vyhledávače pro své webové stránky musíte zajistit, aby byl vyhledávač Yext Crawler řádně zařazen na seznam výjimek, které mají přístup k vašim webovým stránkám. Žádáme vás, abyste na seznam výjimek zařadili jak uživatelského agenta našeho Crawleru, tak IP adresy. 

Uživatelský agent

Prohlížeč Yext Crawler používá následujícího uživatelského agenta:

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, jako Gecko) HeadlessChrome/87.0.4280.88 YExtbot/Java Safari/537.36

IP

Prohlížeč Yext Crawler používá následující IP adresy:

• 54.204.19.87
• 50.19.160.200
• 34.198.218.97
• 54.221.171.225

Chcete-li vytvořit crawlera:

1. Na navigačním panelu klikněte na Content a pak na Konfigurace.
2. Klikněte na Crawlery.
3. Klikněte na tlačítko + Nový crawler.
4. Zadejte název crawlera.
5. Klikněte na Týdně a vyberte plán, jak často chcete, aby se crawler spouštěl: jednou, denně nebo týdně.
6. Klikněte na Dílčí stránky a vyberte strategii procházení.
   • Ve strategii procházení crawlerem nastavíte, zda chcete crawlerem procházet všechny stránky, dílčí stránky nebo konkrétní stránky.
7. Vyberte typy souborů, které by měl crawler procházet.
8. Zadejte stránky nebo domény, které chcete crawlerem procházet. Chcete-li přidat další stránky nebo domény, klikněte na odkaz + Přidat další.
   • Pozor – crawler projde vedle uvedených domén také stránky, které lze prohledat na stejné doméně
9. (Volitelně) Přidejte domény, které chcete z procházení crawlerem vyloučit.
10. (Volitelné) Zadejte limit rychlosti nebo maximální hloubku pro crawler.
11. Po uložení crawlera se vrátíte na stránku Crawlery. Chcete-li zobrazit podrobnosti o procházení crawlerem, které jste právě vytvořili, klikněte na tlačítko Zobrazit podrobnosti.