Crawler je datový konektor, který pomáhá vytěžovat z webových stránek obsah HTML. Po úspěšném procházení webových stránek crawlerem můžete přidáním dat konvertovat hrubý obsah HTML do subjektů v Knowledge Graph. Tento článek popisuje, jak vytvořit crawlera. 

Před nastavením vyhledávače pro své webové stránky musíte zajistit, aby byl vyhledávač Yext Crawler řádně zařazen na seznam výjimek, které mají přístup k vašim webovým stránkám. Žádáme vás, abyste na seznam výjimek zařadili jak uživatelského agenta našeho Crawleru, tak IP adresy. 

Uživatelský agent

Prohlížeč Yext Crawler používá následujícího uživatelského agenta:

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, jako Gecko) HeadlessChrome/87.0.4280.88 YExtbot/Java Safari/537.36

IP

Prohlížeč Yext Crawler používá následující IP adresy:

• 54.204.19.87
• 50.19.160.200
• 34.198.218.97
• 54.221.171.225

Chcete-li vytvořit crawlera:

1. V navigačním panelu klikněte na Knowledge Graph a klikněte na Konfigurace.
2. Klikněte na Crawlery.
3. Klikněte na tlačítko + Nový crawler.
4. Zadejte název crawlera.
5. Klikněte na Týdně a vyberte plán, jak často chcete, aby se crawler spouštěl: jednou, denně nebo týdně.
6. Klikněte na Dílčí stránky a vyberte strategii procházení.
   • Ve strategii procházení crawlerem nastavíte, zda chcete crawlerem procházet všechny stránky, dílčí stránky nebo konkrétní stránky.
7. Vyberte typy souborů, které by měl crawler procházet.
8. Zadejte stránky nebo domény, které chcete crawlerem procházet. Chcete-li přidat další stránky nebo domény, klikněte na odkaz + Přidat další.
   • Pozor – crawler projde vedle uvedených domén také stránky, které lze prohledat na stejné doméně
9. (Volitelně) Přidejte domény, které chcete z procházení crawlerem vyloučit.
10. (Volitelné) Zadejte limit rychlosti nebo maximální hloubku pro crawler.
11. Po uložení crawlera se vrátíte na stránku Crawlery. Chcete-li zobrazit podrobnosti o procházení crawlerem, které jste právě vytvořili, klikněte na tlačítko Zobrazit podrobnosti.