robot.txt dosyasını inceleyen bir örümcektir, sayfada ne varsa inceleyip kaçar gider. robot.txt dosyası eğer mevcut değilse sitemap'leri inceler. google'da üst sıralara çıkmak için bu botun uğramasını beklersiniz. çok yavşak bir bot olduğu için meta taglarını üslubunca yazmamız şarttır.
