Çok geniş bir konudur aslında bu googlebot . Sitelere girer , çıkar , konularınıza bakar , siteye bugün ne eklemissiniz , kimler ziyaret etmiş vs vs ... Googlebot bir siteye girmeden önce ilk olarak sitedeki robot.txt dosyasının olup olmadığına bakar . Eğer varsa o dosyayı inceler . Robot.txt dosyası ise sitenizin indexlenmesini istediğiniz yada indexlenmesini istemediğiniz kısımlarını uygun bir dilde yazdığınız dosyadır . Bunu inceledikten sonra robot sitenize girer ...
Robot girdikten sonra sitedeki tüm sayfalara girmeye başlar , girdiği her sayfadaki önemli yerleri inceler , eğer sayfanızda başka sitelere giden linkler varsa o sitelere de gider . Bu olaya kısaca backlink denir . Her neyse googlebot artık sitenizin yolunu kaybetmez , arada gelip bakar , ne oluyor ne bitiyor , kim ölmüş fln filan ...
Bu robot sitenize ne kadar sıklıkla uğramaya başlarsa sitenizin pagerank değeri o kadar yükselir . Sitenize ne kadar özgün içerik ( kendinizin yazdığı , copy/paste olmayan , orjinal içerik ) varsa bu robot o kadar sıklıkla gelir . Sonra bi bakmıssınız bu bot sitenizden çıkmıyor ...
Uzun lafın kısası ; bu googlebot siteye gelir , bakar , gider ...
