Robots.txt Dosyası oluşturulması
Site sahini olanlar, belirli bir süre sonra, robots.txt dosyası ile tanışırlar. Robots dosyası sitenizin bazı kriterleri gibi önemlidir. Bir robots.txt dosyası oluşturmak, okadar zor birşey değildir. Stratejik bir biçimde oluşturulan ve yapılandırılan robots dosyaları oldukça kolay ve verimlidir.
Robots dosyası, ufak metinlerden oluşturulan, sitemizin kök dizine FTP programı yada benzeri programlar ile attığımız bir txt dosyasıdır. Robots dosyası arama motorlarının botlarının site içerisinde, dolaşmalarını ve yönlendirmesini bizim yapabileceğimiz yani botlara talimatlar verebileceğimiz, bir tür işlevlel araçtır, diyebiliriz.Google’a ait tarayıcılar veya “kullanıcı aracıları” genellikle Googlobot, Googlebot image, Google Adshot gibi araçlardır. Yahoo Slurp, Bing ise Bingbot gibi araçlardır.
Robots dosyasını oluşturmak için;
User-agent: *
şeklinde ekleyebilirz, buradaki User- Agent Bütün botların site dosyaları dahilinde, bütün dosyaları tarama ve, google arama motoruna, indexletmek amacı ile kullanılabilinir. Onun dışında, engellemek istediğiniz dosya yada benzer materyaller varsa,
Disallow: /klasor/
şeklinde ekleyebilirsiniz.
User-agent: *
Disallow: /*.jpg$
Belirli bir dizinin engellenmesini ama bu dizine ait alt dizinin taranmasını istiyorsanız bunu yine talimatlar aracılığıyla arama motorlarına bildirebilirsiniz.
User-agent: *
Disallow: /shop/
Allow: /shop/magazine/
AdWords’e ait tüm görüntülerin organik dizinden çıkarılmasını istiyorsanız aşağıdaki talimatı yazabilirsiniz.
User-agent: Mediapartners-Google