Öncelikle başlığın içeriği; robots.txt nedir, robots.txt ne işe yarar, robots.txt üzerinde kullanılabilecek komutlar gibi bilgiler yer almaktadır.

Robots.txt nedir?

Robots.txt ‘yi basitçe anlatmak gerekirse; “rehber” sözcüğünü kullanmak sanırım yanlış olmayacaktır. Çünkü robots.txt, bot’ların sitenizi crawl’lamak için geldiği zaman ne yapacaklarını yada ne yapmayacaklarını (neleri indexlemeleri gerektiğini, nereleri indexlememeleri gerektiğini) gösterecektir. Kısaca tur rehberi olarak nitelendirilebilir.

Robots.txt ne işe yarar?

Robots.txt, bot’lar sitenize crawl için geldiği zaman, sizlerin belirlediği yerleri crawl edip, etmemek konusunda Robots.txt ihtiyaç duyarlar. Robots.txt içerisinde sizlerin belirlediği komutları algılayarak crawl’lama işlemine başlarlarlar. Eğer Robots.txt’nizde bir sorun varsa, bu sorun crawl’lama işlemine yansıyacaktır ve siteniz crawl edilmeyecektir. Robots.txt dosyası oluşturuluktan sonra alanınızın kök dizinine kayıt edilmesi gerekmektedir (Genellikle httpdocs yada www klasörüdür). Yanlış bir yere kayıt ederseniz bot’lar bulamayacaktır.

Robots.txt nasıl oluşturulur?

Robots.txt dosyasını oluşturmak oldukça kolaydır ancak gerekli komutların ve düzgün yazılması mutlaktır. Yapacağınız en ufak bir yazım yanlışı dosyanızın çalışmamasına neden olacaktır. Robots.txt oluşturmak için basit bir editör (Notepad, Wordpad, Word v.b) kullanabilirsiniz. Örnek olarak Notepad’i ele alacak olursak, Notepad’i açtıktan sonra içerisinde yazmak istediğimiz komutları sıralamamamız gereklidir.

Örnek:

Code:
User-Agent: *
Allow: /

Örnekteki gibi kullanacağımız komutları yazdıktan sonra; metnimizi Robots.txt olarak kayıt etmeliyiz.

Önemli not: Google Robots.txt dosyasınının küçük harflerle yazılmasını öneriyor!

Robots.txt içerisinde kullanılabilecek komutlar nelerdir?

Robots.txt içerisinde kullanmamız gereken en temel 3 başlık vardır bunlar; User-agent, Allow ve Disallow ‘dur.

User-agent: User-agent belirli bir botu belirlemek için kullanılır, örnek olarak;
User-agent: * (Yıldız) kullanımı tüm botları simgeler,
User-agent: Googlebot (Googlebot) kullanımı sadece googlebot’unu simgeler.

Disallow: Disallow kullanımı sitenizin indexlenmemesini istediğiniz bölümleri belirtmeniz için kullanılan bölümdür.

Örnek:

Code:
Disallow: / (/ - Eğik çizgi) sitenizin tamamının index'lenmesinin istemediğinizi,
Disallow: /engellenmeyi_istedigimiz_sayfa.html ise sadece indexlenmemesini istemediğimiz sayfayı belirtir.

Önemli not: Google; Disallow komut satırının / (Eğik çizgi) ile başlamasını öneririr.

Allow: Allow komutu bot’ların sayfanızın hangi kısımlarının indexlenmesi gerektiğini belirler. Genellikle; Allow : / olarak kullanılır ki bu; tüm sayfalarınızın indexleneceği anlamına gelir.

Örnek:

Code:
User-agent: *
Allow: /

şeklinde kullanılır.

Robots.txt dosyası içerisinde kullanabilecek diğer komutlar:

Alıntı:
  • Sitenin tamamını engellemek için düz eğik çizgi kullanın. Disallow: /
  • Bir dizini ve o dizinin içinde bulunan tüm öğeleri engellemek için dizin adının sonuna bir düz eğik çizgi koyun. Disallow: /engelenecek_klasor/
  • Bir sayfayı engellemek için o sayfayı listeleyin. Disallow: /engellenecek_sayfa.html
  • Belirli bir görseli Google görsel aramasından kaldırmak için şunları ekleyin: User-agent: Googlebot-Image
    Disallow: /resimler/engellenecek_resim.jpg
  • Sitenizdeki görsellerin tümünü Google görsel aramasından kaldırmak için: User-agent: Googlebot-Image
    Disallow: /
  • Belirli bir dosya türündeki dosyaları (örneğin, .gif) engellemek için
    Disallow: /*.gif$     şunları kullanın: User-agent: Googlebot
  • Sitenizdeki sayfalarda AdSense reklamları görüntülemeye devam ederken bu sayfaların taranmasını engellemek için Mediapartners-Google dışındaki tüm botları engelleyin. Bu, sayfaların arama sonuçlarında görünmesini engellemekle birlikte Mediapartners-Google robotunun gösterilecek reklamları belirlemek üzere sayfaları analiz etmesine olanak sağlar. Mediapartners-Google robotu, sayfaları diğer Google user-agent’ları ile paylaşmaz. Örneğin: User-agent: *
    Disallow: /klasor1/

    User-agent: Mediapartners-Google
    Allow: /klasor1/

  • Bir karakter sırasıyla eşleşmek için yıldız (*) kullanabilirsiniz.
    Disallow: /private*/     Örneğin, özel ile başlayan tüm alt dizinlere erişimi engellemek için: User-agent: Googlebot
  • Soru işareti (?) içeren tüm URL’lere erişimi engellemek için (daha açık belirtmek gerekirse, alan adınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL’leri taramasını engellemek için): User-agent: Googlebot
    Disallow: /*?
  • URL sonu eşlemeyi belirtmek için $ karakterini kullanın. Örneğin, .xls ile biten tüm URL’leri engellemek için: User-agent: Googlebot
    Disallow: /*.xls$ Bu dize kalıbı eşlemesini, Allow yönergesiyle birlikte kullanabilirsiniz. Örneğin, ? bir oturum kimliğini gösteriyorsa bu öğeleri içeren tüm URL’leri dışlayarak Googlebot’un aynı sayfaları taramasını önleyebilirsiniz. Ancak ? ile biten URL’ler, eklenmesini istediğiniz sayfanın sürümü olabilir. Bu durumda, robots.txt dosyanızı aşağıda gösterildiği biçimde ayarlayabilirsiniz:
    User-agent: *
    Allow: /*?$
    Disallow: /*?     Disallow: / *? yönergesi, ? içeren URL’lerin tümünü engeller (daha açık belirtmek gerekirse, alanınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL’lerin tümünü engeller).
     Allow: /*?$ yönergesi, ? ile biten tüm URL’lere izin verir (daha açık belirtmek gerekirse, alanınızla başlayan ve ardından bir dize ve bir ? gelen ve ? işaretinden sonra hiç karakter içermeyen URL’lerin tümüne izin verir).

URL’ler büyük/küçük harfe duyarlıdır. Örneğin, Disallow: /private_file.asp http://www.example.com/junk_file.asp sayfasını engeller ancak http://www.example.com/Junk_file1.asp sayfasına izin verir.

Umarım bu bilgilerle sizlere bi nebze yardımcı olabilirim. Sorularınız ve önerilerinizi her zaman için bekliyorum. Hatalarım olduysa affola.
Yanlış yere başlığı açmış olabilirim, eğer yanlış bölümdeyse, doğru bölüme taşınmasını rica ederim.

NOT: Bu makale tarafımdan; http://www.google.com, http://www.robotstxt.org adresinden yararlanarak hazırlanmıştır. Her ne kadar alıntı yaparak kullanılmasını istemesemde Copy/Paste yaparak kendine yontacaklar olacağı için, çalın, çırpın, sayfanızda yayınlayın hitiniz artsın demek istiyorum.
Saygılarımla.

Kaynak :R10.NeT

Teşekkürler Rconsyder…..!

Bence Dosyanızın İçinde Bulunması Gereken Komutlar Bunlar Olmalı



User-Agent: *
Allow: /
User-Agent: Googlebot
Allow: /
User-Agent: Googlebot-Image
Allow: /
User-Agent: Adsbot-Google
Allow: /