WordPress için En Uygun Robots.Txt Kodları

Bazı arkadaşlar bildikleri için kendileri oluşturuyorlar. Bilmeyenler için, WordPress sistemi için en iyi kodları paylaşmak istiyorum. Robots.Txt dosyasının ne işe yaradığını bilmeyenler için kısa bir açıklama yazısı.
Robots.Txt dosyası, site sahibinin arama motorlarının indexleme kısıtlamalarını ayarlamasını sağlayan dosyadır. Arama motorları bu dosyaya bakar ve ona göre indexleme işlemlerine geçerler.

Aşağıdaki kodları, Robots.Txt dosyanız varsa içini temizleyip içine yapıştırın ve kaydedin. Yoksa yeni bir Robots.Txt dosyası oluşturup WordPress dizinine gönderin.



User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Alıntı