Merhaba,
Robots.txt ayarınızı aşağıdaki vereceğim şekilde yapıp ana dizine atabilirsiniz. Kendinize göre değişiklikler, eklemeler ve çıkarmalar yapabilirsiniz. Hatırlatma, robots.txt'in
seo üzerinde bir etkisi olmadığınıda bildireyim. Etkisi botlara sınırlama yapmanızı sağlar.
User-agent: *
Disallow: /misc
Disallow: /help
Disallow: /search
Disallow: /members
Disallow: /register
Disallow: /login
Disallow: /online
Disallow: /lost-password
Disallow: /recent-activity
Disallow: /data/
Disallow: /internal_data/
Disallow: /js/
Disallow: /library/
Disallow: /styles/
Disallow: /admin.php
Disallow: /admindav.php
Kolay gelsin.. Ilgili sorularınız olursa yardımcı olurum.