Robots.txt nasıl oluşturulur?

Bu dosya sitenin robot izinlerini düzenlemek için kullanılır.

 

Sitenizin tüm botlar tarafından ve tüm dizinlerinin taranmasını istiyorsanız (full izin verme)
Bilgisayarınızdan notepad dosyasını çalıştırarak aşağıdaki satırları ekleyin

User-agent: *

Allow: /

bunu yazacak olursak tüm dizini botlara yasaklamış oluruz.
Disallow: /
sonra dosyanın adını robots.txt olarak (r küçük ve uzantı txt olacak) kaydedin. Bu dosyayı sitenizi ana dizinine kaydedin.
Ve robotlar için erişim engeli kalmayacaktır

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir