Öncelikle robot txt dosyalarının ne işe yaradığından bahsedelim.
Standart olarak bir robots.txt isimli dosya oluşturup, bu dosyayı ftp kök klasörünüze attığınızda sitenize giren tüm arama robotları bu dosya içeriğini kontrol edecek ve kendisine belirttiğiniz herhangi bir yönerge olup olmadığını algılamaya çalışacaktır.

Aslında herşey bu kadar net, bir sitenin sahibisiniz ve siteden veri çekip herkeze açık bir konumda paylaşan arama motorlarına emir veriyorsunuz. Şu arama motoru gelsin, bu arama motoru gelmesin yada hepsi gelsin veya hepsi gelmesin veya şu dosya ve klasörler benim özel dosyalarındır kimsenin görmesini istemiyorum bunları listenizde göstermeyin (indexlemeyin) vb şekillerde.

Şimdi gelelim bu tanımlamaları nasıl yapıyoruz. Aslında en altta tanımlamalar ve değerleriyle ilgili daha fazla detay veriyorum ama yinede bir kaç örnek yaparsak daha net anlaşılır.

Örnek robots.txt:

User-agent: Unnecessarybot
Disallow: /test/

User-agent: *
Allow: /

Burada ne dedik ? Tüm tarayıcılar girebilir siteye ancak test klasörüne giremez, sitedeki tüm sayfaları listeleyebilirler ancak test klasörünün altındakiler hariç.

Web sitesinin indexlenmesini tamamen kapatmak için:

User-agent: *
Disallow: /

Sitenize ait belirli dizinlerin indexlenmesini engellemek için:

User-agent: *
Disallow: /calendar/
Disallow: /junk/

Sadece bir tarayıcının indexlemesine izin vermek için:
User-agent: Googlebot-news
Allow: /

User-agent: *
Disallow: /

Tüm tarayıcıların indexlemesine izin vermek için:

User-agent: Unnecessarybot
Disallow: /

User-agent: *
Allow: /

Bir yada birden fazla dosyanın indexlenmesini engellemek için:
Disallow: /özel_dosya.html

Resimlerinizden bir yada bir kaçını engellemek için:
Disallow: /resimler/abc.jpg

Belirli türdeki dosyaların indexlenmesini engelleme:

Disallow: /*.gif$

Sayfalarınızın tamamını tüm arama motorlarına kapatma:

User-agent: *
Disallow: /

Kaynak: google webmaster tools Robots.txt dosyası oluşturma - Search Console Yardım