🍋 Developer Tools
Generator Robots.txt
Buat file robots.txt untuk mengontrol akses crawler
chars
words
sentences
lines
Opsi robots.txt
Type or paste something into the Input box to enable this button.
Hasil
None found.
Hasil
Tentang Generator Robots.txt
Buat file robots.txt untuk mengontrol akses crawler mesin pencari. Konfigurasikan allow/disallow, sitemap, dan aturan khusus bot.
Cara Kerja
Menghasilkan file robots.txt dari konfigurasi visual. Konfigurasikan aturan per user-agent: allow/disallow path, crawl-delay, dan referensi sitemap. Mengikuti standar robots.txt (RFC 9309).
Langkah demi Langkah
- 1 ['Pilih template awal (izinkan semua, blokir semua, atau kustom)', 'Tambahkan aturan user-agent dan path allow/disallow', 'Tambahkan URL sitemap Anda', 'Salin atau unduh file robots.txt']
Tips
- [
- '
- S
- e
- l
- a
- l
- u
- s
- e
- r
- t
- a
- k
- a
- n
- r
- e
- f
- e
- r
- e
- n
- s
- i
- s
- i
- t
- e
- m
- a
- p
- d
- i
- r
- o
- b
- o
- t
- s
- .
- t
- x
- t
- '
- ,
- '
- G
- u
- n
- a
- k
- a
- n
- D
- i
- s
- a
- l
- l
- o
- w
- :
- /
- a
- d
- m
- i
- n
- /
- u
- n
- t
- u
- k
- m
- e
- m
- b
- l
- o
- k
- i
- r
- h
- a
- l
- a
- m
- a
- n
- a
- d
- m
- i
- n
- d
- a
- r
- i
- c
- r
- a
- w
- l
- e
- r
- '
- ,
- '
- J
- a
- n
- g
- a
- n
- m
- e
- m
- b
- l
- o
- k
- i
- r
- C
- S
- S
- /
- J
- S
- —
- G
- o
- o
- g
- l
- e
- m
- e
- m
- b
- u
- t
- u
- h
- k
- a
- n
- n
- y
- a
- u
- n
- t
- u
- k
- m
- e
- r
- e
- n
- d
- e
- r
- h
- a
- l
- a
- m
- a
- n
- '
- ,
- '
- r
- o
- b
- o
- t
- s
- .
- t
- x
- t
- b
- e
- r
- s
- i
- f
- a
- t
- p
- u
- b
- l
- i
- k
- —
- j
- a
- n
- g
- a
- n
- g
- u
- n
- a
- k
- a
- n
- u
- n
- t
- u
- k
- m
- e
- n
- y
- e
- m
- b
- u
- n
- y
- i
- k
- a
- n
- k
- o
- n
- t
- e
- n
- s
- e
- n
- s
- i
- t
- i
- f
- '
- ]