🍋 Developer Tools

Generator Robots.txt

Buat file robots.txt untuk mengontrol akses crawler

Free Hanya di browser No sign-up
chars words sentences lines

Opsi robots.txt

Type or paste something into the Input box to enable this button.

Hasil

Hasil

Tentang Generator Robots.txt

Buat file robots.txt untuk mengontrol akses crawler mesin pencari. Konfigurasikan allow/disallow, sitemap, dan aturan khusus bot.

Cara Kerja

Menghasilkan file robots.txt dari konfigurasi visual. Konfigurasikan aturan per user-agent: allow/disallow path, crawl-delay, dan referensi sitemap. Mengikuti standar robots.txt (RFC 9309).

Langkah demi Langkah

  1. 1 ['Pilih template awal (izinkan semua, blokir semua, atau kustom)', 'Tambahkan aturan user-agent dan path allow/disallow', 'Tambahkan URL sitemap Anda', 'Salin atau unduh file robots.txt']

Tips

  • [
  • '
  • S
  • e
  • l
  • a
  • l
  • u
  • s
  • e
  • r
  • t
  • a
  • k
  • a
  • n
  • r
  • e
  • f
  • e
  • r
  • e
  • n
  • s
  • i
  • s
  • i
  • t
  • e
  • m
  • a
  • p
  • d
  • i
  • r
  • o
  • b
  • o
  • t
  • s
  • .
  • t
  • x
  • t
  • '
  • ,
  • '
  • G
  • u
  • n
  • a
  • k
  • a
  • n
  • D
  • i
  • s
  • a
  • l
  • l
  • o
  • w
  • :
  • /
  • a
  • d
  • m
  • i
  • n
  • /
  • u
  • n
  • t
  • u
  • k
  • m
  • e
  • m
  • b
  • l
  • o
  • k
  • i
  • r
  • h
  • a
  • l
  • a
  • m
  • a
  • n
  • a
  • d
  • m
  • i
  • n
  • d
  • a
  • r
  • i
  • c
  • r
  • a
  • w
  • l
  • e
  • r
  • '
  • ,
  • '
  • J
  • a
  • n
  • g
  • a
  • n
  • m
  • e
  • m
  • b
  • l
  • o
  • k
  • i
  • r
  • C
  • S
  • S
  • /
  • J
  • S
  • —
  • G
  • o
  • o
  • g
  • l
  • e
  • m
  • e
  • m
  • b
  • u
  • t
  • u
  • h
  • k
  • a
  • n
  • n
  • y
  • a
  • u
  • n
  • t
  • u
  • k
  • m
  • e
  • r
  • e
  • n
  • d
  • e
  • r
  • h
  • a
  • l
  • a
  • m
  • a
  • n
  • '
  • ,
  • '
  • r
  • o
  • b
  • o
  • t
  • s
  • .
  • t
  • x
  • t
  • b
  • e
  • r
  • s
  • i
  • f
  • a
  • t
  • p
  • u
  • b
  • l
  • i
  • k
  • —
  • j
  • a
  • n
  • g
  • a
  • n
  • g
  • u
  • n
  • a
  • k
  • a
  • n
  • u
  • n
  • t
  • u
  • k
  • m
  • e
  • n
  • y
  • e
  • m
  • b
  • u
  • n
  • y
  • i
  • k
  • a
  • n
  • k
  • o
  • n
  • t
  • e
  • n
  • s
  • e
  • n
  • s
  • i
  • t
  • i
  • f
  • '
  • ]

Pertanyaan yang Sering Diajukan