🍋 SEO Tools

Robots.txt Analyzer

Parse and test robots.txt rules against URLs

Free 仅在浏览器中 No sign-up
chars words sentences lines

分析选项

Type or paste something into the Input box to enable this button.

结果

结果

关于 Robots.txt Analyzer

Paste your robots.txt content and test whether specific URLs are allowed or blocked for different user agents. Identify syntax errors and common configuration mistakes.

工作原理

The tool parses robots.txt according to the Robots Exclusion Protocol. It groups rules by user-agent, resolves wildcards and $ anchors, and tests URLs against the most specific matching rule.

分步教程

  1. 1 ['Paste your robots.txt content into the input area', 'Enter a URL to test in the options panel', 'Click Analyze to see parsed rules and test results']

提示

  • [
  • '
  • A
  • l
  • w
  • a
  • y
  • s
  • i
  • n
  • c
  • l
  • u
  • d
  • e
  • a
  • S
  • i
  • t
  • e
  • m
  • a
  • p
  • d
  • i
  • r
  • e
  • c
  • t
  • i
  • v
  • e
  • p
  • o
  • i
  • n
  • t
  • i
  • n
  • g
  • t
  • o
  • y
  • o
  • u
  • r
  • s
  • i
  • t
  • e
  • m
  • a
  • p
  • .
  • x
  • m
  • l
  • '
  • ,
  • "
  • U
  • s
  • e
  • '
  • U
  • s
  • e
  • r
  • -
  • a
  • g
  • e
  • n
  • t
  • :
  • *
  • '
  • f
  • o
  • r
  • r
  • u
  • l
  • e
  • s
  • t
  • h
  • a
  • t
  • a
  • p
  • p
  • l
  • y
  • t
  • o
  • a
  • l
  • l
  • c
  • r
  • a
  • w
  • l
  • e
  • r
  • s
  • "
  • ,
  • '
  • B
  • e
  • c
  • a
  • r
  • e
  • f
  • u
  • l
  • w
  • i
  • t
  • h
  • D
  • i
  • s
  • a
  • l
  • l
  • o
  • w
  • :
  • /
  • —
  • i
  • t
  • b
  • l
  • o
  • c
  • k
  • s
  • y
  • o
  • u
  • r
  • e
  • n
  • t
  • i
  • r
  • e
  • s
  • i
  • t
  • e
  • '
  • ,
  • '
  • T
  • e
  • s
  • t
  • c
  • r
  • i
  • t
  • i
  • c
  • a
  • l
  • p
  • a
  • g
  • e
  • s
  • l
  • i
  • k
  • e
  • /
  • b
  • l
  • o
  • g
  • /
  • a
  • n
  • d
  • /
  • p
  • r
  • o
  • d
  • u
  • c
  • t
  • s
  • /
  • i
  • n
  • d
  • i
  • v
  • i
  • d
  • u
  • a
  • l
  • l
  • y
  • '
  • ]

常见问题