Wenn man alle Inhalte für alle User-Agents erlauben möchte, dann muss man folgenden Inhalt der Datei robots.txt hinzufügen:
User-agent: *
Disallow:
robots.txt >
Alle Inhalte für alle User-Agents erlaubenWenn man alle Inhalte für alle User-Agents erlauben möchte, dann muss man folgenden Inhalt der Datei robots.txt hinzufügen: User-agent: * Disallow: |