NennBot, der Crawler von Nenn

NennBot liest eine Website, wenn jemand Nenn bittet, sie zu prüfen. Er durchsucht das Web nicht von selbst.

Aktualisiert

Was NennBot ist

Nenn ist ein Werkzeug für KI-Sichtbarkeit. Es zeigt Unternehmen, wie ChatGPT, Perplexity und Google AI über sie sprechen.

Für seine Tipps liest es die eigene Website des Unternehmens. NennBot ist der Teil von Nenn, der liest.

Wann er kommt

  • Ein Nenn-Kunde fügt seine Website hinzu. Die erste Prüfung startet sofort.
  • Ein Kunde startet eine neue Prüfung. Jede Website bekommt höchstens 1 neue Prüfung pro Stunde.
  • Jemand gibt die Website in den Testlauf auf nenn.io/check ein.
  • Ein Kunde veröffentlicht eine Seite mit Nenn. Dann liest es Logo, Farbe und Schrift seiner Website.
  • Nenn zeigt das Icon einer Website in der App, zum Beispiel in einer Liste von Wettbewerbern.

Icon-Abrufe, Stil-Abrufe und der Testlauf sind wenige einzelne Anfragen. Sie prüfen robots.txt nicht und halten keinen Abstand von einer Sekunde ein. Der Stil-Abruf kann Ihre Stylesheets auch von einem anderen Server laden, etwa einem CDN.

Was er liest, der Reihe nach

Eine volle Prüfung geht immer denselben Weg. Sie hört früh auf, wenn robots.txt Nein sagt.

  1. robots.txt

    Kommt zuerst. Gesperrte Seiten werden nie geöffnet.

    • robots.txt sperrt NennBotStopp. Nenn sagt es seinem Kunden.

    • robots.txt antwortet nichtNur die Startseite.

  2. Startseite

    /

    Der Anfang jeder Prüfung.

  3. llms.txt

    Eine kurze Anleitung für KI-Werkzeuge, falls die Website eine hat.

  4. Sitemap

    /sitemap.xml

    Aus robots.txt oder /sitemap.xml. Ein Index öffnet bis zu 3 weitere Sitemaps.

  5. Seiten

    Zuerst von KI zitierte Seiten, dann Sitemap-Seiten, dann interne Links. Bis zu 50 Seiten in der kleinsten Prüfung.

  • Nur GET
  • 1 Anfrage pro Sekunde
  • Nur dieselbe Website
So besucht eine Prüfung Ihre Website

Wie er sich bei einer vollen Prüfung verhält

Nur GET
Er liest nur. Er schickt nie Formulare ab und meldet sich nie an.
1 pro Sekunde
Eine Anfrage pro Sekunde pro Website. www und die Domain ohne www teilen sich das.
8 Sekunden
Nach 8 Sekunden wartet er nicht mehr auf eine Seite.
3 MB
Er liest höchstens 3 MB einer Seite.
5 Weiterleitungen
Jede neue Adresse wird erneut geprüft.
Dieselbe Website
Er folgt nie Links zu anderen Websites.
24 Stunden
Eine Seite aus den letzten 24 Stunden lädt er nicht noch einmal.
15 Minuten
Eine Prüfung liest nach 15 Minuten keine neuen Seiten mehr.
50 Seiten
Die kleinste Grenze. Größere Tarife lesen mehr, nie über 5.000 pro Prüfung.
Nur öffentlich
Er verbindet sich nur mit öffentlichen Adressen, nie mit privaten Netzen.

Noch ein Besuch: Eine volle Prüfung lädt Ihre Startseite einmal als jeder getestete KI-Crawler. Beispiele sind GPTBot und PerplexityBot. So sieht man, ob Ihr Server sie hereinlässt. Diese Anfragen nutzen den User-Agent dieses Crawlers, nicht NennBot.

NennBot in robots.txt sperren oder erlauben

Bei einer vollen Prüfung liest NennBot zuerst robots.txt. Er öffnet nie eine Seite, die robots.txt für ihn sperrt.

  • NennBot für volle Prüfungen sperren
    User-agent: NennBot
Disallow: /
  • Einen Ordner sperren
    User-agent: NennBot
Disallow: /private/
  • NennBot erlauben, andere Bots sperren
    User-agent: *
Disallow: /

User-agent: NennBot
Allow: /
  • Eine Gruppe für NennBot ersetzt für ihn die Gruppe *. Regeln in * gelten dann nicht für NennBot.
  • Er liest Allow und Disallow sowie die Platzhalter * und $. Die längste passende Regel gewinnt. Bei Gleichstand gewinnt Allow.
  • Sperrt Ihre robots.txt die Startseite, hört Nenn auf und sagt es seinem Kunden.

Der Testlauf auf nenn.io/check

Diese Prüfung liest viel weniger. Sie lädt die Startseite, das Icon, robots.txt und llms.txt.

Bei deutschen Websites ohne Stadt auf der Startseite öffnet sie eventuell /impressum oder /kontakt.

Sie nutzt denselben User-Agent. Sie liest bis zu 2 MB pro Seite und merkt sich das Ergebnis 24 Stunden.

Sie prüft robots.txt nicht, bevor sie diese Seiten öffnet.

Kontakt

NennBot gesehen und eine Frage? Schreiben Sie an hello@nenn.io.

Neu bei Nenn? Sehen Sie, was Nenn macht.