Google Search Console // Fehlermeldungen

Ich würde mal meine robots.txt auf dem FTP downloaden und überprüfen. Beziehungsweise zunächst im SEO-Plugin und bei den Security Plugins schauen, wer sie blockiert und warum. Für die verweisende Seiten würde ich schauen, dass Signale von außen kommen. bloglovin, Flipboard, Pinterest oder derlei. Meine Filmankündigungen gehen immer über Flipboard raus und dann bei Google über Sofortige Indexierung rein.

Welches SEO-Plugin verwendest du? Liefert es Sitemaps mit aus?

Wenn ich deinen Beitrag hier richtig lese, dann sagt dir google nur, dass es zwei Seiten nicht in den index aufgenommen hat, weil diese das via tag unterbinden (no-index). Beide Links führen auf deine 404-Fehlerseite, weil es die Seiten nicht mehr gibt.

Irgendwo hast du vermutlich noch einen Link auf diese Seiten und Google versucht dem Link zu folgen.

An sich ist das aber erstmal nichts Schlimmes, Google hat zwei Links gefunden, deren Seiten es nicht mehr gibt und deine Fehlermeldung für fehlende Seiten sagt völlig korrekt, dass sie nicht bei Google aufgelistet werden soll.

Da stimme ich mauricerenck zu. Meine Vermutung wäre hier aber, dass es eine Sitemap ist, die diese Seite nicht aus dem Index nimmt. Frage: in meiner GSC gibt es links im Menü unter Indexierung entfernen. Hast du diese Möglichkeit auch? Dann würde ich die Seite aus dem Index schmeißen und wie oben gesagt, mal schauen woher Google das hat. Damit es sich nicht wieder einlistet.

Zitat von Be Positive - Anja

"noindex" im Meta-Tag "robots" erkannt

Dazu nochmal eine Frage. Eine robots.txt habe ich nicht auf meinen Server?

In Yoast habe ich auch nichts gefunden, wo es deaktiviert sein soll.

Ich kenne die aktuellen Yoast-Versionen nicht mehr, kann mir aber vorstellen, dass die keine robots.txt Datei mehr erstellen, sondern sich die Daten aus der Datenbank holen und automatisch ausspielen, sobald die robots.txt angefragt wird: https://loveanjalove.de/robots.txt

Dort ist auch nur die Sitemap hinterlegt.

also ich habe kein Yoast, sondern Rank Math und da konnte ich es auswählen. meine Robots.txt ist aber auf dem Server hinterlegt. Schaut so aus:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://vielleserin.de/sitemap_index.xml

User-agent: *
Disallow: /*blackhole
Disallow: /?blackhole

User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

Auf diese Weise habe ich die Spambots ausgeladen und mein Backend nicht indexiert.

Wenn keine Robots.txt auf dem Server liegt, findet google sie vermutlich deshalb nicht. Ich würde sie notfalls händisch anlegen und bei Yoast deaktivieren. Kopiere dir deine einfach leg eine txt-Datei an und lad sie über FTP hoch. Yoast sollte sie erkennen. Zumindest war es bei Rank Math so.

Robots Text für Wordpress:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php

Sitemap: http://eure-domain.dings/sitemap.xml (wenn die Sitemap dort auch liegt, gelle)

Erklärungen zu den Einträgen:

User-agent: Die Regeln gelten für alle Crawler (Suchmaschinen-Bots).
Disallow: /wp-admin/: Schließt das wp-admin Verzeichnis aus, wo administrative Funktionen laufen.
   Disallow: /wp-includes/: Schließt das wp-includes Verzeichnis aus, wo Kernfunktionalitäten von WordPress liegen.
Disallow: /wp-content/plugins/: Schließt das wp-content/plugins Verzeichnis aus, wo Plugins gespeichert sind.
   Disallow: /wp-content/themes/: Schließt das wp-content/themes Verzeichnis aus, wo die Themes gespeichert sind.
   Allow: /wp-admin/admin-ajax.php: Erlaubt den Zugriff auf die admin-ajax.php Datei im wp-admin Verzeichnis, was wichtig für AJAX-Anfragen ist.

Sitemap: http://eure-domain.dings/sitemap.xml: Gebt hier die URL zur Sitemap an, die den Suchmaschinen hilft, die Struktur deiner Website zu verstehen.

Warum ist Allow: /wp-admin/admin-ajax.php wichtig?

AJAX-Funktionalität: Viele WordPress-Plugins und Themes verwenden AJAX, um dynamische Inhalte zu laden, Daten zu verarbeiten oder Formulare asynchron zu senden. Diese Funktionalität würde beeinträchtigt werden, wenn admin-ajax.php blockiert wäre.
Ausserdem spielt Performance und Benutzererfahrung eine Rolle: Eine funktionierende AJAX-Unterstützung kann die Ladezeiten verringern und die Benutzererfahrung verbessern, da nicht die gesamte Seite neu geladen werden muss.

Edit: ok ... mit eurer Zitatfunktion komm ich irgendwie nicht klar, also so:


Disallow: /*blackhole
Disallow: /?blackhole
- Ob das Sinne macht, ist die Frage. Da geht es sich eher drum Spambots fern zu halten. Die Frage wäre: Wärt ihr ein Spambot, würdet ihr euch von einer Textdatei abhalten lassen? Aber gut: Buchstaben in Textdateien kosten nichts, also kann man es rein schreiben.

Das hier sagt im Grunde dem Googlebot: Den Rest darfst du ... Nun ja ... Der Googlebot macht eh was er will, der hält sich nur an ganz wenige Regeln. Buchstaben in Textdateien kosten zwar nichts, aber ... nötig ist das wirklich nicht.:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

Basti81NRW Blackhole ist ein Plugin, dass ich auf dem meiner Blogs nutze. Bislang mit Erfolg. Es funktioniert! Gerade erst gesehen. Da fehlt eine Anmerkung beziehungsweise ein Teil der Erklärung.

Anjaliebt. Du hast das Plugin nicht installiert, also brauchst du diesen Eintrag nicht. Das Plugin wert Bots ab, die auf einer Liste stehen und verhindert, dass diese IP-Adresse meine Seiten aufstöbern und reduziert so Spam in Kommentaren und noch wichtiger, es währt auch einige Angriffe ab, wobei ich das zumeist ohne Plugins in der .htaccess habe.

Hallo Marie, freut mich zu hören, dass es funktioniert. Ich habe es mir spaßeshalber auch mal installiert, um es zu testen. Mal sehen was sich da so verändert.

Von gehört hatte ich in Verbindung mit Wordpress schon, aber ausprobiert hab ich voher nicht nicht. Grundlegend (falls es noch wer nicht kennt), was ich im Netz darüber gefunden hab:

Blackhole for Bad Bots funktioniert, indem es eine spezielle „Falle“ auf der WordPress-Seite erstellt, die nur von Bots betreten werden kann, die sich nicht an die festgelegten Regeln für gute Bots halten.
Das Plugin erstellt eine versteckte URL oder eine spezielle Seite auf dem Blog, die als Falle dient. Diese Seite enthält Anweisungen, die nur menschliche Nutzer ignorieren können. Bots, die die Seite crawlen, folgen jedoch oft jedem Link und stoßen auf diese Falle.

Gute Bots (wie Googlebot) folgen den Anweisungen in der robots.txt Datei und vermeiden die Falle. Blackhole fügt deiner robots.txt Datei eine Regel hinzu, die besagt, dass Bots diese spezielle URL nicht besuchen sollen. (Automatisch hat das bei mir schon mal nicht funktioniert, das sollte man auf jeden Fall überprüfen. In dem Fall ist sind das die beiden Zeilen die hier schon genannt wurden:
Disallow: /*blackhole

Disallow: /?blackhole

Wenn ein Bot die Regel missachtet und die versteckte URL besucht, wird er von Blackhole erkannt und in eine Liste verdächtiger Bots aufgenommen.
Der Bot wird dann auf eine schwarze Liste gesetzt und zukünftig für den Blog blockiert. Jeder weitere Zugriff wird dem Bot verweigert.

Mal sehen