seit ein paar Tagen greift Google übertrieben oft auf meine
sitemap.txt zu, obwohl ich keine neue eingereicht habe (nachfolgend
ein Auszug aus meinen Logfiles).
14 Zugriffe auf diese Datei innerhalb 8 Stunden (das geht aber rund um
die Uhr so!) halte ich schon deshalb für übertrieben, weil ich in den
Webmaster-Tools die
Crawling-Geschwindigkeit auf 'langsam' herabgesetzt habe.
> kontrolliere mal die IP-s von denen diese zugriffe kommen, evtl. ist
> das gar nicht wirklich google?
So etwas checke ich zuerst. DOCH, es ist Google.
Dieses merkwürdige Verhalten beobachte ich erst seit ein paar
Tagen ...
Vielleicht hört es ja irgendwann von alleine wieder auf.
Aber es ist schon ärgerlich, weil da unnötige Seitenzugriffe erfolgen.
Ich schaue mal, ob ich diesbezüglich in den WMTs was ändern/einstellen
kann.
theoretisch könnten die Anfragen auch von verschiedenen Google-
Rechenzentren kommen. Das wäre aber an unterschiedlichen IP's zu
erkennen.
8 Anfragen innerhalb von 14 Stunden ist aber wirklich nicht viel. Das
ist 1 Anfrage alle 105 Minuten. Die Anfragefrequenz hängt ja auch
meist (aber nicht zwingend) mit dem Interesse an Deinem Auftritt
zusammen. Jetzt stelle Dir mal vor, Google würde bei entsprechender
Anzahl Seiten sekündlich oder noch häufiger Seiten bei Dir abrufen.
Bricht dann Dein Server zusammen oder reicht der Volumentarif dann
nicht mehr? Was machst Du erst, wenn entsprechend viele richtige
Besucher auf Deine Seite kämen?
> 8 Anfragen innerhalb von 14 Stunden ist aber wirklich nicht viel. Das
> ist 1 Anfrage alle 105 Minuten.
14 Anfragen innerhalb 8 Stunden aber schon. ;)
Und alle betreffen die Sitemap!
> Die Anfragefrequenz hängt ja auch
> meist (aber nicht zwingend) mit dem Interesse an Deinem Auftritt
> zusammen.
Das gesteigerte Interesse an meiner Sitemap ist aber doch schon
merkwürdig.
Zur Info:
In meiner Sitemap sind 556 URLs (von ca. 2.500) erfasst.
Google hat davon 206 indiziert.
Sobald ich eine Site ändere oder eine neue hinzu kommt,
reiche ich eine neue Sitemap ein.
Google muss also nicht rund 40 x pro Tag nachschauen,
ob sich an meiner Sitemap was geändert hat ...
Und bisher geschah das auch nur alle paar Tage 1 x.
Ich denke, dass Google bei das bei dir auch nicht tut.
> Jetzt stelle Dir mal vor, Google würde bei entsprechender
> Anzahl Seiten sekündlich oder noch häufiger Seiten bei Dir abrufen.
... Aber warum so oft die Sitemap???
Im Übrigen würde ich das dann über die robots.txt bzw.
den Metatags regulieren (das mache ich jetzt auch schon).
> Bricht dann Dein Server zusammen oder reicht der Volumentarif dann
> nicht mehr?
Darum gehts ja nicht. Sondern darum, dass Google unnötig oft
nachschaut, ob sich meine Sitemap geändert hat.
Dass es genauso oft seinen Index aktualisiert, ist völlig okay.
> Was machst Du erst, wenn entsprechend viele richtige
> Besucher auf Deine Seite kämen?
Das halte ich für ausgeschlossen.
Meine Erfahrung aus 8 Jahren zeigt, dass sich
die "breite Masse" nicht für meine Seiten interessiert.
Und solange ich am Inhalt meiner Seiten nichts ändere,
muss ich über Besuchermassen nicht nachdenken. ;)
> Das gesteigerte Interesse an meiner Sitemap ist aber doch schon
> merkwürdig.
Google weiß sehr wohl, dass die Seitemaps nicht von allen nur dann
eingereicht wird, wenn sich daran Änderungen ergeben haben. Das ist
wohl ein Erfahrungswert, weshalb sie eben öfter zugreifen!
> Google muss also nicht rund 40 x pro Tag nachschauen,
> ob sich an meiner Sitemap was geändert hat ...
> Und bisher geschah das auch nur alle paar Tage 1 x.
> Ich denke, dass Google bei das bei dir auch nicht tut.
Ohhhh, das tut Google sehr wohl. Heute bisher 196 Zugriffe. Allerdings
haben wir auch über 287.000 Seiten über mehrere Sitemaps verteilt
(Freizeitangebote, Veranstaltungen und Filme), von denen ca. 57.500 im
Index sind.
> ... Aber warum so oft die Sitemap???
> Im Übrigen würde ich das dann über die robots.txt bzw.
> den Metatags regulieren (das mache ich jetzt auch schon).
Auch wir senden nicht mit jeder Änderung der Sitemaps eine
Aktualisierungsnachricht, weil wir wissen, dass diese Daten ohnehin
von Google regelmäßig gelesen werden. Ein erneutes Einreichen wird nur
bei Fehlerkorrekturen bzw. dringenden Änderungen durchgeführt.
> das Problem hat sich (merkwürdigerweise) von alleine gelöst:
> Ich habe meine Sitemap geändert, ohne sie Google einzureichen!
Das machen wir normalerweise täglich so (Ausnahmen s.o.).
> Seit dem greift Google nicht mehr darauf zu (eigentlich papadox!).
Das halte ich eher für einen Zufall, unsere Erfahrung spricht dagegen,
dass es diesen Zusammenhang gibt.
> Das scheint wohl der "Trick" zu sein.
> In Zukunft weiß ich Bescheid.
Ich denke nicht, dass es da einen Trick gibt. Es ist überflüssige
Mühe, Googles Treiben in allen Details verstehen zu wollen. Es wird
wohl eher so sein, dass sie es teilweise schon selbst nicht mehr
verstehen...
Die IPs werden sicher nicht immer auf eine einzige beschränken...
Googles Crawler kommen von verschiedenen Datencentern, die zunächst
unabhängig voneinander arbeiten.
Demnach wird auch jedesmal die Sitemap angesteuert, da ja links nicht
weiß, was rechts macht.
Irgendwann werden all diese Daten abgeglichen, bis alle Datencenter
wieder auf einem Stand sind.
Von daher kann ich mir schon vorstellen, wieso eine Sitemap öfter
angesteuert wird.
Man korrigiere mich, wenn ich nun komplett falsch liege ;)
> > das Problem hat sich (merkwürdigerweise) von alleine gelöst:
> > Ich habe meine Sitemap geändert, ohne sie Google einzureichen!
> Das machen wir normalerweise täglich so (Ausnahmen s.o.).
> > Seit dem greift Google nicht mehr darauf zu (eigentlich papadox!).
> Das halte ich eher für einen Zufall, unsere Erfahrung spricht dagegen,
> dass es diesen Zusammenhang gibt.
> > Das scheint wohl der "Trick" zu sein.
> > In Zukunft weiß ich Bescheid.
> Ich denke nicht, dass es da einen Trick gibt. Es ist überflüssige
> Mühe, Googles Treiben in allen Details verstehen zu wollen. Es wird
> wohl eher so sein, dass sie es teilweise schon selbst nicht mehr
> verstehen...
