Sehr informativer Artikel über die robots.txt in Bezug auf KI-Crawler:
KI‑Crawler in der robots.txt: zulassen oder blockieren?
GPTBot, ClaudeBot & Co.: Welche KI‑Crawler solltest du in der robots.txt zulassen, welche blockieren? Praxisleitfaden mit drei Konfigurationen → jetzt lesen.
www.perun.net