robots-observatory: Ich messe, ob KI-Crawler die robots.txt wirklich respektieren
Die robots.txt ist keine technische Sperre, sondern eine höfliche Bitte. Jeder grosse KI-Anbieter versichert, dass seine Crawler sich daran halten. Überprüfbar ist das kaum, weil […]