Crawler

Die robots.txt ist keine technische Sperre, sondern eine höfliche Bitte. Jeder grosse KI-Anbieter versichert, dass seine Crawler sich daran halten. Überprüfbar ist das kaum, weil […]