Les crawlers des IA deviennent un sérieux problème pour le web, même pour Wikimédia
Source : NEXT INpact
Publié le : jeudi 3 avril 2025 à 15:06
Pour entrainer et tenir à jour leurs intelligences artificielles, les crawlers des entreprises d’IA parcourent le web en permanence et sont suspectés de ne pas respecter les fameux robots.txt censés permettre leur blocage. Leur activité va jusqu’à mettre en péril des sites web de projets de logiciels libres ou toucher fortement les activités de Wikimédia. […]