Search Engine Journal· Matt G. Southern·· 6 小时前AI 评分32
Google 的 Mueller：服务器日志显示 AI 爬虫会访问 sitemap 和 RSS
Google’s Mueller Says AI Crawlers Access Sitemaps & RSS In His Logs via @sejournal, @MattGSouthern
AI 导读
Google 的 John Mueller 在 10 月 1 日 Search Off the Record 播客中表示，AI 训练爬虫通常不提供提交 sitemap 的入口，希望被 AI 抓取内容的站点应使用默认文件名 sitemap.xml 或重点维护 RSS feed，他在自己的服务器日志中已看到 AI 爬虫访问其 sitemap 和 RSS 文件。
来源：Search Engine Journal · searchenginejournal.com