Web

一个爬虫图标，旁边是分支状的 sitemap 结构。

robots.txt 与 sitemap 回答不同的问题

robots.txt 是面向爬虫的偏好；sitemap 是 URL 清单；两者都不是授权层。

八月 22, 2026 · 1 分钟 · XB Field Notes