Discovery

robots.txt 是面向爬虫的偏好；sitemap 是 URL 清单；两者都不是授权层。