https://www.xbcatm.com/zh/tags/discovery/基于 HTTP、DNS、TLS、Caddy、SSH、发布与恢复的可复现运维现场笔记。Hugozh-CNhttps://www.xbcatm.com/zh/notes/robots.txt-and-sitemaps-answer-different-questions/Sat, 22 Aug 2026 00:00:00 +0000https://www.xbcatm.com/zh/notes/robots.txt-and-sitemaps-answer-different-questions/把爬虫偏好、URL 发现与访问控制分开。<p>两个小文件常被当成安全边界使用，但它们不是。<code>robots.txt</code> 描述爬虫偏好，sitemap 则给搜索系统一份属于该站点的 URL 清单。</p> <h3 id="robotstxt-能做什么不能做什么">robots.txt 能做什么、不能做什么</h3> <p>规则发布于源站根路径 <code>/robots.txt</code>，由配合的爬虫读取。它不会保护私有目录、不会从网络上移除 URL，也不能替代认证。不应公开的路由需要服务器授权或网络边界。</p> <p>让文件保持平实，并测试它的实际位置：</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">User-agent: * </span></span><span class="line"><span class="cl">Disallow: </span></span><span class="line"><span class="cl">Sitemap: https://www.example.test/sitemap.xml </span></span></code></pre></div><p>文件应为 UTF-8。如果部署会重定向它，请核验你想要的爬虫行为，而不是假设每个客户端都遵循同一条链。</p> <h3 id="sitemap-增加了什么">sitemap 增加了什么</h3> <p>sitemap 是一份清单，而不是权限列表。使用单一主机的绝对 URL、正确做 XML 转义，并且只列出你准备发布的规范页面。不要因为某个 URL 存在于构建目录就把它列出。</p> <p>协议允许每个 sitemap 文件最多 50,000 个 URL 与 50 MB。小站不需要 index 文件；一份普通 sitemap 更容易检视。把它的 XML 校验通过，并像普通页面一样通过同一 HTTPS 边缘请求它。</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-sh" data-lang="sh"><span class="line"><span class="cl">curl -fsS https://www.example.test/robots.txt </span></span><span class="line"><span class="cl">curl -fsS https://www.example.test/sitemap.xml <span class="p">|</span> xmllint --noout - </span></span></code></pre></div><p>如果未安装 <code>xmllint</code>，请在发布它的同一个 CI 环境里解析该 XML。重要的是检查要在文件被替换到边缘之前运行。</p> <h2 id="来源">来源</h2> <ul> <li><a href="https://www.rfc-editor.org/rfc/rfc9309.html">RFC 9309 — Robots Exclusion Protocol</a>，robots 规则、文件位置与 user-agent 匹配，已核验 2026-08-22。</li> <li><a href="https://www.sitemaps.org/protocol.html">Sitemaps Protocol</a>，sitemap XML 结构与发现，已核验 2026-08-22。</li> </ul>