SEO · XB 现场笔记

Sitemap 帮助爬虫发现页面

Wed, 30 Jun 2027 00:00:00 +0000

Sitemap 为爬虫提供一份明确的候选网址清单，适合帮助发现新内容或普通导航中较深的文档。这份列表不会绕过登录、授予抓取权限、保证搜索收录，也不能承诺某天一定重新访问。应把它视为计划公开文档的发布清单，并让清单与规范网址及实际发布状态保持一致。文件成功上传，只能说明某一步交付发生了，不能替代后续抓取和收录证据。

从发布清单生成

使用与公开页面相同的权威内容筛选规则，排除草稿、私有文档和多余的跟踪参数变体。源码目录里存在一个文件，不代表它已经对应公开 URL；反过来，分页、翻译文档或生成路由，也未必与源文件逐一对应。因此需要查看生成器实际输出，而不是仅凭目录列表猜测发布范围。内容筛选与 sitemap 生成相互独立维护，容易出现遗漏或提前暴露未发布入口。

XML sitemap 使用声明的命名空间，以及包含网址条目的 urlset，每个 loc 提供完整网址。XML 转义与 URL 编码解决不同问题：分隔查询参数的与号，需要在 XML 文本里转义，而网址本身的字符也必须符合相应 URI 表示方式。生成后应重新解析文件，确认经过两层处理，仍然得到原本希望发布的网址，不能因为 XML 看起来能打开就省略这一检查。

还要遵守格式的范围与大小条件。通常应列出相应主机及允许位置范围内的网址，受支持的跨站提交安排有额外规则。每份 sitemap 最多五万个网址，未压缩内容不得超过 52,428,800 字节。gzip 可以减少传输量，却不能取消解压后的上限。更大的清单应拆分并使用适当索引，不能为了让文件通过检查而悄悄截断后面的页面。

这份清单本身也是公开数据。私有文档没有出现在导航里，并不意味着它的网址可以放心写入公开 sitemap。发布前应检查生成 XML 是否暴露了不该公开的入口，同时在资源处独立执行访问控制。爬虫发现偏好与权限控制是不同机制，清单筛选不能替代真正的授权检查。

坏掉的样子

XML 合法的文件，仍可能列出跳转、缺失页面或不应进入索引的内容。应同时验证目标与语法，并让目标上的 canonical 声明符合预期清单。某个地址返回二百，却只有登录界面或通用错误页，不能证明列出的文档真正可用。Sitemap 自身成功交付，与其描述的页面是否有用，需要分别检查，不能在一个状态码上完成所有判断。

修改时间也可能失真。提供 lastmod 时，应依据页面有意义的变化，而不是每次构建都刷新所有条目的时间。Google 明确说明，它会使用持续准确的 lastmod，并忽略 priority 和 changefreq。这些字段不是调度接口，把所有页面都标成最高优先级，也不能命令爬虫增加访问。没有可信历史依据时，省略可选字段比编造精确时间更诚实。

Sitemap 不能让私有页面自动公开，也不会覆盖 robots 限制。提交之后，搜索引擎未必选择相同的规范网址，未必读取每一项，更不保证全部进入结果。普通导航仍然应该可用，后续结果则需要依据实际抓取或索引报告判断。不能把上传成功写成发现和收录已经完成，否则发布记录与外部系统的真实状态就会混在一起。

快速验证

保存为 sitemap.py，执行 python3 sitemap.py。标准库实验提供生成的 XML sitemap，以及一个很小的本地发布清单。三个条目公开，其中一个包含两个查询参数；草稿被排除。生成的网址只指向临时回环源站，验证器在请求目标之前先检查范围，因此不会顺着输入访问无关外部主机。这里的清单内容全部是演示数据。

from http.client import HTTPConnection
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from threading import Thread
from urllib.parse import urlsplit
import json
import xml.etree.ElementTree as ET

namespace = 'http://www.sitemaps.org/schemas/sitemap/0.9'
ET.register_namespace('', namespace)
pages = {'/article': True, '/zh/article': True, '/report?year=2026&region=west': True, '/draft': False}
state = {'bad_entry': False}


class Handler(BaseHTTPRequestHandler):
 def do_GET(self):
 if self.path == '/sitemap.xml':
 root = ET.Element(f'{{{namespace}}}urlset')
 paths = [path for path, public in pages.items() if public]
 if state['bad_entry']:
 paths.append('/missing')
 for path in paths:
 item = ET.SubElement(root, f'{{{namespace}}}url')
 ET.SubElement(item, f'{{{namespace}}}loc').text = f'http://127.0.0.1:{self.server.server_port}{path}'
 status, data, kind = 200, ET.tostring(root, encoding='utf-8', xml_declaration=True), 'application/xml'
 else:
 status = 200 if pages.get(self.path) else 404
 data, kind = (b'published page' if status == 200 else b'missing'), 'text/plain'
 self.send_response(status)
 self.send_header('Content-Type', kind)
 self.send_header('Content-Length', str(len(data)))
 self.end_headers()
 self.wfile.write(data)

 def log_message(self, *args):
 pass


server = ThreadingHTTPServer(('127.0.0.1', 0), Handler)
thread = Thread(target=server.serve_forever)
thread.start()
try:
 def fetch(path):
 connection = HTTPConnection('127.0.0.1', server.server_port, timeout=5)
 try:
 connection.request('GET', path)
 response = connection.getresponse()
 return response.status, response.read()
 finally:
 connection.close()

 def validate(data):
 root = ET.fromstring(data)
 assert root.tag == f'{{{namespace}}}urlset'
 locations = [item.text for item in root.findall(f'{{{namespace}}}url/{{{namespace}}}loc')]
 assert len(locations) == len(set(locations))
 for location in locations:
 parsed = urlsplit(location)
 assert (parsed.scheme, parsed.hostname, parsed.port) == ('http', '127.0.0.1', server.server_port)
 path = parsed.path + ('?' + parsed.query if parsed.query else '')
 status, _ = fetch(path)
 if status != 200:
 raise ValueError(f'listed URL returned {status}: {path}')
 return locations

 status, data = fetch('/sitemap.xml')
 assert status == 200 and b'&amp;' in data
 locations = validate(data)
 assert len(locations) == 3 and all('/draft' not in value for value in locations)
 assert any('?year=2026&region=west' in value for value in locations)
 state['bad_entry'] = True
 _, invalid = fetch('/sitemap.xml')
 try:
 validate(invalid)
 except ValueError as error:
 rejection = str(error)
 else:
 raise AssertionError('missing destination accepted')
 print(json.dumps({'public_urls': len(locations), 'query_round_trip': True,
 'draft_excluded': True, 'invalid_destination_rejected': rejection,
 'indexing_tested': False}))
finally:
 server.shutdown()
 thread.join()
 server.server_close()

第一份 sitemap 在正确命名空间中包含三个不重复 loc。原始 XML 将查询分隔符写成 &，解析后则恢复成网址中预期的与号。三个目标均返回二百，草稿没有进入清单。示例没有填入可选修改日期，因为它不存在能够支持这些日期的发布历史来源。验证输出保留各项结论，而不是仅记录解析器没有报错。

随后实验加入一个缺失目标，但 sitemap 仍是合法 XML，获取它的 HTTP 状态也仍为二百。第二次验证会在列出的地址返回四零四时失败，说明语法检查不能证明清单有效。验证器报告问题，而不是在检查过程中静默删掉坏条目，避免把错误隐藏成已经通过的发布结果。清单修正应当回到生成输入完成。

实验没有联系搜索引擎，小验证器也没有实现全部协议限制和索引规则。它验证的是所列案例的生成、转义、命名空间、唯一性、本地范围及目标可达性。真正发布之前，还应把 sitemap 与完整的计划公开清单比较，并在对外声明的网址读取已发布文件。这样建立的是实际交付证据，不是对爬虫后续选择的控制承诺。

来源

Sitemaps.org protocol，XML 结构、网址编码、范围及大小限制，已核验 2026-09-13。
Google: build and submit a sitemap，规范网址、有意义的 lastmod 及不采用的提示字段，已核验 2026-09-13。

Canonical URL 标识首选表示

Sat, 26 Jun 2027 00:00:00 +0000

同一文档可能由多个地址提供：跟踪参数、别名主机或末尾斜杠变化，都可能不改变有意义的内容。canonical 链接用于指出合适重复表示中的首选版本，帮助接收方理解它们的关系，但不会自动重定向 HTTP 请求，也不能强制搜索引擎采用声明的网址。只有目标与周围信号符合真实内容关系，这份声明才有价值；标签存在本身并不等于规范化已经完成。

先确定身份，再写标签

先决定哪个公开网址代表这份文档，再让站内链接和相关 sitemap 条目与这个选择一致。不能机械删除所有查询参数：跟踪参数可能多余，语言、页码或商品选择却可能实质改变表示。如果没有比较含义就把它们全部折叠到一个地址，会把不同文档指向错误的首选页面。规范化应当反映资源关系，而不是只让网址看起来更短。

HTML 中应把带有 rel="canonical" 的 link 元素放入有效 head，并提供清晰目标。对于 PDF 等其他表示，也可以用 HTTP Link 响应头表达这一关系。优先采用完整公开网址，减少 base 地址或部署前缀造成的歧义。生成时应依据站点预期的公开配置，而不是意外把代理内部主机名写进页面。实际发布结果需要再次检查，不能仅查看模板参数。

canonical 链接关系本身不要求目标必须位于同一个源站。跨域声明需要仔细审查内容与控制关系，声明一个值并不能证明拥有目标。对翻译页面，如果同语言的合适规范页面存在，通常应选择该语言目标。语言替代与内容重复是不同关系，把所有中文页面都指向英文首页，会抹掉有意义的文档区别，不能称为准确的去重处理。

坏掉的样子

声明目标可能报错、继续重定向，或者又指向另一个 canonical。模板、插件和响应头各自生成声明，也可能产生相互冲突的值。应检查完整响应，而不是只搜索有没有一个标签。首选目标需要能够使用，声明也要与实际表示一致。多个位置各自维护相同事实时，更应明确权威来源，避免一次修改只更新了其中一处。

普通链接关系不会改变原始地址的可访问性，除非路由另外配置了行为。如果旧路径需要对所有客户端迁移，就应设置合适的 HTTP 重定向，并验证它对方法的影响；如果变体仍有用途，也可以继续成功响应并提供 canonical。不能把元数据提示等同于跳转、访问授权，或者爬虫必须执行的命令。用户与搜索系统可能观察到不同层面的结果。

搜索引擎会综合多种信号，也可能选择另一份规范网址。因此，标签正确不等于收录已经收敛。应区分源站实际提供的声明与搜索服务报告的选择，排查站内链接、sitemap、跳转或语言元数据是否互相矛盾。发生分歧时，不应只是在更多位置重复添加同一个标签，而应先确认它表达的内容关系是否真实且一致。

快速验证

保存为 canonical.py 并执行 python3 canonical.py。脚本创建临时回环 HTTP 源站，用 Python HTML 解析器读取实际响应，提供英文文档、跟踪参数变体、中文文档和两个故意不一致的元数据案例。本地网址只是演示身份，并不会提交给搜索引擎，也没有检查任何真实搜索账号或收录记录。

from html.parser import HTMLParser
from http.client import HTTPConnection
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from threading import Thread
import json


class Canonical(HTMLParser):
 def __init__(self):
 super().__init__()
 self.urls = []

 def handle_starttag(self, tag, attrs):
 values = dict(attrs)
 if tag == 'link' and 'canonical' in values.get('rel', '').split():
 self.urls.append(values.get('href'))


class Handler(BaseHTTPRequestHandler):
 def do_GET(self):
 origin = f'http://127.0.0.1:{self.server.server_port}'
 chinese = self.path.startswith('/zh/')
 target = '/zh/article' if chinese else '/article'
 if self.path == '/zh/wrong':
 target = '/article'
 link = f'<link rel="canonical" href="{origin}{target}">'
 if self.path == '/conflict':
 link += f'<link rel="canonical" href="{origin}/another">'
 title = '中文文章' if chinese else 'English article'
 data = f'<!doctype html><html lang="{"zh" if chinese else "en"}"><head><meta charset="utf-8"><title>{title}</title>{link}</head><body><h1>{title}</h1></body></html>'.encode()
 self.send_response(200)
 self.send_header('Content-Type', 'text/html; charset=utf-8')
 self.send_header('Content-Length', str(len(data)))
 self.end_headers()
 self.wfile.write(data)

 def log_message(self, *args):
 pass


server = ThreadingHTTPServer(('127.0.0.1', 0), Handler)
thread = Thread(target=server.serve_forever)
thread.start()
try:
 origin = f'http://127.0.0.1:{server.server_port}'

 def fetch(path):
 connection = HTTPConnection('127.0.0.1', server.server_port, timeout=5)
 try:
 connection.request('GET', path)
 response = connection.getresponse()
 text = response.read().decode()
 parsed = Canonical()
 parsed.feed(text)
 return response.status, response.getheader('Location'), text, parsed.urls
 finally:
 connection.close()

 variant = fetch('/article?utm_source=example')
 primary = fetch('/article')
 translated = fetch('/zh/article')
 assert variant[:2] == (200, None) and variant[2] == primary[2]
 assert variant[3] == [origin + '/article']
 assert translated[3] == [origin + '/zh/article']
 wrong = fetch('/zh/wrong')
 conflict = fetch('/conflict')
 assert wrong[3] != [origin + '/zh/article']
 assert len(conflict[3]) == 2
 print(json.dumps({'variant_status': variant[0], 'variant_redirect': variant[1],
 'same_representation': variant[2] == primary[2],
 'english_target': variant[3], 'chinese_target': translated[3],
 'wrong_language_detected': True, 'conflicting_targets': len(conflict[3]),
 'search_engine_selection_tested': False}))
finally:
 server.shutdown()
 thread.join()
 server.server_close()

跟踪参数变体返回二百，没有 Location 响应头；其字节与英文主页面一致，canonical 指向 /article。中文页面则指向 /zh/article。这同时验证了示例里的重复关系，以及两种语言表示之间的区别。仅提供 canonical 不会让这次 HTTP 请求变成跳转，因此客户端取得的仍是所请求地址的成功响应。

错误语言案例把中文响应指向英文目标；冲突案例则输出两个不同的规范目标。两者都仍然返回二百，所以只看状态的检查会漏掉问题。断言通过读取元数据并比较预期语言映射，识别了这两种具体不一致，并没有猜测搜索引擎面对错误声明时必定采用哪一种处理方式。

这里没有爬虫参与，小解析器也不是完整规范化验证器。实验说明服务器提供了什么声明、怎样响应，不代表 Google 选择了哪个 canonical，更不代表排名结果。调整生产身份之前，应把等价内容、公开目标、已有入口和语言关系一起审阅，并保留原地址或有意设置的重定向，避免元数据整理悄悄破坏用户已经保存的链接。

来源

RFC 6596: canonical link relation，首选表示及 canonical 链接关系的范围，已核验 2026-09-13。
Google: consolidate duplicate URLs，规范网址信号、目标一致性与语言处理，已核验 2026-09-13。

重定向链增加后续请求

Sun, 04 Oct 2026 00:00:00 +0000

客户端跟随重定向时，需要先读取 Location，解析目标地址，再发出后续请求，才能取得需要的表示。几个单独看来合理的规则经常组合成长链：规范主机名、切换到 HTTPS、补齐末尾斜线、迁移旧文章。检查时应从用户实际访问的旧地址出发，沿完整路径观察，因为每一个中间环节都会增加依赖。

请求次数不等于连接次数

实际从网络读取的新重定向通常增加一次顺序发生的请求与响应交换。客户端要等前一个响应给出目标，才能继续访问，所以它会推迟最终内容的获取。但“再发请求”不等于“必须重新建立 TCP 连接”。同源 HTTP/1.1 可以复用持久连接，HTTP/2 和 HTTP/3 则有各自的连接与流机制。切换主机可能额外触发域名解析或建连，是否真的发生还取决于已有连接和缓存。

浏览器内部升级和缓存重定向也会改变网络轨迹。HSTS 可能直接把 HTTP 地址升级为 HTTPS，不必先请求明文入口；永久重定向也可能已经存储在缓存。因此，不能为每一跳规定固定耗时，更不能直接断言三个重定向就让整页加载慢三倍。图片、脚本及渲染都可能占据更多时间，必须结合真实瀑布图判断关键路径。

状态码首先表达语义。301 和 302 的历史处理允许把 POST 改为 GET，307 与 308 要求保留方法，303 则指向另一个资源的检索。永久性与可缓存性同样需要考虑。为了把请求列表变短而统一改成永久跳转，可能让客户端长期记住一次错误配置，即使服务器随后修复也不能立即消除影响。

Location 可以使用相对引用，必须结合当前请求地址解析后，再判断目标源和路径是否符合预期。只记录原始响应头可能掩盖问题：相同的相对值从不同目录返回，最终会指向不同位置。故障记录应同时保留原始值和解析结果。

坏掉的样子

两个规则可能互相反向，例如一个规则添加斜线，另一个又删除斜线。分别检查两个端点都能收到响应，并不能证明访问最终会结束。客户端通常有跳转次数上限，但触及上限依然意味着用户任务失败。修改共享规则后，需要记录访问过的目标，并覆盖具有代表性的旧地址、带参数地址及不同入口。

中间地址失效时，最终页面即使健康也无法保证整条路径可达。可以把内部链接更新为最终规范地址，并在语义允许时让历史地址直接跳过去。修改过程中仍要保留有业务意义的查询参数和编码，不能因为少一跳就丢失筛选条件。也不要接受完全不受约束的用户目标地址，或把身份凭据无条件转发到另一个源。

抓取程序同样需要处理额外请求，但重定向链并不能换算成固定的搜索排名损失。搜索引擎有独立的处理规则和上限，本地实验没有测量这些行为。可报告的是跳转数量、是否循环、最终状态及目标是否一致；这些证据比对排名作没有依据的保证更适合指导修复。

快速验证

将下面程序保存为 redirect-chain.py，运行 python3 redirect-chain.py。程序使用 Python 3 创建 HTTP/1.1 回环服务器，并始终使用同一个 HTTPConnection。每个响应都有明确长度，客户端完整读完后可以继续复用连接。响应设置 no-store，使实验观察实际网络交换，而不是依赖缓存里的跳转记录。

from http.client import HTTPConnection
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from threading import Thread
from urllib.parse import urljoin, urlsplit
import json

events = []
routes = {'/long': '/middle', '/middle': '/final', '/short': '/final',
 '/loop-a': '/loop-b', '/loop-b': '/loop-a'}


class Handler(BaseHTTPRequestHandler):
 protocol_version = 'HTTP/1.1'

 def do_GET(self):
 events.append({'path': self.path, 'peer_port': self.client_address[1]})
 status = 302 if self.path in routes else 200 if self.path == '/final' else 404
 data = b'final representation' if status == 200 else b''
 self.send_response(status)
 if status == 302:
 self.send_header('Location', routes[self.path])
 self.send_header('Cache-Control', 'no-store')
 self.send_header('Content-Length', str(len(data)))
 self.end_headers()
 self.wfile.write(data)

 def log_message(self, *args):
 pass


server = ThreadingHTTPServer(('127.0.0.1', 0), Handler)
thread = Thread(target=server.serve_forever)
thread.start()
connection = HTTPConnection('127.0.0.1', server.server_port, timeout=5)
try:
 origin = f'http://127.0.0.1:{server.server_port}'

 def follow(start):
 path, seen, trail = start, set(), []
 for _ in range(5):
 if path in seen:
 raise ValueError('redirect loop')
 seen.add(path)
 connection.request('GET', path)
 response = connection.getresponse()
 body = response.read()
 trail.append([path, response.status])
 if response.status == 200:
 assert body == b'final representation'
 return trail
 assert response.status in (301, 302, 303, 307, 308)
 target = urlsplit(urljoin(origin + path, response.getheader('Location')))
 assert (target.scheme, target.netloc) == ('http', urlsplit(origin).netloc)
 path = target.path + ('?' + target.query if target.query else '')
 raise ValueError('redirect budget exhausted')

 long_path = follow('/long')
 short_path = follow('/short')
 assert len(long_path) == 3 and len(short_path) == 2
 try:
 follow('/loop-a')
 except ValueError as error:
 assert str(error) == 'redirect loop'
 else:
 raise AssertionError('loop accepted')
 connections = len({event['peer_port'] for event in events})
 assert connections == 1 and len(events) == 7
 print(json.dumps({'long_path': long_path, 'short_path': short_path,
 'loop_rejected': True, 'requests': len(events),
 'observed_tcp_connections': connections}))
finally:
 connection.close()
 server.shutdown()
 thread.join()
 server.server_close()

预期长路径 /long → /middle → /final 包含三次请求，短路径 /short → /final 包含两次。循环从 /loop-a 到 /loop-b 后，在再次请求第一个目标之前被识别并拒绝。服务端总计记录七次请求，而且只观察到一个对端连接。这些断言已经在 Python 3.14.4 下执行通过；随后连接和服务器都会关闭，不留下运行中的服务。

本例使用 GET 和临时 302 响应，只验证请求计数及连接复用。它没有测量延迟，没有测试 POST 改写、TLS、跨源身份处理或搜索引擎结果。客户端刻意限制同源目标和很小的跳转预算，并不是可直接替代通用网络库的实现。实际修改入口规则时，还要针对方法、参数、主机和旧地址保持做验证；更短的路线只有在仍然到达正确表示并保留所需语义时才有价值。

来源

MDN: Redirections in HTTP，重定向链、循环及状态码选择，已核验 2026-09-13。
RFC 9110: HTTP Semantics，Location 与重定向请求方法语义，已核验 2026-09-13。

SEO · XB 现场笔记

Sitemap 帮助爬虫发现页面

从发布清单生成

坏掉的样子

快速验证

来源

Canonical URL 标识首选表示

先确定身份，再写标签

坏掉的样子

快速验证

延伸阅读

来源

重定向链增加后续请求

请求次数不等于连接次数

坏掉的样子

快速验证

延伸阅读

来源