恢复 · XB 现场笔记

ZFS 快照给文件系统一个回退键

Tue, 21 Mar 2028 00:00:00 +0000

ZFS 快照就是给某个数据集在某个 transaction group 上的块树起的一个名字。它不复制任何东西、不冻结任何东西，代价只是几个元数据块：zfs snapshot tank/data@before-upgrade 会在 shell 提示符重画完之前就返回。由于 ZFS 从不原地覆盖仍在使用的块，旧块树在磁盘上一直有效，直到最后一个引用消失——而快照就是这个引用。

正是这一点让“一墙的每日历史”变得可行，也正是本文标题最危险的地方。快照给你数据的许多个版本，却不给你“池不会丢”这件事的保障。tank/data 的每一份快照都住在 tank 里，所以带走池的那次故障，会在同一瞬间带走数据集和它的全部历史。多版本与多版本安全是两种不同的性质，后者只能由复制来提供。

为一个一致的树命名

快照建立在 transaction group 边界上，所以它捕获的树内部自洽——数据库的文件与元数据冻结在同一瞬间，而不是相差几微秒。-r 会连同所有后代数据集一起打快照，凡是有子数据集的地方都该这么用；否则一个递归布局会在不同层级留下时间不同的快照，层与层之间的增量复制就变得别扭。

名字由你决定，而它是保留策略唯一的抓手：tank/data@daily-2026-09-16 可以按模式清理，自动生成的名字则需要额外记账。zfs list -t snapshot -o name,used,refer,creation -s creation 列出整个快照集以及每一份钉住的空间。

空间在哪里：zfs list -o space

ZFS 用一组列来回答唯一重要的问题：这是谁的数据？zfs list -o space tank/data 会给出 USED、USEDSNAP、USEDDS、USEDREFRESERV、USEDCHILD、REFER 与 AVAIL。REFER 是数据集自身需要的量，USEDSNAP 是快照钉住的量，USED 是二者之和。USEDSNAP 持续上涨而 REFER 保持不变，说明吃掉池子的是快照，不是数据。具体到某一份快照，used 是它单独钉住的块，refer 是它能引用到的全部块，两者之差正是与其他版本共用的那部分。

fixture 在 64 MiB 的数据集上搭了一墙 30 份每日快照，每天翻动 2 MiB。每一次创建都花费 0 KiB——代价落在紧随其后的那次写入上，重写 2 MiB 就是 2048 KiB——整墙历史的代价是 60 MiB，而 30 份完整拷贝需要 1920 MiB。这个比例就是快照存在的全部理由，也解释了为什么池子直到快满才有人注意到。反过来，当池子告急时，该做的第一件事是按 zfs list -t snapshot -o name,used 倒序找出钉住空间最多的那一份。

hold、diff 与版本对比

hold 是一个具名引用，它让销毁以 EBUSY 失败：zfs hold keep tank/data@daily-2026-09-16 保护一份快照，zfs holds 列出持有者，zfs release keep 解除。备份软件会给正在发送的那份快照加 hold，免得保留脚本把它删掉；代价是保留任务会一直以“快照忙”失败，直到 hold 被释放，而一个卡住的 hold 能让一份快照被钉住好几个月。

zfs diff tank/data@daily-2026-09-15 tank/data@daily-2026-09-16 按路径报告变化——+ 新建、- 删除、M 修改、R 重命名——并且两份快照都必须仍然存在，所以对比昨天很容易，对比上个月未必。要看快照里的内容，走数据集下隐藏的 .zfs/snapshot/<名字> 目录；快照没有单独的挂载点，而 snapdir=visible 能让这个目录被列出来。

坏掉的样子

真正要紧的失败，恰恰是标题诱导你去相信的那种：池丢了。控制器故障、背板故障或者池级损坏，会原子地删掉数据集以及它的每一份快照，没有部分幸存这回事。唯一的防线是池外的那份拷贝：zfs send -i tank/data@yesterday tank/data@today | zfs receive backup/data 会把一条独立、带校验和的流写进第二个池，只有它能挺过第一个池的死亡。一墙快照却没有副本，是换了个好看界面的单点故障。池内的冗余（镜像、RAIDZ）与 scrub 解决的是另一类问题——坏盘与静默损坏——它们替代不了池外副本，因为控制器或背板故障会把同一个池里的冗余一起带走。

第二种是空间悄悄爬升、保留任务却跑不动。USEDSNAP 上涨而 REFER 不动，池越过 80%，随后 ZFS 开始以“空间不足”拒绝写入，尽管从数据集上看一切正常——池的 slop 与预留量在文件系统内部根本看不见。如果某份快照还被某个 clone 钉住，销毁会失败；而要回滚到 clone 的源之前，就必须连带递归销毁那个 clone。长寿命的 hold 会把保留策略变成一张依赖图，所以 hold 的存活时间要短、要可审计。

快速验证

看清快照的代价，以及它们能不能被删掉：

zfs list -t snapshot -o name,used,refer,creation -s creation tank/data
zfs list -o space tank/data
zfs holds tank/data@daily-2026-09-16
zfs diff tank/data@daily-2026-09-15 tank/data@daily-2026-09-16
zfs send -i tank/data@daily-2026-09-15 tank/data@daily-2026-09-16 | zfs receive backup/data

每份快照的 used 是它单独钉住的空间，刚创建的快照应接近零；space 那组列则给出数据集上的 USEDSNAP 与 REFER，USEDSNAP 上涨而 REFER 不变就是该清理的信号。若 zfs destroy 报快照忙，zfs holds 会告诉你要释放哪个 tag。最后一条是唯一能防住池丢失的操作，应该定时执行。

来源

zfs-snapshot(8)，快照创建语义与递归快照，已核验 2026-09-16。
zfs-list(8)，space 列集，含 USEDSNAP、USEDDS 与 REFER，已核验 2026-09-16。
zfs-hold(8)，hold、zfs holds 以及销毁返回的 EBUSY，已核验 2026-09-16。
zfs-send(8)，把数据送出本池的增量复制流，已核验 2026-09-16。

没验证的备份只是空想

Wed, 02 Jun 2027 00:00:00 +0000

备份任务完成，证明备份过程生成了一份材料；恢复演练则要证明这份材料、现有工具以及必要环境，能共同恢复出可用系统。这是不同的结论。恢复证据应明确使用了哪份备份、恢复到什么状态、补齐了哪些依赖，以及花了多久才让结果对应用真正有用。不能只保留一个任务成功时间，就省略后面的验证。

坏掉的样子

合法的数据库归档仍然可能依赖范围之外的对象。PostgreSQL 的单库导出工具只导出一个数据库，角色却属于整个集群。在独立集群里恢复带授权信息的备份时，可能因为被引用的角色不存在而失败。如果演练始终在原集群进行，这种缺少恢复材料的问题就会被环境中已有的角色掩盖。

恢复错误也需要明确处理。恢复工具默认可以在 SQL 出错后继续，并在末尾报告错误数量。部分表能够查询，不代表半恢复状态就可以接受。这个小型夹具选择把恢复放进一个事务，使成功具有原子性；发生预期失败时，也不会留下已经恢复了一半的表，便于确认依赖修正之后重新执行的结果。

恢复位置正确是另一项要求。完全恢复成功的备份，也可能按设计不包含它之后发生的变更。校验和证明材料与记录一致，不证明其中包含最新业务事件。同样，总行数相同，并不能排除金额、关联关系或权限错误。验证项需要表达应用语义，不能因为容易查询就只检查几个不能区分正确与错误状态的数字。

快速验证

在 Linux 环境中使用非超级操作系统账户运行脚本，准备 PostgreSQL 18 服务端、客户端和摘要校验工具。本次实际执行版本是 PostgreSQL 18.6。脚本建立互相独立的临时源集群与目标集群，使用私有 Unix 套接字，不打开网络监听。实验角色没有登录能力，通过受控角色切换验证授权，不涉及真实账户凭据。

#!/bin/sh
set -eu
umask 077
lab=$(mktemp -d /tmp/xbcatm-restore.XXXXXX)
mkdir "$lab/socket"
source=$lab/source
target=$lab/target
cleanup() {
 for cluster in "$target" "$source"; do
 if test -f "$cluster/postmaster.pid"; then
 pg_ctl -D "$cluster" -m fast -w stop >/dev/null
 fi
 done
}
trap cleanup EXIT
for cluster in "$source" "$target"; do
 initdb -D "$cluster" --no-locale --encoding=UTF8 --auth-local=trust --auth-host=reject >/dev/null
 cat >> "$cluster/postgresql.conf" <<CONF
listen_addresses = ''
unix_socket_directories = '$lab/socket'
CONF
done
printf 'port = 56432\n' >> "$source/postgresql.conf"
printf 'port = 56433\n' >> "$target/postgresql.conf"
pg_ctl -D "$source" -l "$lab/source.log" -w -t 15 start >/dev/null
pg_ctl -D "$target" -l "$lab/target.log" -w -t 15 start >/dev/null
export PGHOST=$lab/socket PGPORT=56432 PGDATABASE=postgres PGUSER=$(id -un)
export PGCONNECT_TIMEOUT=2
psql -X -v ON_ERROR_STOP=1 -qAt <<'SQL'
CREATE ROLE backup_reader NOLOGIN;
CREATE TABLE customers (id integer PRIMARY KEY,name text NOT NULL);
CREATE TABLE orders (id integer PRIMARY KEY,customer_id integer REFERENCES customers,amount_cents integer CHECK (amount_cents>0));
INSERT INTO customers VALUES (1,'Ada');
INSERT INTO orders VALUES (10,1,4210),(11,1,1865);
CREATE VIEW order_totals AS SELECT c.name,sum(o.amount_cents) AS total_cents FROM customers c JOIN orders o ON o.customer_id=c.id GROUP BY c.id,c.name;
GRANT SELECT ON customers,orders,order_totals TO backup_reader;
SQL
pg_dump -Fc -w -f "$lab/snapshot.dump" postgres
sha256sum "$lab/snapshot.dump" > "$lab/snapshot.sha256"
psql -X -v ON_ERROR_STOP=1 -qAt -c 'INSERT INTO orders VALUES (12,1,1000)'
printf 'source_after_backup_orders '
psql -X -v ON_ERROR_STOP=1 -qAt -c 'SELECT count(*) FROM orders'
sha256sum -c "$lab/snapshot.sha256"
if PGPORT=56433 pg_restore --single-transaction --exit-on-error -w -d postgres "$lab/snapshot.dump" >"$lab/missing-role.log" 2>&1; then
 echo 'restore unexpectedly ignored a missing role' >&2
 exit 1
fi
grep -F 'role "backup_reader" does not exist' "$lab/missing-role.log"
test "$(PGPORT=56433 psql -X -v ON_ERROR_STOP=1 -qAt -c "SELECT to_regclass('public.orders') IS NULL")" = t
echo failed_restore_rolled_back
PGPORT=56433 psql -X -v ON_ERROR_STOP=1 -qAt -c 'CREATE ROLE backup_reader NOLOGIN'
PGPORT=56433 pg_restore --single-transaction --exit-on-error -w -d postgres "$lab/snapshot.dump"
PGPORT=56433 psql -X -v ON_ERROR_STOP=1 -qAt <<'SQL'
SELECT count(*) FROM orders;
SELECT name,total_cents FROM order_totals;
SELECT has_table_privilege('backup_reader','orders','SELECT'),has_table_privilege('backup_reader','orders','INSERT');
DO $$ BEGIN
 IF (SELECT count(*) FROM orders)<>2 OR
 (SELECT string_agg(id||':'||amount_cents,',' ORDER BY id) FROM orders) IS DISTINCT FROM '10:4210,11:1865' OR
 (SELECT total_cents FROM order_totals WHERE name='Ada') IS DISTINCT FROM 6075 OR
 (SELECT count(*) FROM orders o LEFT JOIN customers c ON c.id=o.customer_id WHERE c.id IS NULL)<>0 THEN
 RAISE EXCEPTION 'restored business data mismatch';
 END IF;
END $$;
DO $$ BEGIN
 BEGIN
 INSERT INTO orders VALUES (98,999,100);
 RAISE EXCEPTION 'restored foreign key unexpectedly accepted an orphan';
 EXCEPTION WHEN foreign_key_violation THEN
 RAISE NOTICE 'restored foreign key rejected orphan';
 END;
END $$;
SET ROLE backup_reader;
SELECT id,amount_cents FROM orders ORDER BY id;
DO $$ BEGIN
 BEGIN
 INSERT INTO orders VALUES (99,1,100);
 RAISE EXCEPTION 'read-only role unexpectedly wrote data';
 EXCEPTION WHEN insufficient_privilege THEN
 RAISE NOTICE 'read-only role rejected write';
 END;
END $$;
SQL
printf 'lab_directory %s\n' "$lab"

源库包含一个客户、两笔订单、汇总视图、外键以及只读角色授权。自定义格式归档捕获这个状态，之后源库又增加第三笔订单。输出中源库订单数为三，证明选定备份点之外确实存在后续活动，避免测试把当前源库和已经保存的快照混为一谈。恢复目标是否应该包含第三笔，需要由选择的备份点决定。

摘要检查能够成功，首次恢复却必须由于目标缺少只读角色而失败。脚本核对具体错误，并确认订单表随事务回滚。这就是只检查归档文件无法发现的环境依赖。随后，在目标创建已经说明的实验角色，再使用同一份归档重复恢复，不通过跳过授权来掩盖缺失对象。

恢复目标必须包含原来的两笔订单及其正确标识、金额，视图必须给出客户 Ada 和六千零七十五分的汇总。第三笔订单此时缺席才是正确结果。插入不存在客户的订单，必须被已经恢复的外键拒绝。权限查询显示允许读取、拒绝插入；切换到只读角色后，实际查询应成功，真实写入尝试则必须失败。

这些断言分别覆盖数据内容、应用查询、关联约束以及实际权限。所有实验服务在退出时停止，打印目录保留归档和日志。演练没有测试外部认证、加密密钥恢复或应用进程启动；若这些属于真实系统的恢复依赖，就必须在完整恢复方案中补充，不能把角色授权验证直接当成整套登录链路已经正常。

留下能支持决策的恢复结果

生产演练应从准备承担恢复职责的来源取回材料，重建所需环境，恢复数据，再执行代表性的应用行为。安装兼容软件是正常恢复工作的一部分，应把所需时间和前提计入，而不是假定一台已经准备好的主机永远存在。生产系统不可用时，恢复所需访问能力也应该仍然能够取得。

把恢复总耗时与恢复时间目标比较，把恢复出来的终点与允许丢失的数据范围比较。计时应包括获取材料、验证以及应用真正可用，而不只是数据库命令本身运行了几秒。较大的恢复任务可以选择适合负载的事务与并行选项，但要明确发生部分失败之后如何判断和处理，不能一边要求原子性一边又采用不兼容的执行方式。

备份工具、模式、角色、保留策略或基础设施发生变化后，应重新演练。保存成功检查和已经修正的失败作为证据，让下一次恢复能够沿着确定输入重现。具有已知边界的可重复恢复流程，才能支持运行决策；备份调度器显示绿色，单独回答不了系统是否已经具备可用的恢复能力。

来源

PostgreSQL 18 pg_dump，单库导出范围及不包含的集群级对象，已核验 2026-09-12。
PostgreSQL 18 pg_restore，错误处理、单事务恢复、授权及并行限制，已核验 2026-09-12。
CISA 勒索软件防护指南，结合恢复依赖测试备份可用性与完整性，已核验 2026-09-12。

恢复 · XB 现场笔记

ZFS 快照给文件系统一个回退键

为一个一致的树命名

空间在哪里：zfs list -o space

hold、diff 与版本对比

坏掉的样子

快速验证

来源

没验证的备份只是空想

坏掉的样子

快速验证

留下能支持决策的恢复结果

延伸阅读

来源