/tags/%E6%8E%92%E9%9A%9C/Recent content in 排障 on 文叨叨 | IaaS 排障手记Hugozh-cnSat, 11 Jul 2026 10:00:00 +0800/posts/linux-readonly-filesystem/Sat, 11 Jul 2026 10:00:00 +0800/posts/linux-readonly-filesystem/虚拟机文件系统变成只读，touch 报 Read-only file system。同事说另一种类型的虚拟机只读能恢复，但那种是卷只读，而 Linux 只读是存储 IO 错误触发的保护机制，只能重启。/posts/nbd-server-tcp6-miscleanup/Sun, 05 Jul 2026 10:00:00 +0800/posts/nbd-server-tcp6-miscleanup/虚拟机通过 nbd 秒级启动，但 nbd-server 连接总被误清理。根因是新版本 nbd-server 默认用 tcp6 双栈监听，而清理代码用 netstat -4 只过滤 tcp4，导致误判无连接。/posts/bm-firmware-error-bnx2x/Sat, 04 Jul 2026 10:00:00 +0800/posts/bm-firmware-error-bnx2x/裸金属带外报 bnx2x: Can't load firmware file，网卡驱动加载失败。通过 modinfo 查看驱动需要的固件，下载放到镜像对应目录即可。/posts/bm-nic-order-iscsi-ipappend/Sun, 28 Jun 2026 10:00:00 +0800/posts/bm-nic-order-iscsi-ipappend/裸金属装机一直卡在 iscsistart，根因是 ethX 网卡乱序，iSCSI 连接建立在了错误的网卡上。加上 IPAPPEND 2 让 PXELINUX 自动把引导网卡的 MAC 追加给内核。/posts/bm-nbp-uefi-legacy/Sat, 27 Jun 2026 10:00:00 +0800/posts/bm-nbp-uefi-legacy/创建裸金属一直刷 'NBP file downloaded successfully' 但进不去系统。根因是启动方式是 UEFI，而裸金属注册时一般是 Legacy，UEFI 和 Legacy 的 NBP 不一样。/posts/zfs-replica-larger-than-primary/Sun, 21 Jun 2026 10:00:00 +0800/posts/zfs-replica-larger-than-primary/ZFS 副本通过 zfs send 从主本复制过来，逻辑数据一样，但副本 used 是 4.75T，主本只有 3.94T。根因是 raidZ 高可用加条带和 16k 块大小不适配。/posts/docker-copy-from-path-trap/Sat, 20 Jun 2026 10:00:00 +0800/posts/docker-copy-from-path-trap/Docker 多阶段构建中，COPY --from=builder 后相对路径会被解析为相对于根目录，而不是相对于 WORKDIR，导致找不到文件。/posts/vm-no-response-restart-console/Sun, 14 Jun 2026 10:00:00 +0800/posts/vm-no-response-restart-console/virsh console 卡住进不去，虚拟机无响应。一个思路是重启后快速进入 console，看内核启动日志，往往能发现关键线索。/posts/cleanup-netdev-before-down/Sat, 13 Jun 2026 10:00:00 +0800/posts/cleanup-netdev-before-down/LXC 销毁后 hyper 内核报 unregister_netdevice 网卡错误，很久没解决。最后在网卡 down 后加了一个 disable_ipv6 的操作就好了。/posts/modern-os-need-cpu-model/Sun, 07 Jun 2026 10:00:00 +0800/posts/modern-os-need-cpu-model/新版本操作系统在没配置 CPU 指令集的虚拟机上运行僵死，报 'CPU does not support x86-64-v2'。根因是现代 OS 开启了指令集优化，纯 qemu 模拟指令无法满足运行要求。/posts/migrate-vm-hang-cpu-100/Sat, 06 Jun 2026 10:00:00 +0800/posts/migrate-vm-hang-cpu-100/从 Ubuntu 20 宿主机迁移到 Ubuntu 22 宿主机后，虚拟机卡死、CPU 占用 100%。用 crash 和 perf 定位到时间中断处理死循环，根因是热迁移过程中的时间处理问题。/posts/no-space-left-inode-full/Sun, 08 Feb 2026 10:00:00 +0800/posts/no-space-left-inode-full/报 no space left on device，看上去是磁盘空间不足，但有可能不是存储满了，而是 inode 满了。用 df -i 查看 inode 使用情况，如果有 100% 的就是 inode 满了。/posts/delete-file-disk-space-not-released/Sat, 07 Feb 2026 10:00:00 +0800/posts/delete-file-disk-space-not-released/删除文件后磁盘空间没释放，是因为文件被进程打开，进程还持有文件描述符。用 lsof | grep deleted 找到占用进程，最好的方法是在线清空文件。/posts/virsh-attach-detach-delay/Sun, 01 Feb 2026 10:00:00 +0800/posts/virsh-attach-detach-delay/virsh detach 后 domblklist 有短暂延时，detach 成功后立即 detach 相同卷也能成功，两次重复 detach 后再 attach 会失败。根因是 libvirt 不是实时状态，有一定延时。/posts/arm-vm-missing-acpi-login/Sun, 25 Jan 2026 10:00:00 +0800/posts/arm-vm-missing-acpi-login/ARM 虚拟机配置中 features 区块缺少 acpi，表面现象是 virsh console 登录没反应。根因是 ACPI 缺失导致系统底层硬件/服务初始化异常，间接引发登录流程失败。/posts/multipath-wwids-manual-edit/Sat, 17 Jan 2026 10:00:00 +0800/posts/multipath-wwids-manual-edit/sdf 设备总是加不到 multipath 下，配置没问题，重启 multipathd 也不行。根因是 /etc/multipath/wwids 被人手动加了个 # 注释，导致对应的盘一直加载不上。/posts/lvmlockd-pvscan-global-lock-failed/Sun, 11 Jan 2026 10:00:00 +0800/posts/lvmlockd-pvscan-global-lock-failed/pvscan 报 Global lock failed 且没有返回信息，不一定是数据没了。停掉 sanlock 和 lvmlockd 再 pvscan，只要 pv 在，一切都好说。/posts/calico-icmp-ok-tcp-fail-checksum/Sat, 03 Jan 2026 10:00:00 +0800/posts/calico-icmp-ok-tcp-fail-checksum/k8s 环境 pod 之间 ICMP 通但 TCP 不通，client 收到 synack 却不响应。根因是 server 端 tunl 设备的 tx-checksumming 没生效，发出的包校验和错误。