/Recent content on 文叨叨 | IaaS 排障手记Hugozh-cnSun, 20 Sep 2026 14:16:23 +0800/posts/nbd-nested-nbd-qcow2-chain/Sat, 18 Jul 2026 10:00:00 +0800/posts/nbd-nested-nbd-qcow2-chain/创建 NBD 镜像时，为什么要把 backing 的所有镜像全部设置为 NBD？因为镜像链的解析由 qemu driver 负责，NBD 和本地 file 都只是独立块设备，没有解析能力。/posts/qemu64-cpu-model-svm/Sun, 12 Jul 2026 10:00:00 +0800/posts/qemu64-cpu-model-svm/查看 qemu64 CPU 模型定义，发现它居然包含 svm 指令。qemu64 是为了兼容性设计的，但 svm 这类虚拟化指令也在其中，值得探究。/posts/linux-readonly-filesystem/Sat, 11 Jul 2026 10:00:00 +0800/posts/linux-readonly-filesystem/虚拟机文件系统变成只读，touch 报 Read-only file system。同事说另一种类型的虚拟机只读能恢复，但那种是卷只读，而 Linux 只读是存储 IO 错误触发的保护机制，只能重启。/posts/nbd-server-tcp6-miscleanup/Sun, 05 Jul 2026 10:00:00 +0800/posts/nbd-server-tcp6-miscleanup/虚拟机通过 nbd 秒级启动，但 nbd-server 连接总被误清理。根因是新版本 nbd-server 默认用 tcp6 双栈监听，而清理代码用 netstat -4 只过滤 tcp4，导致误判无连接。/posts/bm-firmware-error-bnx2x/Sat, 04 Jul 2026 10:00:00 +0800/posts/bm-firmware-error-bnx2x/裸金属带外报 bnx2x: Can't load firmware file，网卡驱动加载失败。通过 modinfo 查看驱动需要的固件，下载放到镜像对应目录即可。/posts/bm-nic-order-iscsi-ipappend/Sun, 28 Jun 2026 10:00:00 +0800/posts/bm-nic-order-iscsi-ipappend/裸金属装机一直卡在 iscsistart，根因是 ethX 网卡乱序，iSCSI 连接建立在了错误的网卡上。加上 IPAPPEND 2 让 PXELINUX 自动把引导网卡的 MAC 追加给内核。/posts/bm-nbp-uefi-legacy/Sat, 27 Jun 2026 10:00:00 +0800/posts/bm-nbp-uefi-legacy/创建裸金属一直刷 'NBP file downloaded successfully' 但进不去系统。根因是启动方式是 UEFI，而裸金属注册时一般是 Legacy，UEFI 和 Legacy 的 NBP 不一样。/posts/zfs-replica-larger-than-primary/Sun, 21 Jun 2026 10:00:00 +0800/posts/zfs-replica-larger-than-primary/ZFS 副本通过 zfs send 从主本复制过来，逻辑数据一样，但副本 used 是 4.75T，主本只有 3.94T。根因是 raidZ 高可用加条带和 16k 块大小不适配。/posts/docker-copy-from-path-trap/Sat, 20 Jun 2026 10:00:00 +0800/posts/docker-copy-from-path-trap/Docker 多阶段构建中，COPY --from=builder 后相对路径会被解析为相对于根目录，而不是相对于 WORKDIR，导致找不到文件。/posts/vm-no-response-restart-console/Sun, 14 Jun 2026 10:00:00 +0800/posts/vm-no-response-restart-console/virsh console 卡住进不去，虚拟机无响应。一个思路是重启后快速进入 console，看内核启动日志，往往能发现关键线索。/posts/cleanup-netdev-before-down/Sat, 13 Jun 2026 10:00:00 +0800/posts/cleanup-netdev-before-down/LXC 销毁后 hyper 内核报 unregister_netdevice 网卡错误，很久没解决。最后在网卡 down 后加了一个 disable_ipv6 的操作就好了。/posts/modern-os-need-cpu-model/Sun, 07 Jun 2026 10:00:00 +0800/posts/modern-os-need-cpu-model/新版本操作系统在没配置 CPU 指令集的虚拟机上运行僵死，报 'CPU does not support x86-64-v2'。根因是现代 OS 开启了指令集优化，纯 qemu 模拟指令无法满足运行要求。/posts/migrate-vm-hang-cpu-100/Sat, 06 Jun 2026 10:00:00 +0800/posts/migrate-vm-hang-cpu-100/从 Ubuntu 20 宿主机迁移到 Ubuntu 22 宿主机后，虚拟机卡死、CPU 占用 100%。用 crash 和 perf 定位到时间中断处理死循环，根因是热迁移过程中的时间处理问题。/posts/long-running-vs-temp-adjust/Sun, 24 May 2026 10:00:00 +0800/posts/long-running-vs-temp-adjust/存量 VM 不切换，我们可以提供一个接口来调整虚拟机的 cpu_mode 来实现。这样长运行的逻辑简单，而调整和长运行逻辑分离，降低复杂性。/posts/architecture-determines-stability/Sat, 23 May 2026 10:00:00 +0800/posts/architecture-determines-stability/架构决定下限，代码决定上限。虽然代码影响很大，但是整体的稳定性，依然是架构占大部分决定因素。linux 网络栈足够复杂，但又有足够的扩展性，且非常的高性能，为什么？因为它流水线 + sk_buff。/posts/is-simple-the-only-criterion/Sun, 17 May 2026 10:00:00 +0800/posts/is-simple-the-only-criterion/很多时候讨论方案，'这个改起来简单'，然后就没有人说话了。简单没有错，问题是简单就是指这一次改动的简单呢？那运维的简单性、扩展的简单性、稳定的简单性、排查的简单性呢？/posts/boundary-compute-storage-network/Sat, 16 May 2026 10:00:00 +0800/posts/boundary-compute-storage-network/拿快照来说，为啥我们支持快照的多链这么复杂？按道理虚拟机只需要一个卷，至于这个卷背后的链是完全不需要关心的。如果计算存储分离，快照局限于存储模块，计算只需要一个卷。/posts/variable-vs-invariable/Sun, 10 May 2026 10:00:00 +0800/posts/variable-vs-invariable/设计模式一个基本点两个原则：一个基本点是找到变化、封装变化；两个原则是基于接口而不是基于实现、组合优于继承。核心是可变与不可变的隔离、解耦。/posts/simple-plus-combination/Sat, 09 May 2026 10:00:00 +0800/posts/simple-plus-combination/《UNIX编程艺术》里讲的：cmd + 管道 + 文本的设计理念，让单个命令足够简单清晰，而命令的编排又可以创造无限扩展的能力。单元简单，才容易组合。/posts/ha-fence-essential/Sun, 03 May 2026 10:00:00 +0800/posts/ha-fence-essential/稳定性相关的，要么不做，要么就要完善，要不然做了高可用，反而造成雪崩。高可用必备 fence，fence 就是 ipmi 强制关机，这是最稳妥的方式。/posts/state-machine-around-state/Sat, 02 May 2026 10:00:00 +0800/posts/state-machine-around-state/状态机的核心是围绕状态，而不是围绕具体流程。当前状态、输入、转移状态，就是围绕着三要素设计的。它可以把一个超长流程、超多条件判断的流程，解耦为一个个独立的状态。/posts/forward-easy-rollback-hard/Sun, 26 Apr 2026 10:00:00 +0800/posts/forward-easy-rollback-hard/当流程跨越了多个服务，一旦中途某一步失败，如何把已经扭转的状态干净地恢复原状，是软件架构里最重的活。优秀的架构师会尽量避免物理回滚，把流程设计为只能向前。/posts/oop-vs-procedural/Sat, 25 Apr 2026 10:00:00 +0800/posts/oop-vs-procedural/流程是易变的、脆弱的，对象是稳定的、高内聚的。面向对象的流程是分治，将易变的流程拆分成多个稳定的对象，对象之间面向接口协作，复杂性拆分成局部复杂性。/posts/decision-tree-vs-layer/Sun, 19 Apr 2026 10:00:00 +0800/posts/decision-tree-vs-layer/决策流程这个场景，适合树而不是层。树是前后依赖的，层是前后不依赖的、每一层是通用的。规则引擎天生就是规则流，前后有依赖，所以写规则配置就是树的方式。/posts/mq-advantage-over-direct-message/Sat, 18 Apr 2026 10:00:00 +0800/posts/mq-advantage-over-direct-message/mq 不仅是削峰填谷，也不仅是解耦服务，还有降低代码复杂性、增加稳定性的作用。中间件是一个稳定的、没有逻辑的、仅仅存储数据的。/posts/check-and-fix-separate/Sun, 12 Apr 2026 10:00:00 +0800/posts/check-and-fix-separate/check 有很多项，每个项都有修复。check 是一条线，修复是一条线。不要在 check 中发现某个项有问题就进行修复，而是要等 check 完再调用修复。/posts/bottom-single-top-combine/Sat, 11 Apr 2026 10:00:00 +0800/posts/bottom-single-top-combine/底层逻辑尤其要保证单一，一个能力只提供一种方法。想要更多，通过上层组合、上层封装来实现。千万不要把所有需求都放到底层原子能力上。/posts/hook-plugin-middleware/Sun, 05 Apr 2026 10:00:00 +0800/posts/hook-plugin-middleware/Hook 侧重现有流程上运行时的局部修改，插件侧重模块化功能扩展，Middleware 是流程中可以扩展的横切面。三者核心目标都是不侵入主程序的前提下实现扩展。/posts/use-mainstream-technology/Sat, 04 Apr 2026 10:00:00 +0800/posts/use-mainstream-technology/跟随主流技术非常重要，不要老用一些偏门的、古怪的技术凸显自己的别具一格。技术是手段，不是目的，所以越主流越好。/posts/coupling-key-is-change/Sun, 29 Mar 2026 10:00:00 +0800/posts/coupling-key-is-change/什么是耦合，怎么判断有没有耦合？可以从结果反推：A 变化了，B 要不要跟着变化。如果跟着变，那就是耦合了；如果没有跟着变，或者变动很小，那就是松耦合。/posts/constant-single-source/Sat, 28 Mar 2026 10:00:00 +0800/posts/constant-single-source/魔数、默认值使用常量封装。提高可读性，统一定义唯一来源，唯一来源相当于是统一了标准。常量在离使用代码最近的地方定义比较好。/posts/design-principles-avoid-problems/Sun, 22 Mar 2026 10:00:00 +0800/posts/design-principles-avoid-problems/把只读状态写到了事务字段里，明显不符合单一原则。一个字段怎么能表示多种意思呢？如果一开始就不违反单一原则，即便没想到并发冲突问题，也不会出现问题。/posts/patch-object-oriented/Sat, 21 Mar 2026 10:00:00 +0800/posts/patch-object-oriented/哪里遇到问题了，就找个地方加个开关、加个检查、加个条件判断来处理掉。这导致不够系统化，引入了局部的分支点，会造成多流程的耦合交叉，扩展容易遗漏。/posts/think-deploy-when-developing/Sun, 15 Mar 2026 10:00:00 +0800/posts/think-deploy-when-developing/开发决定了部署。开发的时候就要想哪种方式部署简单、能标准化部署、能尽量减少环境依赖。这就是为什么要云原生。/posts/code-consistency-interface/Sat, 14 Mar 2026 10:00:00 +0800/posts/code-consistency-interface/不仅数据有一致性问题，代码的一致性问题更加遍地都是。判断主机是否运行应该面向 libvirt 接口，而不是面向实现中的文件、过程。/posts/interface-oriented/Sun, 08 Mar 2026 10:00:00 +0800/posts/interface-oriented/接口很多时候听起来很有道理，写的时候会质疑是不是为了接口而接口。一写二抄三重构，前面没有必要的时候不用接口，后面重复的时候可以引入接口。/posts/encapsulation-vs-independent/Sat, 07 Mar 2026 10:00:00 +0800/posts/encapsulation-vs-independent/封装仅仅是为了复用，但是独立有管理能力。封装调用了就得执行，独立有自己的一套管理规则，比如排队、限流、调整优先级、丢弃、转换等。/posts/bottom-default-value/Sun, 01 Mar 2026 10:00:00 +0800/posts/bottom-default-value/底层（被依赖者）最好有默认值，上层（依赖者）可以少硬编码。判断不是问题，问题是重复判断；硬编码本身是必须的，问题是重复的硬编码。/posts/one-goal-one-implementation/Sat, 28 Feb 2026 10:00:00 +0800/posts/one-goal-one-implementation/不要封装太多的实现方法，会造成使用复杂度。一个目的提供一种方法，提供的太多，反而让使用者陷入学习复杂性。/posts/encapsulation-frequency-not-complexity/Sun, 22 Feb 2026 10:00:00 +0800/posts/encapsulation-frequency-not-complexity/如果一个工具仅仅在一两个地方调用，那无所谓封装。如果一个工具通篇各处都在调用，那就一定要封装了，即便这个工具仅仅是一行命令。/posts/wrap-third-party-call/Sat, 21 Feb 2026 10:00:00 +0800/posts/wrap-third-party-call/调用第三方工具一定要封装，哪怕仅仅是一个命令行。封装的好处：应对版本变化、方便做切面、简化使用、提供统一方法。/posts/abstract-flow-vs-object/Sun, 15 Feb 2026 10:00:00 +0800/posts/abstract-flow-vs-object/要不要抽象，关键在于要不要复用。业务流程都是独立的，不需要复用；技术类流程需要复用。一写二抄三重构，第二次大量重复时就可以开始重构了。/posts/code-write-three-times/Sat, 14 Feb 2026 10:00:00 +0800/posts/code-write-three-times/写代码高价值套路：代码写三遍。第一遍跑通，第二遍防御，第三遍优化。过早的优化是万恶之源，尤其是新服务新项目的时候。/posts/no-space-left-inode-full/Sun, 08 Feb 2026 10:00:00 +0800/posts/no-space-left-inode-full/报 no space left on device，看上去是磁盘空间不足，但有可能不是存储满了，而是 inode 满了。用 df -i 查看 inode 使用情况，如果有 100% 的就是 inode 满了。/posts/delete-file-disk-space-not-released/Sat, 07 Feb 2026 10:00:00 +0800/posts/delete-file-disk-space-not-released/删除文件后磁盘空间没释放，是因为文件被进程打开，进程还持有文件描述符。用 lsof | grep deleted 找到占用进程，最好的方法是在线清空文件。/posts/virsh-attach-detach-delay/Sun, 01 Feb 2026 10:00:00 +0800/posts/virsh-attach-detach-delay/virsh detach 后 domblklist 有短暂延时，detach 成功后立即 detach 相同卷也能成功，两次重复 detach 后再 attach 会失败。根因是 libvirt 不是实时状态，有一定延时。/posts/libvirt-cpu-feature-disable-forbid/Sat, 31 Jan 2026 10:00:00 +0800/posts/libvirt-cpu-feature-disable-forbid/libvirt CPU feature 的 policy 有 force、require、optional、disable、forbid 五种。disable 是虚拟 CPU 不支持该特性，forbid 是宿主机支持该特性时创建会失败。/posts/arm-vm-missing-acpi-login/Sun, 25 Jan 2026 10:00:00 +0800/posts/arm-vm-missing-acpi-login/ARM 虚拟机配置中 features 区块缺少 acpi，表面现象是 virsh console 登录没反应。根因是 ACPI 缺失导致系统底层硬件/服务初始化异常，间接引发登录流程失败。/posts/qemu-single-ide-controller/Sat, 24 Jan 2026 10:00:00 +0800/posts/qemu-single-ide-controller/qemu 只支持一个 IDE controller，一个 IDE controller 只支持 4 个设备（hda 到 hdd）。定义两个 IDE controller 或使用 hde 都会报错。/posts/qemu-img-commit-chain-complete/Sun, 18 Jan 2026 10:00:00 +0800/posts/qemu-img-commit-chain-complete/qemu-img commit 的链必须是完整的，虽然 commit 的是 head，看起来和底层几级镜像没关系，但实际还是需要。commit 链的关系还可以是临时的，-d 参数决定 commit 后是否清空文件。/posts/multipath-wwids-manual-edit/Sat, 17 Jan 2026 10:00:00 +0800/posts/multipath-wwids-manual-edit/sdf 设备总是加不到 multipath 下，配置没问题，重启 multipathd 也不行。根因是 /etc/multipath/wwids 被人手动加了个 # 注释，导致对应的盘一直加载不上。/posts/lvmlockd-pvscan-global-lock-failed/Sun, 11 Jan 2026 10:00:00 +0800/posts/lvmlockd-pvscan-global-lock-failed/pvscan 报 Global lock failed 且没有返回信息，不一定是数据没了。停掉 sanlock 和 lvmlockd 再 pvscan，只要 pv 在，一切都好说。/posts/sanlock-wdmd-multi-vg-disable/Sat, 10 Jan 2026 10:00:00 +0800/posts/sanlock-wdmd-multi-vg-disable/sanlock 的 wdmd 看门狗在多 vg 场景下不适合启用：只要一个锁空间续约失败，wdmd 就不喂狗，导致宿主机被强制重启。/posts/arm-cpu-model-passthrough/Sun, 04 Jan 2026 10:00:00 +0800/posts/arm-cpu-model-passthrough/在 ARM（aarch64）架构下，libvirt/QEMU 的 CPU 模型与特性禁用设置不生效，虚拟机看到的 CPU 依然是透传的物理 CPU。/posts/calico-icmp-ok-tcp-fail-checksum/Sat, 03 Jan 2026 10:00:00 +0800/posts/calico-icmp-ok-tcp-fail-checksum/k8s 环境 pod 之间 ICMP 通但 TCP 不通，client 收到 synack 却不响应。根因是 server 端 tunl 设备的 tx-checksumming 没生效，发出的包校验和错误。