Hoe mijn Proxmox-server twee minuten nodig had om op te starten, en hoe een stekker met te veel persoonlijkheid de schuldige bleek.
De klacht
Mijn Proxmox-host — een bescheiden Lenovo ThinkCentre die thuis braaf virtuele machines draait — had een tic. Elke reboot duurde véél te lang. We hadden het niet over “Post en pakweg een minuutje”, nee: ruim twee minuten, van powerknop tot ingelogde hypervisor. Voor een machine die je eigenlijk alleen herstart bij kernel-updates is dat zwembad-diep irritant: elke full-upgrade eindigde met twee minuten staren naar scrollende tekst, die niet scrollt.
Op de console zag het er onschuldig uit:
Found volume group "pve" using metadata type lvm2
2 logical volume(s) in volume group "pve" now active
/dev/mapper/pve-root: clean, 168978/30695424 files, 33205352/122760192 blocks
LVM die wakker wordt, een journal-check op het rootfs. Niets om je grote zorgen over te maken. Toch bleef de boot daar hangen, leek het. Nou ja — de boot leek overal té lang over te doen.
De nummers
Gelukkig zit er in elke Linux een eerlijke boekhouder. systemd-analyze vertelde het verhaal zonder emotie:
Startup finished in 56.078s (firmware) + 9.955s (loader) + 2.143s (kernel) + 1min 4.452s (userspace) = 2min 12.629s
En de daderlijst, in systemd-analyze blame:
44.236s ifupdown2-pre.service
44.234s systemd-udev-settle.service
42.275s systemd-modules-load.service
13.200s pve-guests.service
1.493s networking.service
...
Drie services van ruim 40 seconden. Wie ooit aan systemd-blame heeft geroken, weet: dit zijn zelden drie onafhankelijke misdaden. Dit is één misdadiger waar drie rechercheurs tegenaan lopen. udev-settle wacht op apparaten, ifupdown2-pre wacht op de netwerkkaart, en modules-load… laadt modules. Alle drie de wereldberoemde verdenking: iets in de kernel-duiventil antwoordt niet.
Vals spoor #1: ZFS
Het log van systemd-modules-load liet het spoor exact zien:
09:22:01 Inserted module 'vhost_net'
09:22:01 Inserted module 'msr'
09:22:43 Inserted module 'zfs'
Tweeëndertig seconden stilte, en dan de suggestieve afsluiting: zfs. Twee minuten later tikte iedereen inmiddels mee op het ritme van “ZFS is traag” — het is immers een berucht zwaar module-blob, out-of-tree, CDDL-taint, de hele stereotypering.
Maar de kernel-log veegde die theorie subtiel van tafel:
09:22:01 spl: loading out-of-tree module taints kernel.
09:22:02 ZFS: Loaded module v2.4.4-pve1, ZFS pool version 5000, ...
De ZFS-module zelf stond binnen één seconde in het geheugen. Wat daarna kwam — het echte venster van 41 seconden waarin de hele boot op slot zat — had met ZFS zelf niets te maken. Het was slechts toeval dat modprobe zfs toevallig de laatste was die de bevestiging kwam afgeven zodra de boel loskwam.

De echte getuige
Wie goed naar het tijdstipvenster keek, vond de ware hoofdpersoon stilletjes in de marge van de kernel-log. Alles tussen 09:22:02 en 09:22:43:
09:22:02 ZFS: Loaded module v2.4.4-pve1
09:22:22 usb 1-6: reset high-speed USB device number 3
09:22:43 usb 1-6: reset high-speed USB device number 3
09:22:43 Inserted module 'zfs' ← de boel komt LOS
09:22:43 iwlwifi ... loaded firmware
09:22:43 dvb_usb_v2: 'Realtek RTL2832U...' initialized
09:22:44 i915 ... Found kabylake
Tijdens het volledige venster van 41 seconden gebeurde er in de kernel maar één ding: usb 1-6 werd tweemaal gereset, exact 20 seconden uit elkaar. En wie was usb 1-6?
usb 1-6: Product: USB Emulation Device
usb 1-6: Manufacturer: JetKVM
De IP-KVM die aan de server hangt voor noodgevallen — keyboard, mouse én, cruciaal, mass-storage-emulatie (voor het mounten van ISO’s op afstand). Precies 20 seconden is bovendien verdacht gelijk aan de opstarttijd van zo’n embedded apparaat zelf. De reconstructie schreef zichzelf:
- Powerknop → USB-poort krijgt stroom → JetKVM begint nu pas op te booten
- De kernel is intussen al volop bezig apparaten te inventariseren en stuit op een half-wakker composite device met een mass-storage-endpoint dat geen antwoord geeft
- Timeout, reset, wachten, nog een timeout, tweede reset
- Pas als de JetKVM zelf klaar is met opstarten, geeft het apparaat netjes antwoord — en dendert de complete achterstallige golf aan driver-bindings in één seconde door de boot heen
De fix
De JetKVM heeft in zijn web-interface een keurige dropdown: “USB device classes in the composite device”. Die stond op “Keyboard, Mouse, Mass Storage and Audio”. Aangezien ISO’s op deze host allang via de Proxmox-GUI in VM’s gemount worden, was mass storage pure ballast.

Omgezet naar “Keyboard only” — mass storage en audio het bos in. Eén reboot later:
12.188s pve-guests.service
2.891s systemd-udev-settle.service
2.887s ifupdown2-pre.service
1.520s networking.service
1.337s pveproxy.service
Van 46 seconden naar 2,9 seconden. De drie verdachten van het gezichtsveld verdwenen, en terecht: ze waren geen verdachten, ze waren gijzelaars.
De rest opruimen
Met de hoofdmisdadiger gepakt, waren de bijzaken snel afgehandeld:
- PXE/network boot uitgezet in de BIOS. De firmware-fase van 56 seconden was deels de Lenovo die braaf een netwerk-stack initialiseerde waar nooit iemand om vroeg.
GRUB_TIMEOUTvan 5 naar 1 seconden. De loader-fase mat 10 s; ruwweg een ingestelde wachttijd plus GRUB’s eigen kopwaarde in de leeswerkzaamheden. Klei in de sloot, maar toch.- De 12 s
pve-guestsdie overblijft is geen verspilling: dat is de host die daadwerkelijk virtuele machines start. Werk is werk.
Eindrapport
Totaal 132,6 s → 39,5 s; de grootste winst zit in userspace en firmware.
Startup finished in 9.441s (firmware) + 5.943s (loader) + 2.092s (kernel) + 22.069s (userspace) = 39.547s
Van 2 minuten 13 naar 39,5 seconden. Min 72 procent.
Interessant detail: de firmware-fase daalde van 56 naar 9,4 seconden — en dat bij identieke, warme reboots. Ook de BIOS initialiseerde tijdens elke POST dat composite USB-apparaat met zijn stoffige mass-storage-endpoint. Eén configuratiewijziging, drie fasen rendement.
Lessen
- Blame liegt niet, maar het duidt verkeerd.
systemd-analyze blamezegt wat er lang duurde, niet waarom. Drie services van 44 s zijn bijna per definitie één onderliggende oorzaak, geen drie. - Kijk in het lege venster. De diagnosis liegt niet in wat er gelogd werd, maar in wat er tussendoor níet gebeurde. Eén USB-regel, twee keer, 20 s uit elkaar — dat was het hele misdrijf.
- Laat je niet afleiden door verdachte stereotypen. “ZFS is traag” is waar een bepaald patroon het meest opportuun is. Maar de bewijslast lag open en bloot in de kernel-log — de module zelf stond binnen een seconde in het geheugen.
- Accessoires zijn óók apparaten. Een KVM op je USB-poort is geen decoration, het is een deelnemer aan je boot. Met zijn eigen opstarttijd, zijn eigen timeout-entries en zijn eigen mening over wanneer hij zin heeft om antwoord te geven.
- En de meest homelab-typische les van allemaal: elke computer verlangt aandacht via de kanalen waar je niet aan denkt. De console zei “LVM en fsck”, de boekhouder zei “udev”, de dader was een apparaat dat stilletjes zijn eigen bestaan als schijf claimde.
Zaak gesloten. De server start nu sneller op dan dat je koffie haalt — wat, gegeven mijn gemiddelde shutdown-ritueel, maar goed is ook. 🔌🐱
Todo
De JetKVM krijgt op dit moment zijn stroom via een USB-poort op de Proxmox host. Dat vraagt om problemen. Ik ga dus de IP-KVM nog zijn eigen stroomvoorziening geven.
