Nie można go wyłączyć bo moduły (np. Virtualbox) są potrzebne.
Ale pogrzebałem troche i znalazłem. Oto winowajca: Plik /usr/lib/modules-load.d/ virtualbox-guest-dkms.conf i jego zawartość:
vboxguest
vboxsf
vboxvideo
Zahaszowałem # wszystkie te moduły. WIdocznie przy którejś tam aktualizacji te moduły przstały już być potrzebne a zaczęły przeszkadzać. Systemy wirtualne działają dobrze, sprawdziłem. Teraz nawet jakby trochę szybciej system się odpala