Manchmal liegt die Antwort so nah. Ich hatte seit laaaaaanger Zeit das Plugin „Plugin Updater“ installiert. Das hat seinen Job bis eben auch immer sehr zufriedenstellend gemacht.
Nach dem ich dieses nun deaktiviert habe sehe ich die Links zum Updaten über die Core-Funktion von WordPress.

Die ist aber irgendwie recht unbequem, nach jedem Update muss man auf „Zurück zur Plugin-Übersicht“ klicken – deshalb mal eben „One Click Plugin Updater“ installiert. Mal schauen wie das so funktioniert. Es gibt auf jeden Fall schonmal eine „Update All“ Funktion – das freut mich sehr :)