So habe nun verschiedene Sachen mit meinem Händler ausprobiert. Die Lösung für mein Disaster war recht einfach, es wurde der Hebel für die Höhenverstellung abmontiert und nun bleibt der Sitz so wie er sein soll.
Beim Ein- und Aussteigen kommt man wohl recht unbewust auf die Seitenwange des Sitzes und dadurch gehts dann auch abwärts.
Ich kann mit dieser Lösung sehr gut leben und sollte man den Wagen doch mal verkaufen wollen, kann man den Hebel mit 2 Schrauben einfach wieder anbringen.