Ja das hab jetzt auch so gemacht. Auf dem Handy nur noch Google Assistent per Knopfdruck und im Auto kann ich jetzt normal über "hey Google" steuern. Irgendwie doof, aber scheint aktuell die einzige Möglichkeit zu sein.
Ich habe es umgekehrt gemacht. Aktivierung im Auto nur über die Taste, auch wegen lustiger Mitfahrern.