Die offizielle Gemini-App für Macs hat am Mittwoch ein Update erhalten. Mit einem neuen Shortcut soll sie nun überall im System zur Verfügung stehen und mit Inhalten per Sprache und Texteingabe interagieren können. Dazu gibt es auch die Möglichkeit, dem Sprachmodell Zugriff auf Bildschirminhalte zu geben. Letzteres ist allerdings ein Opt-in-Feature, also standardmäßig nicht aktiv.
Interaktion mit dem Bildschirm
Der neue Shortcut für Gemini auf dem Mac ist ein langer Druck auf die Fn-Taste (üblicherweise links unten auf der Tastatur). Dies lässt dann ein Overlay erscheinen, egal in welcher App man sich gerade befindet. Die Funktion erlaubt das Diktieren von Text mit automatischer Korrektur von Füllworten, man kann Inhalte nachträglich auch mitten im Satz korrigieren und den Text per Sprache auch formatieren. Gibt man den Bildschirm frei, lassen sich vorhandene Informationen extrahieren und zusammenfassen. Dabei ist auch ein Zugriff auf das Dateisystem möglich. Als Beispiel nannte Google die Möglichkeit, einen Ordner mit medizinischen Angaben eines Hundes zusammenzufassen und an eine Tierpension mailen zu lassen.
Es bleibt aktuell unklar, welche der Features auch innerhalb der EU funktionieren, denn Googles großer Workflow-Agent Spark, den die Gemini-App teilweise in englischer Sprache verwendet, läuft nach wie vor nicht im Europäischen Wirtschaftsraum. Weitere Beispiele, was die Gemini-App auf dem Mac nun kann, sind das Generieren und Editieren von Bildern per Sprache, etwa das Verändern einer Illustration für die Nachtmodus-Ansicht. Die neuen Sprachfähigkeiten verteilt Google weltweit, allerdings zunächst ebenfalls nur auf Englisch. „Mehr Sprachen kommen bald.“
