ChatGPT Voice konnte bisher entweder zuhören oder sprechen, aber nicht beides gleichzeitig. Das neue Modell GPT-Live soll das abstellen. Statt auf Sprechpausen zu warten, verarbeitet das Modell den Audiostrom im Full-Duplex-Verfahren kontinuierlich und entscheidet fortlaufend, ob es sprechen oder zuhören soll. Kurze Rückmeldungen wie „Mhmm“ sollen dabei ebenso möglich sein wie echte Unterbrechungen.
Die ursprüngliche ChatGPT-Voice-Funktion von 2023 arbeitete als dreifache Kaskade: Speech-to-Text (STT) transkribierte die Eingabe, ein Sprachmodell erzeugte daraus eine Antwort, Text-to-Speech (TTS) sprach sie schließlich aus. 2024 ersetzte der Advanced Voice Mode diese Dreierkette durch ein einzelnes Audiomodell, was Latenz und Natürlichkeit spürbar verbesserte. Am rundenbasierten Prinzip änderte das aber nichts.
OpenAI zeigt schematisch die verschiedenen Evolutionsstufen von ChatGPT Voice.
(Bild: OpenAI / Bearbeitung heise medien)
Delegieren statt Warten
