Whisper von OpenAI ist ein hochmodernes, transformerbasiertes Modell, das in mehreren Sprachverarbeitungsaufgaben, einschließlich mehrsprachiger Spracherkennung, Sprachübersetzung und Identifizierung gesprochener Sprache, hervorragend abschneidet. Durch die Nutzung eines umfangreichen und vielfältigen Trainingsdatensatzes bietet Whisper selbst in Zero-Shot-Szenarien, in denen es Sprachen ohne spezifische Anpassung verstehen und übersetzen kann, beeindruckende Leistungen. Das Modell verarbeitet Eingangs-Audio, indem es in log-Mel-Spektren umgewandelt wird, die dann analysiert werden, um Textunterschriften vorherzusagen. Mit Anwendungen, die von Barrierefreiheit bis hin zu Inhaltserstellung reichen, ist Whisper vielseitig und robust und kann Hintergrundgeräusche, verschiedene Akzente und Fachjargon problemlos bewältigen.