5 Anwen dungs felder für KIim Medienbereich
5.3 Produktion
5.3.1 Textgenerierung / Data-to-Text
Ziel ist die Generierung eines publizierbaren Textes aus (mehr oder weniger) struktu-rierten Daten. Produktiver Einsatz wird v.a. für sehr klar definierte Anwendungsbereiche (Wetter, Quartalsberichte etc.) berichtet. Bei den befragten Medienvertrete rinnen und -vertreter wird die Relevanz mit wichtig bis durchschnittlich bewertet.
• Bsp. Einsatz: APA, Russmedia, Kurier (Verticals), Reuters, Associated Press, Washington Post, Guardian
• Bsp. Anbieter: Leftshift One, Arria, AX Semantics, Retresco, Syllabs, Narrativa
• Motivation: Kosten- und Zeitersparnis, zusätzlicher Content
• Herausforderungen: Qualität und Diversität der Texte; Unterstützung von komplexeren Sachverhalten, die nicht explizit beim Training berücksichtigt wurden
5.3.2 Multimedia-Generierung und Qualitätsverbesserung
Text-to-Speech: Ziel ist die Generierung gesprochener Sprache aus Text, oft für Bar-rierefreiheit oder Mehrsprachigkeit. Die Technologie wird in bestimmten Bereichen produktiv eingesetzt [Rehm, 2020]. Bei den befragten Medienvertrete rinnen und -ver-treter ist die Einschätzung der Relevanz von wichtig bis weniger wichtig bewertet.
• Bsp. Einsatz: ORF, Welt
• Bsp. Anbieter: Aravoices, AWS, Azure, Google, DeepZen, SpeechKit
• Motivation: Kostenersparnis
• Herausforderungen: Natürlichkeit der generierten Sprache (insbesondere für längere Texte)
Abbildung 25: Vertrags- / Lizenzanalyse
AI.AT.Media – Endbericht 50
Text-to-Image / Video (Generierung visueller Information): Diese Verfahren erzeugen Bild / Video aus Text bzw. modifizieren vorhandene Information (z. B. um Lippensynchro-nisation für eine aus einem Foto generierte sprechende Person zu ermöglichen). Bei der Videogenerierung werden häufig visuelle Assets aneinandergereiht, um den gesproche-nen Text visuell zu unterlegen.
• Bsp. Einsatz: —
• Bsp. Anbieter: Wibbitz, Vedia, Wochit, Athenas Owl, Rephrase, Synthesia AI
• Motivation: Kostenersparnis, automatische Versionierung
• Herausforderungen: über die Aneinanderreihung von Clips hinaus eine Hand-lung erzählen; Bildauswahl, die zur Intention des Textes passt
Musik: Generierung von passender Hintergrundmusik, z. B. mit passender Dauer zu vi-suellen Inhalten, nicht lizenzpflichtig etc. Eine Variante davon ist die Anpassung vor-handener Musik an die gewünschte Länge.
• Bsp. Einsatz: —
• Bsp. Anbieter: AIVA, Loudly, WAVE AI, Adobe Audition
• Motivation: Kostenersparnis, passender Soundtrack
• Herausforderungen: —
Qualitätsverbesserung: Das Ziel ist eine Verbesserung der Qualität audiovisueller Inhalte (z. B. höhere Auflösung, Bildfrequenz, Kolorierung) oder das Entfernen von Fehlern, die bei der Aufnahme, Übertragung oder Speicherung entstanden sind. Diese Technologien sind besonders für die Wiederverwendung von Archivmaterial interessant.
• Bsp. Einsatz: —
• Bsp. Anbieter: HS-Art Digital, Nablet, Adobe
• Motivation: Kosten- und Zeitersparnis, Qualitätsverbesserung, die mit anderen Methoden nicht erreichbar ist
• Herausforderungen: Verständnis des Inhalts in Methoden integrieren;
weitergehende Automatisierung
5.3.3 Editing und Storytelling
Die derzeit verfügbaren Methoden ermöglichen entweder die Erstellung von Rohschnit-ten [MINDS, 2020], die Erstellung von Versionen auf Basis von Vorlagen, den automati-schen Schnitt von bestimmten Inhalten (z. B. Fußballspiele) aus statiautomati-schen / panoramiautomati-schen Kameras oder synchrone Änderung des Textes und einer Videoversion. Automatisiertes Storytelling ist noch sehr stark in der Forschungsphase, es gibt erste Experimente mit Sequenzen von Infografiken [Journalism AI, 2020].
• Bsp. Einsatz: Associated Press, FC Barcelona, BBC News Lab
• Bsp. Anbieter: Vizrt, Kamua, Descript
• Motivation: —
• Herausforderungen: Automatisierung von Schnitt über Vorlagen hinaus; Modellie-rung visueller Grammatik; Storytelling erfordert noch weitere Forschung
5.3.4 VFX und Visualisierung
VFX und virtuelle Studios: Dieses Thema ist relativ weit gefasst und reicht von der Generierung verschiedenster Video- und Grafikeffekte über virtuelle Studios (und die Steuerung von Kameras und Assets) bis hin zu Avataren.
• Bsp. Einsatz: Xinhua News, Intel Studio
• Bsp. Anbieter: Vizrt, Adobe, The Foundry, pinscreen
• Motivation: Kostenersparnis, erweiterte kreative Möglichkeiten
• Herausforderungen: weitere Automatisierung in der Steuerung von virtuellen Studios; Realismus von Avataren
Datenvisualisierung: Visualisierung (und interaktive Analyse) von Daten ist ein wesent-liches Werkzeug im Datenjournalismus und wurde auch von den befragten Vertreterin-nen und Vertreter von Medienunternehmen als sehr wichtig eingeschätzt. Allerdings verwenden derzeit nur wenige der Werkzeuge KI-Methoden.
• Bsp. Einsatz: Washington Post, Boston Globe, Ojo Público
• Bsp. Anbieter: Documentcloud, Pinpoint
• Motivation: Effizienzsteigerung, besseres Verständnis der Daten
• Herausforderungen: Nutzung des Potenzials von KI für Datenjournalismus
Anwendbarkeit:
Abbildung 31: Editing und Storytelling
Abbildung 32: VFX und Visualisierung
AI.AT.Media – Endbericht 52
5.3.5 Inklusion und Barrierefreiheit
Diese Technologien beschäftigen sich mit der Unterstützung von zusätzlichen Text-, Bild- oder Audioinhalten, die der Barrierefreiheit oder Mehrsprachigkeit dienen. Bei den befragten Medienvertrete rinnen und -vertreter liegt die Einschätzung der Relevanz vorwiegend bei sehr wichtig bis wichtig.
Untertitelung: Ziel ist die automatische Erstellung von Untertiteln aus gesprochenem Text. Diese Aufgabe benötigt Spracherkennung, geht aber darüber hinaus, weil der Text auch entsprechend gekürzt und segmentiert werden muss, um als Untertitel zu dienen.
Diese Werkzeuge werden heute meist nicht vollautomatisch, sondern unterstützend eingesetzt.
• Bsp. Einsatz: DW
• Bsp. Anbieter: Tools on Air, Limecraft, Telestream, Syncwords
• Motivation: Kostenersparnis, Erstellung in Echtzeit, breitere Abdeckung Herausforderungen: Qualität des Transkripts; sinnerhaltende
Umformulierung / Kürzung
Gebärdensprache: Die Erstellung einer Gebärdensprachversion erfordert die Über-setzung des gesprochenen Textes in Gebärden und deren Visualisierung (z. B. durch einen Avatar). In manchen Lösungen kommt aus Gründen der Neutralität und Flexibilität ein Avatar zum Einsatz, der allerdings eine von Menschen gebärdete Aufnahme wieder-gibt.
• Bsp. Einsatz: —
• Bsp. Anbieter: SiMAX, vSign
• Motivation: Kostenersparnis, Erstellung in Echtzeit, breitere Abdeckung
• Herausforderungen: automatische Übersetzung in Gebärdensprache (Fehlen von NLP-Tools für Gebärdensprache); natürlichere Generierung von Gebärden
Akustische Bildbeschreibung: Für die automatische Erstellung akustischer Bildbeschrei-bungen gibt es derzeit nur Forschungsarbeiten. Eine vollständige Automatisierung ist mit den verfügbaren Technologien nicht möglich, und eine Automatisierung kleiner Arbeitsschritte erhöht die Effizienz kaum.
• Bsp. Einsatz: —
• Bsp. Anbieter: —
• Motivation: Kostenersparnis, Erstellung in Echtzeit, breitere Abdeckung
• Herausforderungen: —
Übersetzung und Textvereinfachung: Automatische Übersetzung ist (neben Anwen-dungen im Sourcing) ein Werkzeug, um Inhalte breiter zugänglich zu machen. Automa-tische Übersetzungswerkzeuge werden bereits produktiv eingesetzt, im Rundfunkbereich noch experimentell [Rehm, 2020]. Eine spezielle Form der Übersetzung ist die Umwand-lung in einfachere, leichter verständliche Sprache.
• Bsp. Einsatz: BBC, EurActiv
• Bsp. Anbieter: Tilde, DeepL, EBU EuroVox, AWS, Azure, IBM
• Motivation: Kostenersparnis, Erstellung in Echtzeit, breitere Abdeckung
• Herausforderungen: Qualität sehr sprachabhängig (nur für wenige häufig verwendete Sprachen gut); Erhalt feiner Bedeutungsunterschiede
5.3.6 Business decision support
In diese Kategorie fallen KI-Technologien, die Entscheidungen über Produktionen unter-stützen (z. B. Vorhersage von Popularität / Akzeptanz von Inhalten) oder Pilotfolgen bewerten.
• Bsp. Einsatz: Disney, Washington Post, Swedish Radio
• Bsp. Anbieter: Cinelytic, MediaWhip, SmartOcto
• Motivation: Umsatzoptimierung, Risikoeinschätzung und -reduktion
• Herausforderungen: bessere Einbeziehung von Inhalten und Konsumkontext
Anwendbarkeit:
AI.AT.Media – Endbericht