Brandspanking | Dynamic News

Nieuws demo

In deze film wordt het nieuws van de dag samenvat en eindigt in een twist waarbij de gebruiker de presentator alles kan laten zeggen en laten zien wat hij wil. Dit concept vervaagt de scheidslijn tussen echt en nep en roept gedachten op over moraliteit en ethiek door technologische vooruitgang. Iedereen kan zijn eigen nieuws creëren met slechts een paar klikken, met deze mogelijkheid hopen we creativiteit en discussie aan te wakkeren.

Zonder al te veel in detail te treden willen we graag een tipje van de sluier oplichten over het onderzoek en de technische oplossingen die zijn gebruikt in deze videoproductie; lip synchronisatie, lip beweging en een nieuwsbron die we hebben gecombineerd om deze unieke nieuwsuitzending te creëren.

Qua productie hebben we een green-screen, een simpel bureau en stoel, wat lampjes en de camera op een vaste plek in ons kantoor neergezet. Na make-up en haarkleuring was onze nieuwslezer helemaal opgedoft en klaar om te worden geleid door de stagiair die de subtiele bewegingen en mondposities van nieuwslezers heeft onderzocht, nodig voor de animaties. In korte tijd hebben we een introductie en een lijst van mond- en hoofdbewegingen opgenomen, inclusief de iconische ‘News frown’.

We begonnen met het handmatig animeren van alle beschikbare mondbewegingen die onze acteur voor het groene scherm maakte en halen gesynthetiseerde testaudio op van Amazon's polly. Bij de audio wordt een lijst met gegevens geleverd die aangeeft wat en wanneer een toon wordt gesynthetiseerd. Nu moesten we alleen nog een stukje software maken dat deze gegevens gebruikt om alle opeenvolgende mondbewegingen te activeren. Het werd echter heel duidelijk dat de timing in de data niet helemaal lekker in de maat is en we moesten deze zo aanpassen dat de mondbeweging perfect overeenkwam met de audio en zo werd weer een ander script geboren.

Met de animatie afgestemd op de gesynthetiseerde stem hadden we de nieuwslezer die praatte als Canadezen in South Park, want als je spreekt, glijd je vaak over bepaalde klinkers en rijg je ze aan elkaar. Het verkrijgen van een soepele en realistische mondbeweging was een hele studie, gelukkig hielp een deskundige karakter animator en zijn we met zijn inzicht in staat geweest om nog een ander script te maken dat karakteranimatieregels toepast op de mondbeweging.

Met visuele effecten moesten we een manier vinden om het bewegende gezicht en de bewegende mond te combineren, een soort diepe nep, maar dan zonder de zware AI-simulaties. We hebben dit gedaan door Keentools te gebruiken om het gezicht te volgen en 3D-gegevens over de transformaties te verzamelen. Deze gegevens worden vervolgens gebruikt om de mond toe te voegen en ervoor te zorgen dat deze overeenkomstig over het scherm beweegt.

Met alle puzzelstukjes op hun plaats, was er nog iets nodig... een echte nieuwsbron! Geen enkel persbureau ter wereld dat het gebruik van of het wijzigen van hun online content zonder gevolgen mogelijk maakt. Het was duidelijk dat we niet in de problemen wilden komen door het verspreiden van 'nep'-nieuws met hun inhoud en na het lezen van het inhoudsbeleid van de meeste nieuwsbedrijven, hadden we een gedachte. Als Wikipedia bestaat, moet een Wiki News zeker deel uitmaken van de Wikimedia Foundation, dus een Dikke dankjewel: Wikinews.org voor het verstrekken van onafhankelijk open-source nieuws met een creative common, CC-BY, licentie. We gebruiken 3 van hun artikelen (afbeelding en titel) om de eerste berichten te genereren, de laatste vierde kop en afbeelding is invoer van de gebruiker.

With all of the above combined we setup the project in our Canvas platform and created an API call to automate the newscaster rendering, news gathering, add some background music and make it publicly available. Now we are able to create a new fully automated talking head with just

Met al het bovenstaande gecombineerd hebben we het project in ons Canvas-platform gezet en een API-call gemaakt om de weergave van de nieuwslezers, het verzamelen van nieuws wat achtergrondmuziek toe te voegen en de video beschikbaar te maken. Nu kunnen we een nieuwe, volledig geautomatiseerde ‘talking head’ maken met slechts een

- Halve dag productie
- 4 dagen post-productie
- In 29 talen

We hebben dit gemaakt als een technische demo, er zijn wat ruwe kantjes, maar we zijn erg blij met het resultaat. Ik hoop dat je het net zo leuk vindt als wij, geniet er van!

R&D: Felix Geerts
Camera: Vincent Oudendijk
Lights: Joris van Gulik
Character animation help: Jasper Kuijpers
Music: Miston Music