Facebook werkt aan techniek om video's automatisch te voorzien van omschrijving

Facebook is bezig met het ontwikkelen van een techniek die automatisch beeldherkenning toepast op video's en probeert een samenvatting te maken in tekst van wat er gebeurt. Facebook noemt de functie VideoStory.

Het algoritme is nog verre van perfect, zeggen de onderzoekers van Facebook in een paper over de techniek. Zo bleek de software niet altijd juist te interpreteren waar iets plaatsvond en wat er precies gebeurde, maar de onderzoekers menen desondanks dat het een stap vooruit is op het gebied van automatisch omschrijven van video's.

Voor het onderzoek hebben ze het algoritme getraind met enkele tienduizenden populaire en openbaar geplaatste video's op een niet nader genoemd sociaal netwerk, vermoedelijk dat van hun werkgever. Daarbij hebben ze rond duizend video's gebruikt voor validatie.

VideoStory voorziet de beelden van een omschrijving die het op de juiste momenten in beeld kan brengen. De functie moet in de toekomst mensen met een krappe databundel of slechte internetverbinding automatisch op de hoogte stellen van wat er in een video gebeurt. Ook kan het mensen met een beperking helpen bij het kijken van video's, menen de onderzoekers. Zij publiceren hun bevindingen deze week op een conferentie in Brussel.

Weergave van resultaat van VideoStory

Reacties (19)

[martijn86]

Ik wil niet teveel als een alu-hoedje klinken maar ik heb zo het idee dat deze functie niet bedacht is als een dienst voor alle gebruikers die moeite hebben met het omschrijven van hun video's.

De functie moet in de toekomst mensen met een krappe databundel of slechte internetverbinding automatisch op de hoogte stellen van wat er in een video gebeurt.

En het maakt de inhoud van je video indexeerbaar. Je kunt zoeken op gebeurtenissen, emoties van gezichten lezen, zien wat er bijvoorbeeld op de achtergrond in je boekenkast staat... Heel interessant voor het profileren van gebruikers en toevallige omstanders.

Edit: OH wacht ik snap hem al! Er zit een groothoeklens in de Facebook Portal (Facebook Assistent).

[Reactie gewijzigd door martijn86 op 23 juli 2024 18:48]

[WillySis]

Het herkennen van mensen in een video zullen ze met gezichtsherkenning nog wel lukken, maar een gebeurtenis omschrijven is toch knap. Emoties in gezichten herkennen is ook al mogelijk, maar gebeurtenissen in een scene herkennen en omschrijven lijkt me knap. Een bruiloft waarbij een in het wit geklede bruid prominent in beeld is lijkt me nog wel te doen, maar zodra de bruid voor wat andere kleding heeft gekozen wordt het toch lastig om dit te herkennen. Een feest of een demonstratie lijken me lastig uit elkaar te houden. Een hond en een paard goed benoemen is al lastig zeker als je geen referentie hebt om de grootte van het beest te kunnen inschatten.
Natuurlijk heeft Facebook commerciële belangen, maar ik vermoed dat er daarnaast nog veel partijen zullen zijn die interesse hebben in een dergelijk algoritme. Het indexeren van video (maar ook foto's) leunt nu nog zwaar op menselijke interactie. Mensen zijn daarbij ook lui en blijven bij hun eigen interesse. Veel video fragmenten en afbeeldingen worden daardoor niet of hooguit onvolledig geïndexeerd. Een automatisch herkenning zou een enorme verbetering zijn die het doorzoekbaar maken van foto en video archieven tot een veel hoger plan kunnen trekken.
In combinatie met een text to speach functie kan men zelfs films aantrekkelijk maken voor blinden.

[Noxious]

Natuurlijk kun je ook externe context meenemen in zo'n techniek, bijvoorbeeld de tekst bij de desbetreffende post en eventuele reacties van mensen.

[WillySis]

Dat voordeel heeft Facebook natuurlijk wel. Dat geldt helaas niet voor iedereen. Ik heb bijvoorbeeld duizenden foto's en honderden filmpjes die slecht tot niet zijn gedocumenteerd. Dat een beetje doorzoekbaar maken is nu mensen (monniken)werk.
Als er iemand nu op zoek is naar een bruikbare foto of een filmpje is het gewoon een paar uur plaatjes kijken, of de camera pakken en er een dagje op uit trekken. Zo'n geautomatiseerde beschrijving zou ontzettend behulpzaam zijn en veel tijd besparen. Zelfs een slechte beschrijving zou al waardevol zijn.

Ik ga deze ontwikkeling zeker volgen!

[droner]

Heeft ongetwijfeld vooral tot doel advertenties te kunnen targeten - advertenties die direct inspelen op user generated content krijgen namelijk 50% meer clickthrough dan gemiddeld en genereren een revenue van 5x de advertentiekosten. Snapchat is hier ook al veel langer mee bezig: https://www.theverge.com/...t-recognition-advertising

[Reactie gewijzigd door droner op 23 juli 2024 18:48]

[Annihlator]

Leuk die indexeerdrift maar dat doen aan de hand van algoritmes bij video is in dit geval niet meer dan je botvieren op het maken van aannames; dat facebook dan ook geen uiterst belang lijkt te leggen bij de acuratesse ervan spreekt dan ook boekdelen (anders zou de indexering bijv non-actief blijven tot de uploader aangeeft "ja dat klopt" iig tot het algoritme ook en-pleine-publique bewezen is.) En dat na alle fakenews-hetze; bewijst maar hoe serieus facebook het tegengaan van fouten/onwaarheden/etc. Daadwerkelijk serieus neemt (geheel niet-serieus anders dan dat het clicks kan opleveren.)

[Sorcerer8472]

Ik denk dat het voorschotelen van soortgelijke video's of video's die volgens een machine learning algoritme waarschijnlijk scoren bij de gebruiker, de grootste reden is om dit te doen. Dat is namelijk iets dat engagement verhoogt op het platform, en dat verhoogt op zijn beurt weer de advertentieomzet op de gebruiker.

Aangezien omzet het enige is dat bottom line iets boeit, lijkt mijn aanname me het meest waarschijnlijk

[harmvzon]

Ik zou wat spaarzamer omgaan met vergelijkingen met Hitler. Totaal ongepast en ook onjuist natuurlijk. Wil je shockeren dan kan dat op andere fora en social media. Gedraag je een beetje.

[WimmieV]

...Facebook tagged automatisch alles wat het kan herkennen

Niets nieuws dus eigenlijk.

Wel nieuw is je vergelijking over de vernietiging van mensen.

Je moet je schamen voor die opmerking !

[Atmosfeer]

Wat er gebeurd in een video is anders toch wel een grote stap ten opzichte van een stilstaand plaatje waarin objecten herkent kunnen worden. Om een gebeurtenis te omschrijven moet je acties van mensen en dingen herkennen. Best lastig lijkt me.

[Illusion]

Een “enigszins accurate” omschrijving van wat er in een video gebeurt. Ik zou wel een paar sites weten waar dat een goede toevoeging is

[MrMonkE]

Youtube?

[DrVic]

In China vult de overheid direct de namen en de social scores van iedereen in de filmpjes in, hoef je dat ook niet meer te doen. Ik snap dat het technisch allemaal heel cool is en dat er voor zowat alles wel goede e slechte toepassingen zijn, maar ik word er ergens ook wel een beetje onpasselijk van.

[Tjm De Groot]

De term sociale media doet mij gruwelen, Facebook en zijn verdienmodel al helemaal het is een grote reclamezuil en om die redenen al helemaal lak hebben aan je privacy.

[Willaaam]

Ik zie hier wel een aardige techniek voor slechtzienden, hier kun je gave dingen mee doen!

[harmvzon]

Handig bij het indexeren van filmpjes of het filteren van ongewenst materiaal. Lijkt me nog een flinke weg te gaan voordat dit echt zo werkt als in het voorbeeld. Vooral oorzaak en gevolg, linken van situaties (bij een montage), drukke of wazige scenes of scenes zonder veel referentie lijken mij erg lastig.

[mutley69]

Het gevolg gaat zijn dat men nog meer info uit die video's weet te halen, nog meer linking - nog meer big brother. Dus graag geen beelden van mij op dit platform - of ik stuur een dagvaarding. (ik ben dus bewust a-sociaal en ik vraag dat elkeen daar conform mee handelt - u heeft dat recht - dwing dat dan ook af als u dezelfde mening toegedaan is - dat is niet vriendelijk maar u heeft dat recht, en als u dat niet afdwingt is u dat kwijt voor altijd).