Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 34 reacties
Submitter: poor Leno

De Italiaan Mauro Barbieri heeft voor zijn promotieonderzoek bij Philips Research een indexeeralgoritme ontwikkeld om automatisch een informatieve preview uit een videobestand te genereren.

On AirDe ingenieur hoopt aanstaande donderdag met zijn Movie in a minute-concept te promoveren. Barbieri heeft bij de afdeling Experience Processing van Philips Research op de High Tech Campus Eindhoven aan zijn project gewerkt, zo schrijft Sync. Zijn doelstelling was om een korte, informatieve samenvatting uit videobestanden te destilleren. De automatisch gegenereerde previews moesten in ieder geval de belangrijkste acteurs laten zien en daarnaast de sfeer en het verhaal van een film goed weergeven. Barbieri bekeek naast films ook documentaires en tv-series.

Uiteindelijk schreef de Italiaan een algoritme op basis van een scoremodel, waarbij elk gekozen fragment wordt gewogen aan de hand van een aantal criteria. De software kan onder andere snelle actiescènes van rustige dialogen onderscheiden en gezichten herkennen. De Movie in a minute-code negeert verder reclame en donkere of contrastloze beelden. Uit het overgebleven materiaal kan vervolgens een representatieve mix van actiescènes, korte dialogen en overzichtsshots worden gemaakt. Het bleek vooral lastig om de software zo te maken dat de clou van een film niet wordt verraden.

Met behulp van een testpanel kwam de promovendus erachter dat zijn algoritme het heel aardig doet. Alleen handmatig gemonteerde previews, die sterk op professionele trailers lijken, deden het beter bij het panel, terwijl een bundeling van volstrekt willekeurige scènes juist een aanmerkelijk lagere waardering kreeg. Barbieri's algoritme is door zijn werkgever inmiddels met de nodige patenten beveiligd en de eerste contacten met de filmindustrie zijn ook al gelegd. De promovendus hoopt dat zijn software over enkele jaren in harddiskrecorders van Philips is terug te vinden.

Moderatie-faq Wijzig weergave

Reacties (34)

Waarschijnlijk is die techniek ook zeer bruikbaar om afspelbare content te vergelijken met een db met auteursrechterlijk beschermd video-materiaal.

Daarin zouden de DRM-makers en bv sites als youtube met content-filters ook zeer geintersseeerd kunnen zijn.

[Reactie gewijzigd door RM-rf op 27 november 2007 14:52]

hoezo dan? Ik kan me wel voorstellen dat je het kunt gebruiken om mensen snel een filmpje te laten beoordelen, maar voor drm zijn veel handigere vergelijkingen mogelijk, ik zie niet hoe dit iets toevoegt voor drm
Het is volgens mij ook niet bedoeld om de trailers te vervangen.
Meer dat je van een film uit een hele serie films op je harddisk snel een kleine samenvatting kunt laten zien...
Kan best aardig zijn als je even wilt weten waar een specifieke film ook al weer over ging....

Overigens klopt het dat het niet heel veel meer is dan een gimmick... maar op een willekeurig mobieltje stikt het van de niet zo'n nuttige gimmicks... :) als het maar verkoopt... :Y)
Misschien is het een algoritme met een aantal variabelen die in te voeren zijn. BV steekwoorden, als die naar voren komen worden ze gefilterd. Ik vind het een leuk systeem maar in mijn ogen niet meer dan een gimmick. Om een echt vette trailer te maken zal je het toch nog steeds met de hand moeten doen m.b.t. plaatsing muziek en opbouw.
True. Maar voor de toepassing binnen HD recorders, vind ik het zeker geen slecht idee. Je download films van tv, dan is het soms heel handig om toch even een kleine preview te kunnen zien. En daar is deze techniek erg geschikt voor, als ik het zo lees.
Daarvoor heb je toch de officiele trailer?
Die wordt toch niet uitgezonden op tv, tegelijk met de complete film?

Je neemt een film op van tv, dan een paar dagen later wil je even een stukje "trailer" zien, om te weten waar die over gaat. Dat is het toch veel makkelijker om dit via je HD recorder op je eigen bank te kunnen doen? Dan wil je niet eerst je computer aan zetten, opzoek naar een website met de trailer en deze bekijken. En dan ga ik er even van uit dat je uberhaupt een PC met internet in de zelfde kamer als je tv hebt.
Een hdrecorder is geen mediacenter met internet...
Daarvoor heb je toch de officiele trailer?
Soms is een officiele trailer waardeloos om een juiste indruk van de film te halen. Soms lijkt de film daardoor beter dan het is (talent van de trailer knipper).
Dit algoritme zou wat dat betreft wat objectiever kunnen zijn (behandelt elke film hetzelfde).
Precies.
Mijn recorder laat alleen het eerste frame zien (en de titel die het programma in die eerste seconde heeft). Dan zie je dus altijd of het vorige programma, of reclame.
Eigenlijk zou je daar het meest representatieve beeld van het programma willen hebben. maar moderne apparaten zouden ook geen problemen mogen hebben met filmpjes ;)

Maar het is leuk voor alles wat media indexeert.
Op bepaalde videosites zijn er nu al een 10tal beelden in een flashanimaties van de videos te bekijken in preview voordat je het filmpje opent.
Herkennen van een gezicht? Bestaat al zo lang.
En donkere frames weglaten? Ja duhh..
Of dat allemaal een patent waard is?

En hij mag mij eens vertellen hoe je software schrijft dat een clou van een film kan snappen.
Dat hij maar begint bij deze film: Memento, dat zal wat geven :+
Volgens mij wil je juist niet de clou in een preview/trailer.

En ja alles bestond al min of meer, maar hij is toch de eerste die alles naadloos combineert. Ik hoop dat hij er wat aan verdient...

Maar als het pas over een paar jaar gebruikt wordt, dan vind ik het niet echt slim van deze technologie...
Bedoel ik toch ook :) De software moet weten wat een clou is om hem niet te kunnen tonen. Ik zou geen automatische preview willen van een film die ik wil kijken. Bij veel films zou de spanning er al uit zijn, tenzij er alleen dingen uit het eerste half uurtje getoond worden. En dan nog.
Deze techniek is ook niet bedoeld voor professionele films.
Meer als toegevoegde waarde voor thuisfilmpjes en lange youtube films.
Even een korte indruk en je weet waar het over gaat zonder de clou te onthullen.
of iemand volstrekt op de verkeerde been zetten door de preview. Zoals de romantische previewcut van se7en of de family drama van the shining?
Het is ook 'maar' een promotieonderzoek.
Oftewel het werk van 1 persoon en met een wetenschappelijk uitgangspunt.

Als ik het zo lees, is het best wel een patent waard (gezien hoe er tegenwoordig met patenten gestrooid wordt).
Vorig jaar op de ICCE conferentie in Las Vegas een demo gezien, werkte vrij aardig (toen op de nieuwste Harry Potter). Volledig automatisch. Natuurlijk niet zo goed als een echt geregisseerde trailer, maargoed, vond het vrij goed.

Url voor mensen met een IEEE Xplore account:
http://ieeexplore.ieee.or..._all.jsp?arnumber=1598430
Ach, de clue niet verpesten is vrij simpel. Dialogen alleen uit de eerste helft van de film halen. :)
Het bleek vooral lastig om de software zo te maken dat de clou van een film niet wordt verraden
Da's wel een interessante stelling, voor mijn gevoel zit de clou vaak redelijk aan het eind van de film...
uitzonderingen genoeg, om te beginnen bij bijvoorbeeld 6th sense ... ( eerste 5 minuten )
Dat is nog niet de clou. De clou is juist dat de eerste 5 minuten anders zijn afgelopen dan je de hele film denkt. En die onthulling komt pas in de laatste vijf minuten.
Ik vind t altijd frappant dat veel goede dingen bij Philips worden bedacht, en dat iemand anders er mee van door gaat en z'n eigen versie 'die wel aanslaat' uitbrengt... :/
vb Dcc, Cdi enz
Daar zijn ze inderdaad heel goed in. Zo waren ze ook al (te) vroeg met navigatiesystemen.
Philips verdient dan ook erg veel geld aan patenten.
Ehm Barbieri werkt toch echt nog steeds bij Philips :) Dit was zijn promotieonderzoek, er werken hier genoeg mensen die promotie en werken bij Research combineren.
Dcc, Cdi
Zijn dat niet heel slechte voorbeelden. DCC is inderdaad niet aangeslagen, maar wat wel: CD-R jawel, een Philips vinding. CD-I is niet echt doorgebroken, of toch wel want een ge-update versie van het concept is als DVD een groot succes.
Ik vind het zeker geen gimmick. Software die het herkennen van gezichten etc combineert met op de een of andere manier "snappen" van het verhaal (Dat is toch wel nodig wil je weten wat de clou is) is ontzettend handig in dvd recorders etc. En het is misschien ook wel een opstapje naar een echt trailer.

Verder lijkt me dat een algoritme als dit nog veel meer toepassingen kent / er voor aangepast kan worden. Bijv. voor het identificeren van osam bin laden - achtige filmpjes die je op al jazeera ziet. ( is het wel /niet echt)
"De Movie in a minute-code negeert verder reclame en donkere of contrastloze beelden."

Doe mij alleen maar het stukje code om reclame te filteren. Vervolgens integratie met mijn windows mediacenter en ik ben mooi alle reclame kwijt van mijn opgenomen televisie programma's :P
Volgens mij bestaat dat reclame skippen alllang. Ik heb het op mijn MythTV mediacenter iig al wel...
Dit kan voor winkels erg handig zijn!
In Duitsland heb je bij de Saturn al jaren de mogelijkheid om CD's in te scannen en zo van de alle nummers kleine stukjes te luisteren.
Wanneer je de mogelijkheid zou hebben om een DVD in te scannen en zo een trailer van een minuut te zien, kan je toch een aardige inschatting maken van de inhoud.

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True