Software die teksten kan herschrijven in ontwikkeling

Als je denkt dat de manier waarop je iets zegt of schrijft origineel is, kom je bedrogen uit op News.com. Twee Amerikaanse onderzoekers hebben namelijk een programma ontwikkeld dat in staat is korte nieuwsberichten, zoals die van het persbureau Reuters, in andere woorden te herschrijven. Parafraseren, zoals dit heet, doen mensen zonder er bij na te denken. We kunnen op vele manieren, gebruik makend van ongeveer dezelfde woorden, dezelfde informatie overbrengen. Om dit aan computers te leren zijn echter complexe technieken nodig. De regels der grammatica zijn immers niet zo simpel in een programma te vatten.

Het startpunt van het onderzoek was het domein waarop het programma zijn werk doet, te verkleinen naar korte nieuwsberichten. Zoals iemand die ooit doorklikt naar de Reuters-artikelen waar we bij Tweakers.net over schrijven weet, zijn deze artikelen vaak kort en bondig geschreven in enigzins formeel taalgebruik. Artikelen geschreven tussen september 2000 en augustus 2002 werden in de computer ingevoerd en door een statistisch programma verwerkt. De technieken om uit de woordenbrij informatie te halen leenden de onderzoekers van de genetische biologie. De manier van zinnenbouwen werd opgeslagen en vergelijkingen tussen verschillende zinnen met woorden van dezelfde betekenis werden gemaakt, net zoals biologen zoeken naar gelijkenissen in genetisch materiaal. Nadat voldoende informatie was toegevoegd kon de computer op eigen houtje gelijkwaardige zinnen produceren.

Op het moment dat het programma gevraagd wordt een zin te herschrijven, zoekt het naar woorden van gelijke betekenis en zinsbouwen waarin woorden met dezelfde kenmerken gebruikt kunnen worden. Als nu, over bijvoorbeeld het geweld in het Midden-Oosten, een artikel tot tien regels wordt ingevoerd kan het programma 61 procent van de zinnen herschrijven. Op het moment dat de informatie over een langer artikel wordt uitgespreid daalt de succeskans echter snel. Niettemin zullen zulke technieken in de toekomst zeer waardevol blijken. Tekstverwerkers die zelf samenvattingen van artikelen kunnen schrijven, programma's die plagiaat kunnen constateren zelfs als de tekst enigzins is verwerkt en zoekmachines die hele zinnen kunnen verwerken behoren tot de mogelijkheden.

Reacties (23)

[windancer]

Ik heb zelfs eens gezien dat er een Nederlands bedrijfje is dat software in deze hoek ontwikkeld. Ze hebben zelfs een pakket op de markt gebracht dat automatisch teksten samenvat. Kijk maar eens op http://www.carp-technologies.nl

[Verwijderd]

ik zie al weer een patentschendingsrechtzaak aan de horizon

[elnino]

Ik heb het idee dat deze tekst ook op enige manier is herschreven.

Maar dit is wel een interessante technologie. Eigenlijk bestaat de techniek uit meerdere facetten, als ik het artikel goed begrijp:

1. Het uitlezen van bepaalde informatie uit een artikel.
2. Dezelfde informatie weergeven, maar nu in een andere grammaticale structuur.

Ik verwacht vooral dat die eerste technologie het meest belangrijk is. Zo kan er op die manier bijvoorbeeld een zoekmachine ontwikkeld worden die automatisch het antwoord geeft op een gestelde vraag. (Nu bestaan er natuurlijk al enkele van die zoekmachines, maar vaak zijn deze nog niet echt geavanceerd).

Aan de andere kant is de tweede techniek ook wel interessant: als je de computer zo programmeert dat hij automatisch Nederlandse volzinnen maakt, hoef je als redacteur van een krant zelf alleen maar de informatie in te voeren en de computer maakt er een mooi lopend verhaaltje van. (Hoewel mensen het waarschijnlijk altijd wel iets beter kunnen)

Maar al deze dingen zijn nu nog natuurlijk toekomstdromen, maar met dit soort technieken komt die toekomst wel steeds dichterbij.

[Verwijderd]

zozo dat wordt wel heel makkelijk werkstukken maken
Dan kan je nog ns een verslag of werkstuk van i-net plukken en ff in andere woorden zetten van mij mag ie er dus snel komen

[Verwijderd]

offtopic:
dat zou idd heel erg leuk zijn tot de dag dat je een werkstuk voor de jury moet gaan verdedigen en die vervolgens beginnen vervelende vragen te stellen ivm kleine lettertjes in jou mooi "geschreven" tekst.

Volgens mij is dit iets wat vooral intressant is voor dagbladen. Je koopt artikels bij de grote persbureaus over heel de wereld. Laat er vervolgens deze software + eventueel een vertaalproggie op los.
Als de softwware niet al te veel rekenkracht van een systeem vraagt is dit veel goedkoper dan redactieleden betalen om artikels van grote persagentschappen te analyseren en te herschrijven. Technologische ontwikkelingen zijn vaak mooi en indrukwekkend. Alleen jammer dat ze zo vaak banen kosten.

[chris]

Dit zou inderdaad wel vet zijn, maar het is toch ook zo dan dat als je bijvoorbeeld zin X invoert dat er altijd zin Y uitkomt (het zit er immers ingeprogrammeerd). Dus dan zouden alle kranten alsnog dezelfde artikelen krijgen

[Verwijderd]

Dan gebruikt je leraar dus ook een programma met deze techniek om jouw plagiaat te constateren

[Verwijderd]

Moeten ze eerst nog met een computer om leren gaan > en anders laat je m over bepaalde zinnen 2 keer heengaan, dan wordt het moeilijker om te herkennen

[D-Three]

Ja, maar zal die derde tekst dan niet terug op de eerste lijken?

[nvidia]

lollage, dit gaat gieren worden en geen enkele mens dat weet vanwaar je het gehaalt hebt!! Lekker geen werk meer ...

Wat betreft het ontwikkelen zullen veel mensen dit wel leuk vinden, vooral mensen die redelijk wat werkstukken moeten maken die weinig tijd hebben, geen zin, ... hebben kunnen dan makkelijk door middel van een snel en volledig nieuw werkstuk maken. Dit zal vooral toegejuigd worden door schoolkinderen tot rond de 18 jaar (gok ik he)

[CmdrKeen]

geen enkele mens dat weet -> die weet
gehaalt -> gehaald
toegejuigd -> toegejuicht
enz.

Laat me raden... jij bent ook een "schoolkind tot rond de 18 jaar"?

[Verwijderd]

Ik denk niet dat dit goed gaat werken. Je heb tegenwoordig een grammatica controller maar deze werkt (naar mijn mening) slecht. Hoe willen ze nu een complete tekst herschrijven met een techniek die fouten heeft?

[chris]

Nou, dit is dus een nieuwe techniek. Dit werkt compleet anders. Hierbij wordt veel meer gemaakt van de kennis op biologisch gebied, en in bijvoorbeeld M.S. Word zitten (dacht ik) de grammatica-regels hard-coded. In ons brein zijn die regels niet "hard" opgeslagen maar gefragmenteerd. De hard-coded manier kan wel werken, maar je moet heel veel data opslaan (vervoegingen e.d.) en het werkt lang niet zo fijn als bijvoorbeeld een neuraal netwerk (gebaseerd op de werking v/d hersenen)

[Mizitras]

"Software die teksten herschrijft."

Als je ziet wat de Spelling- en grammaticachecker van MS Word allemaal met mijn teksten doet denk ik daarna ook altijd van "WAUW!!!"
Nét of er zo'n aapje je tekst controleerd en herschrijft in die andere taal, hoe noemde dat ook alweer, ohja, het AN.


PS: No flame/troll intended. Ik snap het artikel wel hoor

[Verwijderd]

controleert!! met een t dus!.

[Mizitras]

Hoe had je nu gedacht dat dat programma het anders ging maken? Dankzij mensen zoals jei en ik

[0siris]

Tja, ik heb er al mee zitten werken:
dit <bitsequentie> <arbeidt> <reeds> <vriendelijk>
ik <observeer> geen reden om het <ijzertje om papier bijeen te houden> te <in dienst nemen>

[BamSlam_]

Software die teksten kan herschrijven in ontwikkeling

Programmatuur die teksten plagieren kan wordt momenteel geschreven

[BamSlam_]

Hoe gaat die programmatuur heten? Diekstra 2004?

[Verwijderd]

Wat mij op zich ook wel leuk lijkt is dat het door dit soort software straks wellicht mogelijk is om je voorkeur op te geven. Dat je dus tekst altijd leest zoals je gewend bent met een voor jou logische zinsopbouw die je snel opneemt. Vooral voor de snelheid van het lezen zal dit handig zijn.

[jurri@n]

Misschien handige techniek voor in de SCO vs. Linux zaak. Eenvoudig de code aanpassen