Gebruikers preview Android 6.0 kunnen Now on Tap gebruiken via Google-app

Gebruikers van de preview-versie van Android 6.0 kunnen gebruik maken van de functie Now on Tap door een nieuwe versie van de Google Zoeken-app te installeren. De zoekgigant had de functie al aangekondigd, maar die zat tot nu toe niet in builds van Android 6.0

Google Now on Tap werkt na installatie van Google Zoeken 5.3 op toestellen met Android 6.0 Preview 3, meldt Android Police. De functie is bruikbaar door in elk willekeurig scherm lang te drukken op de al dan niet onscreen Home-knop, waarna de software tekst op het scherm probeert te lezen en relevante zoekopdrachten of links te vinden in die tekst. Dat lezen gebeurt door via de Hierarchy Viewer in Android te achterhalen welke content op het scherm belangrijk is en die als Google-zoekopdracht op de achtergrond in te vullen, waarna het de resultaten kan presenteren.

Volgens Android Police is de functie nog niet stabiel en crasht de Google-app nog geregeld bij het tonen van relevante zoekopdrachten. Now on Tap is een van de vernieuwingen in Android 6.0, dat volgens Googles eerdere aankondiging voor eind september zou moeten uitkomen.

De app vernieuwt bovendien de layout van de launcher in de Google Now-launcher. Daar staat nu het Android 6.0-hoofdmenu, met een alfabetische lijst waar gebruikers verticaal doorheen kunnen scrollen. Hetzelfde geldt voor de widgets, die eveneens een verticale lijst vormen.

Reacties (21)

[Kiwi]

Een mooie functie, maar ik vraag me af waarom screenshots worden gebruikt hiervoor, dat lijkt een beetje omslachtig. Waarom worden de tekst waarden niet gewoon uitgelezen uit de app?

[arnoudwokke]

Een mooie functie, maar ik vraag me af waarom screenshots worden gebruikt hiervoor, dat lijkt een beetje omslachtig. Waarom worden de tekst waarden niet gewoon uitgelezen uit de app?

Whoops, dat was mijn veronderstelling die per ongeluk in het artikel is gekomen. Ik heb het inmiddels verduidelijkt in de tekst. Het komt hierop neer: de software 'scant' het beeld door middel van de Hierarchy Viewer om relevante delen van de code te destilleren (zodat hij in WhatsApp bijvoorbeeld niet gaat zoeken op 'view contact' bijvoorbeeld).

Daarna copy/paste het als het ware de resultaten voor het beeld op de achtergrond als zoekopdracht, waarna hij de resultaten kan presenteren. Vaak komen er resultaten boven als kaarten en die geeft hij voorrang.

Voorbeeldje: iemand vraagt je op WhatsApp: 'Yo, heb jij The Martian al gezien?' Now on Tap filtert dat bericht eruit en trekt het los van de interface en andere code in WhatsApp en plakt dat als geheel en in delen in Google als het ware. Vervolgens komt daar voor de tekst 'The Martian' een opvallend resultaat uit: een IMDB-vermelding en misschien wel een vermelding van het boek op Amazon bijvoorbeeld. Dan kan hij die als grafische resultaten weergeven, omdat ze betere resultaten opleveren dan zoeken op 'yo, heb jij'.

Ik merk dat het lastig in woorden te vatten is, maar als je het idee een beetje te pakken hebt, is het heel logisch, al zal het technisch duivels ingewikkeld zijn

[Kiwi]

Bedankt voor de uitgebreide reactie, als ik het goed begrijp stuurt de functie dus niet een complete screenshot naar de servers van Google, maar wordt de tekst op het apparaat zelf uitgelezen, vervolgens naar Google gestuurd, waarna Google kan bepalen welke delen van die tekst waarschijnlijk nuttig zijn voor een card.

Dat scheelt een hele hoop bandbreedte vergeleken met de eerdere uitleg

[Yamotek]

Zodat de rekenkracht benodigd niet op je mobiel gebeurd maar op de server van Google. Hierbij kunnen ze ook de informatie van de screenshot weer bij het 'profiel' plaatsen waardoor de diensten van Google weer persoonlijker gemaakt kunnen worden.

@Kiwi hieronder:
Er zal tekst van de screenshot vandaan moeten worden gehaald, dit moet uitgelezen worden en het is makkelijker dit op een server te laten gebeuren dan deze uitleessoftware te laten draaien in een app op je mobiel. Daarbij moet er een zoekopdracht gebeuren (of meerdere) om relevante resultaten te kunnen tonen, dit moet sowieso al via de server van Google en lijkt het mij sneller en makkelijker om dus alles meteen via de server te laten afhandelen dan dat dit lokaal gebeurt.

Naar mijn weten is dit namelijk gewoon Google search met een screenshot als input ipv tekst/afbeelding (een screenshot is ook een afbeelding maar in dit geval wordt van het screenshot ook tekst afgelezen).

Edit 2:
Na de reactie van Arnoud gelezen te hebben ligt het toch wat ingewikkelder dan dat, daarom is mijn post waarschijnlijk ook niet juist en een verkeerde interpretatie.

[Reactie gewijzigd door Yamotek op 23 juli 2024 08:33]

[Kiwi]

Rekenkracht waarvoor? Ik denk dat het meer rekenkracht kost om een screenshot te maken en vervolgens te uploaden, dan wat tekst op te vragen en vervolgens uploaden.

Een goede reden kan inderdaad zijn dat logo's en afbeeldingen anders niet worden meegenomen, terwijl die juist belangrijk zijn, of misschien omdat de Google app niet de toegang heeft tot het systeem om tekst uit te lezen.

[Cornholio]

want dan mis je logo's en andere plaatjes en shit

[TIGER79]

omdat een screenshot onafhankelijk is van de draaiende app, anders zou elke afzonderlijke app de door jou aangekaarte funtionaliteit (uitlezen tekst waarden) moeten implementeren, daar maak je de ontwikkerlaars ook niet blij mee... Dan zou Google opeens informatie missen (sterker nog de hele Now on Tap dienst niet kunnen leveren) om deze dienst te leveren...

[SinergyX]

waarna de software een screenshot maakt en die uploadt naar Google, waar de servers de tekst proberen te lezen en relevante zoekopdrachten of links te vinden in die tekst.

En het doel hiervan is precies?

[iChaos]

Het uitlezen van data op een andere manier zou te lastig zijn. Het alternatief is dat iedere applicatie de nodige hooks heeft zodat de Google-app echt een functie oproept en de applicatie zelf kiest welke data naar Google mag, maar dan zou iedere ontwikkelaar dat in moeten bouwen en zou de functionaliteit nooit echt van de grond komen omdat niet iedereen het implementeert.

Een andere optie is het escaleren van de privileges van deze app, waardoor het in iedere applicatie direct de 'context' mag manipuleren en views mag uitlezen, maar dan zou je bijv. logo's missen omdat die doorgaans niet als een tekstelement verwerkt zijn. Los daarvan is het uit het oogpunt van veiligheid niet heel fijn dat applicaties privileges kunnen krijgen om zich in iedere andere applicatie te nestelen om er data uit te trekken. Daarnaast zou je voor de interpretatie dan alsnog de data door moeten sturen naar Google, met het verschil dat ze in plaats van een screenshot hele views ontvangen (waardoor je in WhatsApp bijvoorbeeld een heel gesprek zou doorsturen naar de servers, want Google kan anders niet weten welke functie ze moeten sturen naar een ListView om een bepaalde view met een bepaalde tekst te ontvangen om te interpreteren).

Screenshots zijn daarom universeel, want je hoeft geen rekening te houden met gare implementaties door de ontwikkelaars van software en er is geen functionaliteit in Android nodig waarmee iedere applicatie gekaapt kan worden. Nu kan een applicatie die Now on Tap wil blokkeren de 'advanced sandbox mode' gebruiken zoals de apps van haast iedere bank (van de ABN Amro weet ik in ieder geval dat ze het doen), waardoor de applicatie naast dingen als activities sneller afsluiten wanneer ze niet op het scherm staan ook screenshots kan weigeren. Op die manier leg je de keuzes voor privacy in de handen van de ontwikkelaars in plaats van alles open te gooien voor je eigen Google-app (als Google zijnde) en heb je wel de mogelijkheid om direct in iedere app je Now on Tap-functionaliteit te gebruiken.

[RoelRoel]

Het werkt niet met screenshots: dat was een foutje in het artikel.

[SuperKneus]

De app is ook gewoon te installeren als je android 5.1 hebt. In het artikel van Androidworld staat een link naar de download
https://www.apkmirror.com...arm-android-apk-download/

Op 5.1 werkt de Now on tap alleen nog niet maar de google launcher wordt wel aangepast en de drawer werkt gewoon goed.

[army]

Tijdens Google IO 2015 werd aangegeven dat de feature "Now on tap" alleen op Android M zal komen.

[Verwijderd]

Op zich lijkt het zeer handig. Maar is dat in de praktijk ook zo?

[THWIT]

Goeie vraag, lijkt mij iets dat de toekomst zal moeten uitwijzen.
Het hang natuurlijk ook grotendeels af van hoe goed deze functie werkt en in welke situaties het bruikbaar is.
Stel je bespreekt met vrienden op Whatsapp welke film jullie willen kijken op jullie maandelijkse filmavondje. In dat geval liggen er voor zo'n functie als dit mogelijkheden om direct de zoekresultaten met IMDB of de trailer op Youtube te kunnen tonen. Dat lijkt mij handig.
Maar goed, ik heb dit soort features al vaker gezien: in theorie kan het handig zijn, maar helaas wordt de theorie niet vaak praktijk en komen er te weinig situaties voor waarin je het kan gebruiken.

En op het moment dat niemand het gebruikt, raakt de functie in vergetelheid en gebruiken mensen het ook niet in situaties waarvoor het wel handig zou zijn: kortom, dan komt er van zo'n functie niks terecht, hoe handig die ook is.

[djpsycho82]

Net even getest op mijn Nexus 9. Het werkt voor nu alleen in het Engels, dat geldt voor systeem taal en zoek taal. Daarbij waren de servers onbereikbaar helaas, dus echt testen zit er nog niet in.

Ik ben erg nieuwsgierig naar de functie, maar of het echt handig is vind ik wat lastig in te schatten. Zal vast en zeker ook persoonsgebonden zijn.

[_Thanatos_]

Weer een manier erbij om gebruikers over te halen zoveel mogelijk van zichzelf bloot te stellen aan onze stalkende vrienden van Google, met als lokkertje om handige zoekresultaten te krijgen.

Daar heb je geen dikke servers, geen Google, en ook geen stalkers voor nodig. Een beetje knap in elkaar gezette app kan dit prima met de horsepowers die de meeste telefoons al hebben, door dan dingen te zoeken in een zoekmachine die je privacy respecteert, en mbv een grove locatie het enigzins relevant te houden.

[MRIdev]

Nu op tap

[Treveo]

Weet iemand hoe zoiets werkt met de Samsung Galaxy S6 bijvoorbeeld? Die heeft geen onscreen knoppen.

[-Colossalman-]

Zoals in het artikel staat:
De functie is bruikbaar door in elk willekeurig scherm lang te drukken op de (al dan niet onscreen) Home-knop

Zowel de S6 als mijn HTC One(m7) hebben een fysieke home knop.

Ben wel erg benieuwd hoeveel je dit in de praktijk gaat gebruiken.
Vraag me af of een 'gesture' of 'dubble-knock' op het touchscreen niet handiger is.

Edit:
@Lamith:
Rechts van het logo zit de home knop

[Reactie gewijzigd door -Colossalman- op 23 juli 2024 08:33]

[_Thanatos_]

Fysiek als in niet on-screen. Je kunt ook niet-bijdehand doen en dan meer dan een -1 krijgen