Google-onderzoekers hebben tijdens een conferentie in de Verenigde Staten een prototype beschreven van een microscoop die gebruikmaakt van augmented reality en machinelearning om medici te helpen kankercellen in menselijk weefsel te herkennen.
De zogeheten Augmented Reality Microscope is een licht aangepaste reguliere microscoop. Het apparaat werkt door de inzet van neurale netwerken, die eerst zijn getraind op het herkennen van kankercellen in monsters van menselijk weefsel. Als een voorwerpglaasje met menselijk weefsel onder de microscoop wordt gelegd, wordt het beeld dat de medicus door de zoeker ziet, via een camera in een computer geladen.
Algoritmes van Google proberen vervolgens kankercellen te detecteren. Als kwaadaardige cellen zijn gevonden, worden deze in beeld gebracht als een onderzoeker door de zoeker van de microscoop kijkt. Dat gebeurt volgens Google met een vertraging van 100ms. De signaleringen kunnen worden aangebracht in de vorm van tekst, pijlen, contouren, heatmaps of animaties.
De onderzoekers hebben de capaciteiten van de microscoop getest bij twee kankertypes: borstkanker en prostaatkanker. Bij deze typen bleek dat Googles microscoop vrij accuraat kon signaleren of er kankercellen in de monsters zaten. Volgens Google heeft het prototype de potentie om ook andere vormen van kanker en andere ziektes te detecteren, zoals tbc of malaria.
Dit proces van het analyseren van het microscopische beeld en het weergeven van waar eventuele kankercellen zich bevinden, gebeurt in real time. Volgens Google kan het ontwerp voor de microscoop vrij eenvoudig worden toegepast bij bestaande, lichte microscopen die al in ziekenhuizen en klinieken zijn te vinden. Het onderzoek is gepubliceerd onder de titel An augmented reality microscope for
realtime automated detection of cancer.