Apple voert gesprekken met PrismML over het gebruik van de technologie van de start-up, meldt The Information. PrismML claimt dat het Qwen 3.6, een zeer groot opensource-AI-model van Alibaba, draaiend heeft gekregen op een iPhone 17 Pro.
The Information schrijft niet hoe vergevorderd de gesprekken tussen Apple en PrismML precies zijn. Het medium schreef eerder dat de iPhone-fabrikant overnamekandidaten onderzoekt die kunnen helpen om AI-modellen te verkleinen. Op die manier kunnen de modellen op apparaten draaien in plaats van in de cloud.
PrismML verkleint taalmodellen door de gewichten terug te brengen tot 1bit of 1,58bit. Het bedrijf claimt op die manier Qwen 3.6, een model met 27 miljard actieve parameters, zo te hebben verkleind dat het op een iPhone 17 Pro kan draaien. Apples AFM 3 Core Advanced-model heeft 20 miljard parameters, maar gebruikt een 'sparse' architectuur. Daardoor zijn slechts 1 tot 4 miljard parameters tegelijk actief.
PrismML introduceerde eind maart de Bonsai-modellen. Dat zijn native 1bit-modellen die vanaf het begin zijn getraind met 1bit-gewichten, in plaats van 16bit- of 32bit-modellen die later zijn gecomprimeerd. Het Bonsai-model met 8 miljard parameters past in 1,15GB geheugen.
/i/2008163190.png?f=imagenormal)
/u/27299/hoofd.png?f=community)
:strip_icc():strip_exif()/u/218264/crop591b1af1cf6d6_cropped.jpeg?f=community)
/u/381607/have%2520a%2520nice%2520day%2520-%2520small.png?f=community)
:strip_icc():strip_exif()/u/64489/hoogtevorst.jpg?f=community)
:strip_icc():strip_exif()/u/145751/check-in-minion-small2.jpg?f=community)
:strip_icc():strip_exif()/u/249917/jaapschaap.jpg?f=community)
:strip_icc():strip_exif()/u/112202/lighthouse.jpg?f=community)
:strip_exif()/u/465421/tweakersgroter.gif?f=community)
:strip_icc():strip_exif()/u/128701/crop5f952e0f85e5f.jpeg?f=community)
:strip_icc():strip_exif()/u/35767/images.jpg?f=community)
:strip_icc():strip_exif()/u/775247/crop57d669e642673_cropped.jpeg?f=community)
:strip_icc():strip_exif()/u/50542/alice.jpg?f=community)
:strip_icc():strip_exif()/u/172393/crop575c1e0ea6322.jpeg?f=community)