AI-hårdvara i fokus när Microsoft utvecklar Surface

– En NPU är en neural processorenhet som är unikt designad för att hantera arbetslaster som djupinlärning eller språkmodellhantering, vilket innebär helt nya möjligheter för vad en pc klarar av att prestera när det handlar om AI-programvaror, bildhantering, med mera. Dessa finns nu i våra Surface Pro 9 med 5G, säger Fred Balsiger, Principal Program Manager, Windows System Silicon Integration.

Det började med en CPU

I datorns barndom hanterades det mesta av ”vanliga” processorer eller så kallade central processing units, förkortat CPU. För att datorn skulle bli mer användarvänlig genom de gränssnitt vi känner till idag, med muspekare och ikoner, och kunna möjliggöra datorspel och filmproduktion behövdes en graphics processing unit (GPU).

Dessa två typer av processorer har sedan dess utvecklats och blivit effektivare och effektivare för varje år (se exempelvis Moores lag). Nu håller en ny typ av processor att slå igenom i våra datorer: Neural processing unit (NPU), och i Microsofts fall handlar det om bolagets SQ3-processor.

Väldigt förenklat skulle man kunna säga att CPU:er kan multiplicera ett nummer med ett annat, medan en GPU kan multiplicera nummer i en rad med nummer i en annan rad, och en NPU kan multiplicera nummer från flera rader med nummer i flera andra rader.

Pandemin blev språngbräda

Fred Balsiger beskriver tillsammans med Frank Buchholz, Director of Product Marketing, Surface, hur pandemin blev som en språngbräda för denna typ av processorer att ta sig in i våra pc:s. Inte minst genom alla videomöten och påfrestningarna de innebar för en vanlig kontors-pc.

– Automatiskt fokus, röstfokus och suddiga bakgrunder är bara några av funktionerna som datorn får betydligt lättare att hantera med en NPU, och Windows Studio Effects, det vill säga den mjukvara som utgår från NPU:n. Att hitta ett ansikte bland många andra skulle ”kosta” 20W för en CPU, men en NPU klarar av det med enbart 0,145W, säger Frank Buchholz.

Fördelar med en lokal NPU

Man kan ju fråga sig varför en dator behöver den här typen av kraftfullt beräkningschip. Vi har ju molnet som är fullspäckat med tung beräkningskapacitet?

Fred Balsiger beskriver tre stora fördelar med att plocka ner NPU:erna till våra datorer.

– Det första är säkerhet. Om allt händer lokalt behöver jag inte förlita mig på min uppkoppling till molnet, där och då. Det andra är hastighet eller effektivitet. En NPU är betydligt snabbare på att hantera en viss typ av arbete, och du slipper då vända dig till molnet för dessa beräkningar. Och det knyter an till den tredje fördelen som är de ekonomiska bitarna. Jag kommer inte behöva abonnera på beräkningskapacitet i molnet som min dator istället kan sköta lokalt.

Fördelarna med SQ3-processorn på Surface Pro 9 5G-datorn är alltså att rätt arbete kan utföras av rätt processor. Ju tyngre arbete, desto större sannolikhet att NPU:n tar över bördan för att din dator ska slippa överhettas.

För Surface-användare är också den stora vinsten att du blir del i en ”tajtare utvecklingsloop”, som Fred Balsiger uttrycker det, tillsammans med operativsystemet Windows och molntjänsten Azure.

– Det ger oss och våra användare möjlighet att testa nya saker snabbare, och även misslyckas snabbare om vi behöver det, säger han.  

– Och det blir likadant gällande AI och våra NPU:er. Vi kan tillgodogöra uppdateringar och nya modeller snabbare, säger Frank Buchholz.