Co je to Neural Engine společnosti Apple a jak funguje?

iPhone, iPad, Mac a Apple TV všechny těží ze specializovaného neurálního procesoru zvaného Apple Neural Engine (ANE), který poskytuje rychlejší a energeticky účinnější způsob spouštění z CPU nebo GPU.

Neural Engine společnosti Apple umožňuje pokročilé funkce na zařízení, jako je zpracování přirozeného jazyka a analýza obrazu bez použití cloud computingu nebo nadměrné spotřeby energie. Viz Co je to konvoluční neuronová síť (CNN) a jak funguje?

Pojďme se podívat na to, jak Neural Engine funguje a jak se vyvíjel, včetně uvažování a inteligence, které jej pohánějí na různých platformách Apple a jak jej mohou vývojáři používat v aplikacích třetích stran.

Co je to Neural Engine (ANE)?

Neural Engine společnosti Apple je marketingový název pro sadu vysoce specializovaných výpočetních jader optimalizovaných pro energeticky efektivní implementaci hlubokých neuronových sítí na zařízeních Apple. Zrychluje strojové učení (ML) a algoritmy umělé inteligence (AI) a přináší obrovské výhody rychlosti, paměti a výkonu oproti hlavnímu CPU nebo GPU.

Neural Engine je klíčovou součástí toho, proč jsou nejnovější iPhony, iPady, Macy a Apple TV citlivější a nezahřívají se při stresujících výpočtech ML a AI. Bohužel ne všechna zařízení Apple mají Neural Engine: Apple Watch, počítače Mac s procesorem Intel a zařízení před rokem 2016 jej postrádají.

Neural Engine se poprvé objevil v čipu Apple A11 v iPhone X 2017 a byl dostatečně výkonný, aby podporoval Face ID a Animoji. Pro srovnání, nejnovější Neural Engine v čipu A15 Bionic je 26krát rychlejší než první verze. Dnes ANE umožňuje funkce, jako je Siri v režimu offline, a vývojáři jej mohou používat ke spouštění předem vyškolených modelů ML, čímž uvolňují zdroje CPU a GPU, aby se mohli soustředit na úkoly, které jim nejlépe vyhovují. Podívejte se na srovnání mezi Samsung Galaxy S23 Ultra a iPhone 14 Pro Max: co je lepší?

Jak funguje nervový motor?

ANE poskytuje optimální výpočetní logiku a řízení pro provádění výpočetně náročných operací, jako je násobení a akumulace, a běžně se používá v algoritmech ML a AI, jako je klasifikace obrazu, analýza médií, strojový překlad a další.

Podle patentu společnosti Apple s názvem „Multi-Mode Planar Engine for Neural Processor“ se ANE skládá z několika jader neuronového motoru a jednoho nebo více planárních multimódových obvodů.

Návrh je optimalizován pro paralelní výpočty, kde musí být současně prováděno mnoho operací, jako je násobení matic v bilionech iterací.

K urychlení vyvozování v algoritmech AI používá ANE prediktivní modely. Kromě toho má ANE vlastní mezipaměť a podporuje pouze několik typů dat, což pomáhá maximalizovat výkon.

Funkce AI poháněné Neural Engine

Zde jsou některé z funkcí zařízení, které možná znáte a které ANE umožňuje.

1. zpracování přirozeného jazyka: rychlejší a spolehlivější rozpoznávání řeči pro diktování a odpovídání pomocí Siri; zlepšená výuka přirozeného jazyka v překladatelské aplikaci a v celém systému; Okamžitý překlad textu ve Fotkách, Fotoaparátu a dalších aplikacích pro iPhone.
2. počítačové vidění: Hledání věcí na fotkách, jako jsou památky, domácí mazlíčci, rostliny, knihy a květiny, pomocí aplikace Fotky nebo vyhledávání Spotlight; Získejte další informace o rozpoznaných objektech pomocí vizuálního vyhledávání na místech, jako je Safari, Mail a Zprávy. Podívejte se na zranění ve videohrách a jak se jim vyhnout.
3. rozšířená realita: Přidání mnoha prvků a sledování pohybu v aplikacích AR.
4. Analytika videa: Detekce tváří a objektů na videu v aplikacích, jako je Final Cut Pro.
5. kamerové efekty: automatické oříznutí s centrální scénou; Rozostření pozadí během videohovorů FaceTime.
6. hryFotorealistické efekty ve 3D videohrách.
7. přímý text: Poskytuje optické rozpoznávání znaků (OCR) ve fotoaparátu a na fotografiích, takže z fotografií můžete snadno kopírovat rukopis nebo texty, jako je heslo k Wi-Fi nebo adresa.
8. Počítačové zobrazování: Deep Fusion analyzuje pixely pro lepší redukci šumu, širší dynamický rozsah, vylepšenou automatickou expozici a vyvážení bílé a v případě potřeby používá Smart HDR; fotografování s malou hloubkou ostrosti, včetně fotografování v nočním režimu; Upravte úroveň rozostření pozadí pomocí funkce Depth Control.
9. vzpomínky: ANE se také používá pro styly fotografování v aplikaci Fotoaparát, organizování vzpomínek a stylistických efektů na fotografiích, vlastní doporučení, jako jsou návrhy pozadí, přidávání poznámek k fotografiím v aplikaci VoiceOver, vyhledávání duplicitních fotografií ve Fotkách a tak dále.

Některé z výše uvedených funkcí, jako je rozpoznávání obrázků, budou fungovat i bez ANE, ale poběží mnohem pomaleji a vybíjejí baterii vašeho zařízení.

Stručná historie neuronového enginu: Od iPhone X po Mac kompatibilní s M2

V roce 2017 Apple nasadil svůj první ANE Engine v podobě dvou specializovaných jader v čipu A11 iPhonu X. Na dnešní poměry byl relativně pomalý a proběhl jen 600 miliard operací za sekundu.

Druhá generace ANE v čipu A12 debutovala v roce 2018 se čtyřnásobným počtem jader. ANE, schopný provádět pět bilionů operací za sekundu, byl asi devětkrát rychlejší a využíval desetinu výkonu svého předchůdce.

Čip 2019 A13 má stejný 8jádrový ANE engine, ale běží o pětinu rychleji s 15% nižší spotřebou energie a je produktem vylepšeného 7nm polovodičového uzlu TSMC. Společnost TSMC (Taiwanese Semiconductor Manufacturing Corporation) vyrábí čipové sady navržené společností Apple.

Evoluce neurální motoriky

Následující rok čip Apple A14 téměř zdvojnásobil výkon ANE na 11 bilionů operací za sekundu, čehož bylo dosaženo zvýšením počtu jader ANE z 8 na 16. V roce 2021 využil A15 Bionic výhodu druhé generace 5nm procesu společnosti TSMC a posílil ANE ještě dále, výkon na 15,8 bilionu operací za sekundu bez přidání dalších jader.

První čipy M1, M1 Pro a M1 Max navázané na Mac sdílely stejný engine ANE jako A14, což poprvé přineslo pokročilé, hardwarově akcelerované ML a AI na platformu macOS.

V roce 2022 spojí M1 Ultra dva čipy M1 Max do jednoho balíčku pomocí vlastního připojení Apple nazvaného UltraFusion. S dvojnásobným počtem jader ANE (32) M1 Ultra zdvojnásobil výkon ANE na 22 bilionů operací za sekundu.

Apple A16 2022 je postaven pomocí vylepšeného uzlu N4 TSMC, což má za následek o 8 % rychlejší výkon ANE (17 bilionů operací za sekundu) než čip A15.

První iPady s motorem ANE byly iPad mini páté generace (2019), iPad Air třetí generace (2019) a iPad osmé generace (2020). Všechny iPady vydané od té doby mají ANE. Podívejte se na funkce, díky kterým je Mac mini s M1 nejlepším Macem pro začátečníky.

Jak mohou vývojáři používat ANE v aplikacích?

Mnoho aplikací třetích stran používá engine ANE pro funkce, které by jinak nebyly užitečné. Například editor fotografií Pixelmator Pro nabízí nástroje jako ML Super Resolution a ML Enhance. A v Djay Pro ANE odděluje beaty, instrumentální a vokální stopy od nahrávky.

Vývojáři třetích stran však nemají povolen nízkoúrovňový přístup k ANE. Místo toho musí všechna volání ANE procházet rámcem strojového učení společnosti Apple, Core ML. Core ML umožňuje vývojářům vytvářet, trénovat a provozovat své modely ML přímo na zařízení. Tento model se pak používá k předpovědím na základě nových vstupních dat.

„Jakmile je model na zařízení uživatele, můžete jej pomocí Core ML přeškolit nebo vyladit na zařízení pomocí dat daného uživatele,“ uvádí přehled Core ML na webu společnosti Apple.

K urychlení algoritmů ML a AI využívá Core ML nejen ANE, ale také CPU a GPU. To umožňuje Core ML spustit model, i když ANE není k dispozici. Ale s ANE běží Core ML rychleji a nevybíjí baterii tak rychle. Podívejte se, jak vytvořit model strojového učení pomocí Microsoft Lobe.

Mnoho funkcí Apple by bez ANE nefungovalo

Mnoho funkcí na zařízení by nebylo možné bez rychlého zpracování AI a algoritmů strojového učení a snížení velikosti paměti a spotřeby energie, které ANE přináší do seznamu. Kouzlo společnosti Apple spočívá v tom, že má koprocesor vyhrazený pro soukromé spouštění neuronových sítí na zařízení, místo aby tyto úkoly přenášel na servery v cloudu.

S ANE může Apple i vývojáři implementovat hluboké neuronové sítě a využít zrychlené strojové učení pro různé prediktivní modely, jako je strojový překlad, detekce objektů, klasifikace obrázků a tak dále. Nyní si můžete prohlédnout Jak se stát inženýrem strojového učení a umělé inteligence: průvodce pro začátečníky.