Tiiny AI proposerait son Tiiny AI Pocket Lab, une sorte de boîtier externe miracle pour les IA de type LLM génératif !
Un projet kickstarter pourrait démarrer en mars 2026, d'après Tiiny AI.

Pour résumer, proposer l'équivalent d'un Mac Studio M4 Max 128 Go/512 Go, vendu $3499 USD, pour seulement $1399 USD dans le cadre d'exécutions d'IA de type LLM génératif, et qui se connecte à votre Mac (ou PC) pour augmenter ses capacités.
Rien que ça !

Ce qui est prétendu

Le Tiiny AI Pocket Lab aurait les performances d'une nVidia RTX 4090 (ou une RTX 5080) faisant tourner les mêmes logiciels, dont PowerInfer (logiciel libre sur GitHub).

Le boîtier alimenté séparément se connecterait au Mac (ou PC) en USB Type C, et aurait besoin d'une alimentation séparée de 65W, avec un TDP annoncé de 30W.

80 Go de RAM LPDDR5X 6400MT/s, un SoC ARM avec une NPU intégrée de 30 Tops et une NPU discrète séparée offrant 160 Tops de puissance de calcul.
Permettant de faire tourner en int4 des LLM jusqu'à 120 milliards de paramètres/weights, soit plus de 64 Go de RAM utilisée (important si pas essentiel !).

1 To de stockage "SSD" sur mémoire Flash NVME, pour stocker les LLMs mais aussi des données censées les alimenter si vous voulez rendre l'expérience plus personnelle.

Et tout ça tenez-vous bien pour seulement* $1399 USD. *des conditions s'appliquent ;)

Coté matériel

Avec 10 modules 8 Go de LPDDR5X, 80 Go au total et plus de 500 Go/s de bande-passante, en théorie ça passe. Et on peut escompter effectivement des performances de RTX 4090 (ou RTX 5080).

La RTX 4090 n'offrant que 500 Go/s de bande-passante par layer en usage séquentiel, le double si elle traite plusieurs requêtes simultanément, bien étagées, et les layers bien partagés entre ses deux moitiés !

Il y a déjà un problème : aucun SoC ARM ne supporte 10 interfaces mémoires avec 500 Go/s de bande-passante totale, excepté chez nVidia ou Apple : M4 Max et tous les Mx Ultra depuis le M1 Ultra.
De l'autre coté, même si c'était le cas, aucun ne propose une bande-passante d'IO de 500 Go/s pour alimenter une NPU séparée.

Et comme on l'a vu avant, la mémoire est unifiée, puisque dépassant 64 Go en stockage de LLM active. Il y a déjà quelque-chose qui me dérange là.

Coté logiciel

Le logiciel le plus mis en avant est PowerInfer, qui permettrait de faire mieux, mais tout autant sur une RTX 4090 ou RTX 5080, ou d'autres plateformes. Il ne supporte pas la plateforme ARM.

Ce logiciel est abandonné depuis 2-3 ans, sauf par la communauté, avec une prise de contrôle visible par Tiiny AI le 1er janvier 2026. Ça n'est pas leur projet.

C'est associé dans les "démos" a un logiciel sur Mac dont on ne connait rien à ce point.
Ces "démos" sont faites sur des Mac dont on ne connait rien, et qui pourraient faire tourner cela en local avec un M4 Max 128 Go avec les mêmes performances ...

Coté prix

10 x 8Go LPDDR5X 6400 MT/s, SSD NVME 1 To, SoC ARMv9, NPU discrète.
Au prix du marché, on est largement au-dessus de $1399 USD, le prix proposé et même garanti* par Tiiny AI sur Kickstarter. *Des conditions s'appliquent

Les conditions ? Payer $9.90 USD immédiatement, avant même le démarrage de leur projet Kickstarter, donc sans garantie et évidemment sans garantie de remboursement depuis leur site créé avec Shopify.
Puis repayer sur Kickstarter, si jamais c'est créé en mars 2026, et là pouvoir bénéficier d'une ristourne une fois le kickstarter terminé. Un kickstarter à deux étages donc.

Payer maintenant, pour une promesse de remboursement partiel plus tard ?!?

Quel mac peut s'aligner ?

Tous les Mac équipés de M4 Max ou Mx Ultra depuis le M1 Ultra, avec au moins 96 Go de RAM.

Ça laisse pas mal de possibilités, dont les Mac probablement utilisés pour les "démos" de Tiiny AI ...

Il y a aussi bien sûr le nVidia DGX Spark avec 128 Go de RAM, prix de base $3999 USD.
Mais nVidia maîtrise toute la chaîne du hardware au logiciels, et même leurs propres IA maintenant. Ça c'est sérieux et solide !

Ce qui ne va pas du tout

Ce matériel ne correspond à rien, ni 10 interfaces mémoires avec 500 Go/s de bande-passante totale sur un SoC ARM hors Apple ou nVidia, ni communiquer à 500 Go/s avec une NPU discrète, ni celle-ci d'ailleurs. Aucune photo de la carte électronique...
30W semblent vraiment trop peu aussi, presque magiques !

Le logiciel est abandonné depuis 2-3 ans, et si il est si magique, il donnerait les mêmes résultats sur les autres plateformes comme il semblait le donner sur nVidia RTX 4090 !
Il ne supporte pas les ARM apparemment ...

Le prix ne va pas, le hardware devrait être vendu au moins $1999 USD et il y aurait peu de marges sauf à être sur du gros volume.
Le prépaiement de $9.90 USD me semble être une escroquerie.
Tiiny AI promettait de vendre leur Pocket Lab pour $455 USD il y a 2 mois. XD

J'ai trouvé une seule "démo" qui pourrait tourner sur le Mac sur laquelle elle est réalisée ou au travers des Interweb de cloud... Le démonstrateur ne sait pas de quoi il parle d'ailleurs.

Personne ne semble avoir pu tester ce matériel et ses logiciels, ils ont juste repris le discours PR de Tiiny AI, sans aucun recul ni critique. Enthousiastes !

J'ai mon opinion et vous ?