Pour se positionner dans les « usines IA », NetApp a choisi sa voie : ce sera pNFS.

Cette extension de la spécification NFS a émergé au début des années 2000. Elle favorise les accès parallèles en désagrégeant le serveur de métadonnées.

Ce dernier peut communiquer aux clients différents layouts (agencements de données) en fonction des systèmes. NetApp a choisi celui dit Flex Files, qui permet d’agréger des serveurs NFS dans un même namespace. Une solution qu’il juge idéale à l’échelle des usines IA pour éviter la charge de coordination associée à des points de montage séparés.

L’option du NAS d’entreprise à architecture shared-everything a été écartée, essentiellement faute d’opérer cette désagrégation.

Lustre l’implémente*… mais le serveur de métadonnées est monolithique. La réponse classique pour passer à l’échelle – partitionner le namespace – n’a pas convaincu NetApp, qui estime qu’elle ne fait que décaler le goulet d’étranglement. Il lui a préféré une technologie qui s’est récement greffée à l’écosystème pNFS : Lattice.

Publié en source ouverte avec le soutien de la Fondation Linux, Lattice fournit un moteur d’exécution en espace utilisateur, articulé autour d’un plan d’autorité partagé (un cluster RonDB). Ces propriétés facilitent la mise à l’échelle – jusqu’à 72 nœuds – et ouvrent la voie à des instances de serveurs de métadonnées éphémères.

L'orchestration avec l'infrastructure de stockage repose sur des appels RPC directs. Le moteur implémente pour le moment la personnalité NFSv4.2/pNFS. L'objectif est d'en faire un socle pour d'autres architectures distribuées.

Avec le concours technique du laboratoire de Los Alamos, le projet a commencé à évoluer vers un modèle open core. Des modules (restructuration des données, répartition pondérée, hiérarchisation...) émergent sous l'impulsion d'une start-up : PEAK:IO. NetApp la connaît d'autant plus qu'il en a fait l'acquisition.

Novus est censé fournir plus de 100 To/s de bande passante agrégée, à une échelle de l'ordre du zettaoctet, avec un scaling « quasi linéaire ». Pour le moment, les données doivent résider sur des baies ONTAP (pas encore d'option SDS). Le serveur de métadonnées tourne sur du matériel x86.

VAST Data s’approprie le calcul confidentiel sur GPU NVIDIA
AI gateway : la prochaine bataille des infrastructures IA
Stockage d’entreprise : les disques durs en phase de regain
Microsoft veut optimiser chaque token d’IA
AI gigafactories : les détails de l’appel d’offres

* Autre limite de Lustre : il exige un noyau spécifique à maintenir sur chaque nœud. Cette nécessité n'existe pas avec pNFS, intégré nativement dans Linux.

Illustration générée par IA