VAST DataStore é a camada de armazenamento da plataforma VAST Data. Ela fornece acesso a arquivos (NFS e SMB), objetos (S3) e blocos (NVMe/TCP) por meio de um namespace unificado. Sua arquitetura desagregada do tipo shared-everything separa nós de computação sem estado (stateless) do armazenamento NVMe compartilhado, permitindo que a capacidade e o desempenho sejam dimensionados de forma independente. Estamos avaliando-a porque o throughput de armazenamento afeta cada vez mais a eficiência com que clusters caros de GPU operam durante o treinamento, o checkpointing e o carregamento de modelos. O DataStore permite que as cargas de trabalho mantenham o acesso convencional NFS/POSIX ou S3 enquanto usam NVMe e RDMA para uma transferência de dados mais rápida, oferecendo uma alternativa aos sistemas de arquivos paralelos especializados. A VAST também está trabalhando com a NVIDIA no S3 sobre RDMA e armazenamento compartilhado de KV-cache para inferência desagregada.
Comparado com o Ceph, que oferece armazenamento de blocos, arquivos e objetos de código aberto em hardware convencional, o DataStore é uma plataforma proprietária projetada para cargas de trabalho de NVMe, RDMA e IA. No entanto, ele é caro e prende você à plataforma de dados mais ampla da VAST, portanto pode ser mais do que as equipes precisam, a menos que estejam treinando modelos ou executando inferência em grande escala. Achamos que o VAST DataStore vale a pena ser avaliado por equipes que projetam grandes clusters de GPU para cargas de trabalho de IA e computação de alto desempenho (HPC), em que o carregamento de dados, o checkpointing e o acesso intensivo a metadados de bilhões de arquivos podem deixar GPUs caras esperando pelo armazenamento.
