dstack

dstack

dstack est une couche d'orchestration open-source pour le calcul AI hétérogène. Elle offre aux équipes de machine learning une seule plateforme de contrôle pour provisionner des GPU, planifier des charges de travail et exécuter le développement, l'entraînement et l'inférence sur des clouds GPU, des clusters Kubernetes et du matériel sur site.

La plateforme standardise la manière dont les jobs AI conteneurisés s'exécutent sur des accélérateurs NVIDIA, AMD, Tenstorrent et TPU. Vous définissez des flottes, des environnements de développement, des tâches, des services et des volumes en YAML dans votre dépôt, puis les appliquez via une CLI, une interface web ou une API HTTP sans gérer directement Kubernetes ou Slurm.

dstack convient aux équipes qui jonglent avec plusieurs comptes cloud ou des clusters bare-metal et souhaitent un workflow unique, allant des expérimentations locales à la formation distribuée et à l'inférence en production. Elle propose également dstack Sky, une place de marché GPU hébergée, ainsi qu'une option d'entreprise avec SSO et déploiement en air-gap.

Fonctionnalités principales:
  1. Provisionnez des flottes sur AWS, GCP, Lambda, RunPod et autres clouds GPU à partir d'une seule configuration

  2. Lancez des environnements de développement distants avec VS Code, Cursor ou SSH en une seule commande

  3. Exécutez des tâches d'entraînement monoposte ou distribuées avec reprise, planification et politiques de spot

  4. Déployez l'inférence de modèles en tant que services évolutifs avec auto-scalabilité et gestion de l'ingress pour vous

  5. Connectez des clusters Kubernetes existants ou des hôtes bare-metal accessibles via SSH en tant que backends

  6. Prend en charge les accélérateurs NVIDIA, AMD, TPU et Tenstorrent dès la sortie de la boîte

Pros:
  1. Plan de contrôle open-source que vous pouvez héberger vous-même sans coût de licence

  2. Workflow unique basé sur YAML pour plusieurs clouds GPU et clusters sur site

  3. Primitives spécialement conçues pour les environnements de développement, l'entraînement distribué et l'inférence

  4. Prend en charge les instances spot, les politiques de nouvelle tentative et la surveillance de l'utilisation des GPU

  5. Exemples documentés pour TRL, Axolotl, vLLM, SGLang et les principaux fournisseurs cloud

Cons:
  1. La configuration en auto-hébergement nécessite de configurer les backends cloud et les identifiants avant la première utilisation

  2. Le CLI sous Windows dépend de Git for Windows et d'OpenSSH via des outils de type WSL

  3. Les tarifs horaires GPU de dstack Sky varient selon le type d'instance et la disponibilité

  4. La tarification Enterprise nécessite un entretien commercial plutôt qu'un paiement en libre-service

FAQ:

Dstack est-il gratuit à utiliser ?

Oui. dstack est open source et peut être auto-hébergé gratuitement via pip, uv ou Docker. dstack Sky ajoute un accès à un marché GPU en mode pay-as-you-go, et les déploiements entreprise avec SSO et support dédié nécessitent de contacter l'équipe dstack.

Quels fournisseurs cloud dstack prend-il en charge ?

dstack s'intègre aux principaux clouds GPU tels que AWS, GCP, Azure, Lambda, Nebius, Crusoe, RunPod, Verda, DigitalOcean et JarvisLabs. Vous fournissez les identifiants et dstack provisionne les ressources de calcul dans vos propres comptes cloud.

Dstack peut-il fonctionner sur des clusters Kubernetes existants ?

Oui. dstack se connecte aux clusters Kubernetes via un fichier kubeconfig et planifie les environnements de développement, tâches et services dessus. Vous pouvez également utiliser des backends cloud basés sur VM ou des flottes SSH pour des serveurs bare-metal.

En quoi dstack diffère-t-il de Kubernetes ou Slurm ?

dstack orchestre des conteneurs comme Kubernetes mais offre une interface simplifiée, native ML, avec des primitives dédiées aux environnements de dev, tâches distribuées et services d'inférence. Contrairement à Slurm, il prend en charge le développement interactif et l'inférence en production en plus des jobs batch d'entraînement.

Qu'est-ce que dstack Sky ?

dstack Sky est un marché GPU hébergé et géré par dstack. Il vous permet d'accéder aux GPU du marketplace sans posséder vos propres comptes cloud, avec des tarifs horaires débutant autour de 0,80 $/h pour L40S et 1,90 $/h pour H100, et peut fonctionner en parallèle avec vos propres backends cloud.

Quels accélérateurs matériels dstack prend-il en charge ?

dstack prend en charge les accélérateurs NVIDIA, AMD, TPU et Tenstorrent. La documentation inclut des exemples pour les workloads AMD, Tenstorrent et TPU en plus de l'entraînement et l'inférence standard sur GPU NVIDIA.

Catégorie:

Tarification:

Freemium

Tags:

AI Container Orchestration
Open-Source
Dev Environments
Tasks
Services
GPU Access
Cloud Integration
GPU Orchestration
Kubernetes
ML Infrastructure
Fleet Management
Model Inference

Technologie utilisée:

Ant Design
Amazon Web Services
Google Analytics
Google Tag Manager
Ruby
Discord
GitHub
jQuery

Commentaires:

Give your opinion on dstack :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Meilleur Gratuit dstack Alternatives (et Payées)

By Rishit