Salut les kheys,

J'ai un projet de AI saas, en gros voilà le projet en terme d'archi tel qu'avec mon collaborateur comme on l'a pensé :
Une interface web où le client configurera 2-3 trucs qui lui permettront l'accès à l'API. Il enverra des médias en tout genres à l'API (images, vidéos, documents etc...). L'API enregistrera le document et les mettra dans une liste d'attente, actualisera la BD et les documents seront utilisé par un serveur GPU pour être traités par des IA déployées. Assez classique de boîtes qui font de l'IA saas.

Comment on a pensé la chose concrètement pour le moment. Pour les IA, on a actuellement accès à un DGX A100, V100, P100 & P4 pour ce qui est entraînement, donc en termes d'IA on ne pense actuellement qu'au déploiement. Pour le déploiement, on n'aura pas accès aux DGX, on ne pourra compter que sur une instance EC2 GPU de chez AWS ou l'équivalent de chez google.

Instance AWS Lightsail pour le serveur web, donc front-end + back end.
Instance AWS S3 pour le storage de documents
Instance AWS EC2 multi-gpu pour le déploiement

Les contraintes minimiser le coût des transferts de données entre les services, typiquement, je pensais à faire en sorte que le backend ne voit jamais les données (images, vidéos etc..) mais qu'une sorte de passerelle avec le S3 puisse manage ces données pour actualiser la BD & la file d'attente. Dans un premier temps, ce sera du serveur less, dans quelques temps on espère évidemment, avoir nos propres serveurs & infrastructures dans un datacenter en europe.

L'objectif de cette première itération est de proposer un minimum viable product pour du showcase lors d'exhibitions etc...

Evidemment, on va embaucher un consultant cloud pour nous aiguiller puis configurer tout l'architecture serverless.

La question qu'on a là tout de suite c'est : cette architecture tient-elle la route et répond-elle a la contraite de transfert + scalability (augmenter le nombre d'EC2 en cas de surcharge...) ?

Pour les champions en cloud, comment auriez-vous fait ?

par "IA deployees" j'imagine que tu veux dire juste l'inference a partir du modele et pas la partie d'apprentissage?

J'imagine que tu sais ces choses la mais ca ne fait jamais de mal a le redire. Penses a sparsifier tes modeles avant de les mettres en production. Ca te donnera des modele beaucoup plus petit et du fait plus rapide pour faire l'inference.

Note que tu ne veux pas jsute une instance EC2 multi-gpu. TU en veux probablmenet un nombre flexible pour gerer la charge.

Il va te falloirdes load balancer, et des gestionnaire de queue aussi.

Mais dans le fond ca m'a l'air raisonnable.

Aussi serverless n'est pas forcement mieux que avec des serveurs fixes ou scalable. Ca depend de la charge de ton systeme.

Mais tout ca ton inge cloud devrait savoir.

Le 19 juin 2022 à 19:52:42 :
par "IA deployees" j'imagine que tu veux dire juste l'inference a partir du modele et pas la partie d'apprentissage?

J'imagine que tu sais ces choses la mais ca ne fait jamais de mal a le redire. Penses a sparsifier tes modeles avant de les mettres en production. Ca te donnera des modele beaucoup plus petit et du fait plus rapide pour faire l'inference.

Note que tu ne veux pas jsute une instance EC2 multi-gpu. TU en veux probablmenet un nombre flexible pour gerer la charge.

Il va te falloirdes load balancer, et des gestionnaire de queue aussi.

Mais dans le fond ca m'a l'air raisonnable.

Aussi serverless n'est pas forcement mieux que avec des serveurs fixes ou scalable. Ca depend de la charge de ton systeme.

Mais tout ca ton inge cloud devrait savoir.

Exact, on bosse sur des techs nvidia donc les IA seront pruned, quantized si possible et toutes accélérées avec TensorRT, du coup c'est pour ça que des EC2 utilisant des GPU nvidia c'est absolument nickel ahah

En terme de stratégie à long terme, oui, pour la scalability, plusieurs instances EC2 pour gérer la charge c'est obligatoire, pour l'instant, on a besoin de sortir un produit viable à présenter pendant des exhibitions histoire d'avoir les premiers retours/investissements et embaucher ! Merci pour load balance je connaissais pas, ça peut être carrément utile oui !

Ok merci du retour, c'est cool ! Il y a aussi cloud front qui, je pense serait utile comme deuxième passerelle entre le service et le client :

1ère passerelle : website, où il n'y a que des échanges "administratifs" disons, où le client a sa clé API
2ème passerelle : cloudfront ? Où là, via sa clé API, le client envoie ses documents directement, en utilisant sa clé, pour update la fameuse BD et tout stocker sur S3 en attendant d'être traité