Le 10 février 2022 à 18:34:18 :
Le 10 février 2022 à 11:38:23 :
Salut, alors si tu veux trouver des cartes pokemon sur une image avec python t'as plein de choix possibles. Si tu veux que ta carte soit n'importe où et que ton programme te retourne le nom ou la référence exacte de ta carte voilà la pipeline que je ferais, en admettant que t'aies pas un gpu trop claqué, et de chez nvidia :
detection model style ssd si tu veux pas te faire chier ou efficientdet-lite0/lite1 entraîné sur coco, le problème que t'aurais c'est que coco n'a pas de classes 'cartes' mais entraîner sur coco te permettrait de juste fine-tune ton modèle, tu peux ensuite télécharger des milliers d'images de cartes pokémons soit en utilisant un dataset tout fait sinon en scrappant des sites de ventes de cartes.
Pour fine tune ton model sur des cartes pokémons, avec opencv et des transformations pour la généralisation style albumentation ou plus simplement pytorch transforms, tu fais de la transormation spatial de ta carte pour éviter d'avoir toujours une carte parfaitement droite sur ton image, sinon en production, ton IA trouvera jamais une carte légèrement pas droite. Tu places tes cartes de manière random sur des images de coco, tu t'en fous du background, je pense pas que ça posera problème, en enregistrant les coordonées de la position pour créer un dataset comme ça :
image1.jpg -> carte : [39,204,5,500], les coordonnées seraient soit [x,y,w,h] ou [x1,x2,y1,y2] en fonction du model que t'utilises, oublie ne serait ce que de faire l'entraînement et l'IA toi même si t'as pas de l'expérience dedans, ce sera une perte de temps, tu comprendrais même pas comment ça marche. Check efficientdet sur le git d'automl, c'est pas si compliqué.
Là t'aurais ton model qui te permet de trouver de manière fiable une carte sur une image.
Suite de la pipeline : un model de classification qui te permettra de déterminer quel type de carte c'est. Je pense qu'il y a trop de cartes pokemon pour ne serait-ce avoir qu'un seul model classifiant les cartes elles-même, donc tu peux faire une hiérarchie de classification, efficientnet est bien car précis et rapide. Première classification pour déterminer quelle catégorie de carte c'est, disons, quelle génération, et ensuite t'utitlises un autre modèle pour déterminer la sous-catégorie de la carte.
La deuxième partie est selon quasi impossible si t'as pas 7-8k€ à envoyer à une start-up chinoise pour annoter des images donc ce que je ferais plutôt c'est utiliser des modèles OCR pour reconnaître le texte qu'il y a sur une carte. ça paraît peut être plus facile mais les modèles de text recognition sont vraiment pas si précis que ça si tu veux que ça tourne en temps réel donc il y aura un gros traitement de texte à la fin pour faire matcher une image avec les vraies caractéristiques d'une carte.
Ensuite, dans tous les cas, tu pourrais avoir un A100, AGX ou même une RTX, si t'as pas cuda et que t'es pas familier avec tensorrt tu feras jamais tourner ta pipeline en temps réel, donc pour ça il faudra quantize ton modèle de détection en int8 pour que ça tourne bien puis quantize en fp16 ton model OCR pour espérer au moins avoir > 20fps selon ton GPU.
Franchement c'est très faisable si t'as de l'expérience en IA et que t'es chômeur parce que crée ce dataset de détection de cartes seul, selon ça prend 80h facile (2 semaines) juste à récupérer toutes les données, sinon, oublie simplement.
merci pour ton long message, vu que je n'ai aucune experience dans l'IA, ou pourrais je trouver des projets debutants dans l'IA alors 
?
