Salut, je vous explique mon problème : j'ai un ensemble de données dont j'aimerais calculer une représentation compressée a l'aide d'un auto-encodeur, mais j'aimerais en plus que la fonction de décodage soit convexe.

Pour imposer cette condition je dois choisir des fonctions d'activations convexes pour les neurones de la partie décodage; mais ma question est donc, que prendre pour la partie encodage? La réciproque d'une fonction convexe étant concave, j'aurais intérêt à prendre des fonctions d'activations concaves?

Quelles fonctions convexes/concaves choisir ? Je dois les prendre C1 voire C2 et strictement monotones, ça fait un paquet de possibilités, je choisis arbitrairement où il y a une meilleure façon de choisir ?

T'es sûr que ça suffit de prendre des fonctions d'activation convexes croissantes ?
À mon avis il faut aussi que tous les poids du réseau soient positifs, et comment t'apprends avec cette contrainte ?

Ah oui mince tu as raison, il faut des poids positifs sur toutes les couches sauf la première
(Et des poids négatifs pour le codage si on veut assurer la concavité)

Du coup puisque je dois avoir des poids positifs je dois faire une optimisation sous contrainte pour la phase apprentissage, il y a des algos efficaces qui font ce genre de chose ou je vais devoir improviser un truc à base de gradients sous contrainte en partant de vecteurs d'initialisation aléatoires ?

fais ta descente de gradient normale, mais seuille les coefficients à chaque étape
y'a pas d'autres moyens je pense

[17:39:11] <spf1>
fais ta descente de gradient normale, mais seuille les coefficients à chaque étape
y'a pas d'autres moyens je pense

Ouais ça a pas l'air absurde, pour une fonction convexe par rapport aux poids la déscente de gradient convergerait bien vers le minimum global, je suppose que pour une fonction non-convexe la projection sur l'ensemble des poids admissible ne pose pas trop de problèmes pour trouver des minimas locaux

Mais je me demandais si il y avait pas des algos un peu plus sophistiqués qui ne se basent même pas forcement sur une méthode du gradient, d'habitude pour l'apprentissage d'un RN on utilise juste une descente de gradient ? On essaye quand même de partir de plusieurs vecteurs d'initialisation je suppose ?