Bonjour à tous,

Avez-vous déjà essayé d'utiliser l'optimisation bayesienne (gaussian process) plutôt qu'un grid/random search, pour trouver les hyperparameters de neural nets ? (ou quoi que ce soit d'autres)

Avez-vous constaté des gains de temps en terme de tuning ? Vous l'avez utiliser avec quel genre de modèle ? Vous avez un framework pour utiliser ce genre d'optimisation assez facilement ?

J'utilise notamment le random search mais je lis souvent que l'optimisation bayesienne permettrait de trouver les paramètres beaucoup plus rapidement (et aussi plus intelligemment) et donc, augmenterait les performances et diminuerait le temps de tuning.

Merci !

Salut, je sais pas si c'est toi qui a posté sur reddit mais y a un sujet similaire qui est sorti et qui pourrait t'intéresser : https://www.reddit.com/r/MachineLearning/comments/69n74f/p_hyperparameter_search_benchmark/
En particulier Hyperband : https://people.eecs.berkeley.edu/%7Ekjamieson/hyperband.html

Si c'est pas toi l'OP, hésite pas à faire un tour, tu auras sûrement plus de réponses qu'ici

Salut,

Merci beaucoup pour ces 2 liens, je vais aller regarder ! (je n'utilise pas reddit ;) )