Le 13 août 2025 à 06:39:18 :
Très intéressant khey faut checker l'overfitting et bien faire gaffe à avoir une période de bull et de bear dans ton dataset une erreur que j'avais faite était que mon train était en bull et mon val était en bear
Un problème que je vois gros comme une montagne c'est que t'as que 2 sets, c'est absolument vital d'avoir un set de validation et d'avoir un test set qui ne sert qu'à accepter/rejeter la stratégie. Si t'as que 2 sets tu risques d'optimiser sur le test set (par exemple via sélection des hyperparametres) et donc overfit
Le trading c'est un milieu où le SnR est vraiment faible donc ton pire ennemi est l'overfit

Comme dit plus haut, j'ai testé en bear et bull sur différents coin en testant la config obtenue sur des periodes totalement en dehors de la periode qui a servi à l'optimisation

Oui mais est-ce que ton process c'est : cherche une stratégie -> optimise tes paramètres -> test -> refais une opti ?

Si oui tu risques de tomber dans un énorme écueil

Normalement c'est strat -> entraîne -> valide -> entraîne -> valide -> etc.. une fois que t'as les paramètres optimaux -> test sur un test set jamais vu. si t'as la bonne métrique (sharpe par ex) tu envoies en prod sinon tu jettes la stratégie et tu passes à autre chose

C'est une mauvaise idée de te servir du test set en phase de découverte de strat

Le 13 août 2025 à 12:44:04 :

Le 13 août 2025 à 06:39:18 :
Très intéressant khey faut checker l'overfitting et bien faire gaffe à avoir une période de bull et de bear dans ton dataset une erreur que j'avais faite était que mon train était en bull et mon val était en bear
Un problème que je vois gros comme une montagne c'est que t'as que 2 sets, c'est absolument vital d'avoir un set de validation et d'avoir un test set qui ne sert qu'à accepter/rejeter la stratégie. Si t'as que 2 sets tu risques d'optimiser sur le test set (par exemple via sélection des hyperparametres) et donc overfit
Le trading c'est un milieu où le SnR est vraiment faible donc ton pire ennemi est l'overfit

Comme dit plus haut, j'ai testé en bear et bull sur différents coin en testant la config obtenue sur des periodes totalement en dehors de la periode qui a servi à l'optimisation

Oui mais est-ce que ton process c'est : cherche une stratégie -> optimise tes paramètres -> test -> refais une opti ?

Si oui tu risques de tomber dans un énorme écueil

Normalement c'est strat -> entraîne -> valide -> entraîne -> valide -> etc.. une fois que t'as les paramètres optimaux -> test sur un test set jamais vu. si t'as la bonne métrique (sharpe par ex) tu envoies en prod sinon tu jettes la stratégie et tu passes à autre chose

C'est une mauvaise idée de te servir du test set en phase de découverte de strat

Quand je fais tourner optuna je lui demande d'écrire dans un fichier txt toutes les configs trouvées qui répondent à certains critères (montant final, winrate, drawdown, séries perdantes).
Puis je test la config qui me donne le meilleur équilibre sur l'ensemble des critères sur un set jamais vu, à la fois sur une période différente, par exemple 2025 si optimisation faite sur 2021 à 2024 et en plus sur d'autre paires.
Par exemple une config otpimisée sur SOLUSDT de 2021 à 2024, je la teste ensuite sur l'année 2025 sur SOLUSDT, DOGEUSDT, ADAUSDT etc. Et effectivement je fais beaucoup mieux que si j'avais simplement hold du début du test set jusqu'à la fin.

Normalement c'est strat -> entraîne -> valide -> entraîne -> valide -> etc.. une fois que t'as les paramètres optimaux -> test sur un test set jamais vu. si t'as la bonne métrique (sharpe par ex) tu envoies en prod sinon tu jettes la stratégie et tu passes à autre chose

Meme ca il faut faire gaff en fonction de la taille du test set.

Le mieux comme je disais dans mon message ca reste un test contre 1000 agents aleatoires qui prennent des positions aleatoires en suivant la logique (actions trades et duree approx. d'un trade) et de voir ou la strat de l'op se place dans le pool d'agent aleatoire.

Le 13 août 2025 à 13:34:19 :

Normalement c'est strat -> entraîne -> valide -> entraîne -> valide -> etc.. une fois que t'as les paramètres optimaux -> test sur un test set jamais vu. si t'as la bonne métrique (sharpe par ex) tu envoies en prod sinon tu jettes la stratégie et tu passes à autre chose

Meme ca il faut faire gaff en fonction de la taille du test set.

Le mieux comme je disais dans mon message ca reste un test contre 1000 agents aleatoires qui prennent des positions aleatoires en suivant la logique (actions trades et duree approx. d'un trade) et de voir ou la strat de l'op se place dans le pool d'agent aleatoire.

Branlette

Le 13 août 2025 à 13:35:11 :

Le 13 août 2025 à 13:34:19 :

Normalement c'est strat -> entraîne -> valide -> entraîne -> valide -> etc.. une fois que t'as les paramètres optimaux -> test sur un test set jamais vu. si t'as la bonne métrique (sharpe par ex) tu envoies en prod sinon tu jettes la stratégie et tu passes à autre chose

Meme ca il faut faire gaff en fonction de la taille du test set.

Le mieux comme je disais dans mon message ca reste un test contre 1000 agents aleatoires qui prennent des positions aleatoires en suivant la logique (actions trades et duree approx. d'un trade) et de voir ou la strat de l'op se place dans le pool d'agent aleatoire.

Branlette

Quand tu essayes 4000 strategies jusqu'a en trouver une qui overfit pas, c'est peut etre juste qu'elle overfit pas le test set... par chance

Oui effectivement

Le 13 août 2025 à 12:58:36 :

Le 13 août 2025 à 12:44:04 :

Le 13 août 2025 à 06:39:18 :
Très intéressant khey faut checker l'overfitting et bien faire gaffe à avoir une période de bull et de bear dans ton dataset une erreur que j'avais faite était que mon train était en bull et mon val était en bear
Un problème que je vois gros comme une montagne c'est que t'as que 2 sets, c'est absolument vital d'avoir un set de validation et d'avoir un test set qui ne sert qu'à accepter/rejeter la stratégie. Si t'as que 2 sets tu risques d'optimiser sur le test set (par exemple via sélection des hyperparametres) et donc overfit
Le trading c'est un milieu où le SnR est vraiment faible donc ton pire ennemi est l'overfit

Comme dit plus haut, j'ai testé en bear et bull sur différents coin en testant la config obtenue sur des periodes totalement en dehors de la periode qui a servi à l'optimisation

Oui mais est-ce que ton process c'est : cherche une stratégie -> optimise tes paramètres -> test -> refais une opti ?

Si oui tu risques de tomber dans un énorme écueil

Normalement c'est strat -> entraîne -> valide -> entraîne -> valide -> etc.. une fois que t'as les paramètres optimaux -> test sur un test set jamais vu. si t'as la bonne métrique (sharpe par ex) tu envoies en prod sinon tu jettes la stratégie et tu passes à autre chose

C'est une mauvaise idée de te servir du test set en phase de découverte de strat

Quand je fais tourner optuna je lui demande d'écrire dans un fichier txt toutes les configs trouvées qui répondent à certains critères (montant final, winrate, drawdown, séries perdantes).
Puis je test la config qui me donne le meilleur équilibre sur l'ensemble des critères sur un set jamais vu, à la fois sur une période différente, par exemple 2025 si optimisation faite sur 2021 à 2024 et en plus sur d'autre paires.
Par exemple une config otpimisée sur SOLUSDT de 2021 à 2024, je la teste ensuite sur l'année 2025 sur SOLUSDT, DOGEUSDT, ADAUSDT etc. Et effectivement je fais beaucoup mieux que si j'avais simplement hold du début du test set jusqu'à la fin.

Oui c'est pas une bonne idée t'es en train d'overfit le test set malheureusement.
Tu peux te référer à ma méthode ou bien à celle du vdd qui propose l'aléatoire. Il a pas tort non plus, moi je me sers de l'approche du vdd pour savoir si ça vaut le coup d'engager du risque

Oui mais si la config que j’ai trouvé marche ensuite sur des set jamais vu auparavant et en plus sur d’autres coin c’est que y a pas de soucis d’overfitting, sinon ça s’écroulerait dès que je test sur un autre set.

Le 15 août 2025 à 13:17:41 :
Oui mais si la config que j’ai trouvé marche ensuite sur des set jamais vu auparavant et en plus sur d’autres coin c’est que y a pas de soucis d’overfitting, sinon ça s’écroulerait dès que je test sur un autre set.

Je t'invite à lire ça https://pmc.ncbi.nlm.nih.gov/articles/PMC1182327/
Une sélection répétée de modèles en utilisant le score sur le test set constitue un overfit sur le test set. Peut-être que je me trompe et que c'est pas ce que tu fais, mais c'est ce que je comprends de tes explications.
Pour le fait d'utiliser d'autres paires ça aide mais c'est pas forcément suffisant, les crypto sont assez corrélées entre elles et si ton modèle capture principalement des dépendances linéaires il aura les mêmes perfs partout.
Je souhaite que ton modèle fonctionne khey juste fais bien attention à ce que tu fais
Je suis statisticien et je taf dans le ML/DL