Je dirais: ça dépend des jeux, des licences, du type de jeu et de ton expérience.
Perso, depuis quelques temps déjà, les FPS, je les fait minimum en difficulté normale (ou ce qui équivaut à ça). En dessous, c'est généralement trop facile pour moi, vu que c'est un genre de jeux auquel je joue depuis près de 25 ans, et auquel j'ai beaucoup joué en compétitif il y a des années (avec différents types de gameplay).
Vu qu'en ligne, le niveau est généralement très élevé, même si le solo n'a généralement rien à voir avec le jeu en ligne, je préfère ne pas trop m'habituer à avoir des ennemis IA "trop faciles".
Même chose lorsque je m'entraîne contre des bots: difficulté maximale, systématiquement. En dessous, c'est vraiment trop facile pour moi, et déjà même ainsi, je trouve que la plupart des IA n'opposent pas tant une si grande difficulté.
Pour les STR et jeux de gestion, vu que je ne suis pas très bon dans ces domaines, en général je joue en facile. Si vraiment je vois que je peux essayer une difficulté supérieure, j'essaye, mais le plus souvent, je me fais ramasser 
Pour les jeux de course: dés le départ, difficulté maximale. Par exemple, les Forza Horizon, je joue énormément à la licence depuis le 3, donc j'ai une grande expérience de celle-ci, je sais rapidement maîtriser mes caisses et comment les régler efficacement, les tracés, l'IA, donc je sais que je peux mettre la difficulté max (Imbattables) sans soucis.
Donc d'expérience, quand augmenter la difficulté? Lorsque tu trouves que le jeu devient trop facile, et que tu aimerais un peu plus de challenge. Selon le jeu, le type de jeu et les paramètres offerts, on peut monter très progressivement, et voir comment on s'en sort.
Après, on n'est pas forcé de vouloir toujours du challenge non plus, on peut parfois juste aimer jouer sans se prendre la tête et sans avoir à s'arracher les cheveux ou roter du sang à chaque partie 