Personnelement j'ai trouvé la physique en SPE plus difficile que les maths, mais c'est une question de sensibilité.
Il faut plus de rigueur en maths, je pense qu'il y faut plus d'idées, mais il faut en physique un sens tout particulier qui te permet d'avoir conscience des phénomènes derrière les équations et donc de savoir quand tu peux te permettre des analogies, de négliger à juste titres certaines choses, etc...
Ca ne se compare pas en terme de difficulté, ce sont deux façons de penser assez différentes.