Je te laisse mon témoignage, t'en fais ce que tu veux:
Je suis allé en prépa et j'y suis resté 3 semaines avant de partir en fac de maths pour les mêmes raisons qui te pousseraient à y aller.
Mes 2 premières années de fac se sont très bien passées, cette année j'étais en grande école, et je peux t'assurer que j'ai vu une différence de fou entre mon niveau et les brutes qui venaient de prépa.
Concrètement je regrette de ne pas avoir continué la prépa, je pensais que le niveau en maths serait à peu de choses près le même mais en vrai pas du tout.
D'autant que pas mal de mes potes cette année sont loiiiin d'être fort en physique et sont pourtant super bon en maths... Donc comme ça je dirais continue la prépa 
Après si jamais tu vas en fac c'est pas dramatique, ça reste sympa et tu peux même avoir un très bon niveau, mais il y a un truc que tu dois savoir : il faut que tu bosses plus que ce qu'on te demande si tu veux notamment préparer l'agrégation, perso j'avais des très bonnes notes et pourtant cette année je me rends compte que c'est TRES relatif, donc juste continue a bosser quoi qu'il arrive ! 