Non mec tu rêves.
L'ENSAE est dans la banque de notes "Concours Commun Mines-Ponts"(CCMP) (avec Mines Paris, les Ponts, l'ENSTA, l'ISAE, Télécom Paris, Télécom Bretagne, Mines Nancy et Mines Saint-Etienne) donc en spé tu vas passer les épreuves du CCMP et à la fin, tu auras un certain rang au classement du CCMP qui te permettra ou non d'aller à l'ENSAE.
Sauf que pour l'admissibilité au CCMP ainsi que pour les oraux, toutes les matières sont pris en compte. En gros même si tu veux aller à l'ENSAE tes notes en physique au concours auront les mêmes coef que pour les Ponts, l'ENSTA, etc.
Bref t'es obligé de continuer la physique. Mais dis-toi qu'il y a pire que toi : j'étais en PC et c'était pas vraiment ma tasse de thé non plus. Sauf que c'était la matière la plus coefficientée. 