Au collège je ne vois pas très bien ce qui serait éloigné du monde physique. On n'y fait que de la géométrie, de la manipulation de nombre élémentaire et on découvre les équations du 1er degré et les identités remarquables (qui sont simplement 2 astuces de calcul à assimiler). Et un tout petit peu de stats/proba, là aussi c'est assez concret.
Quant au lycée, a priori la seule chose que je vois qui correspond ça serait l'arithmétique de spécialité maths en terminale S. Et encore, on voit quand même régulièrement des applications à la cryptographie