Tout dépend de ce que tu veux programmer, faire un tri ça ne demande que de la logique, faire un algorithme de cryptage ça demande des maths.
Si ton but est de faire des jeux, en 2D tu n'auras pas trop de soucis (quoique, pour faire sauter un personnage avec du réalisme c'est pas si trivial), pour la 3D, soit tu utilises un moteur 3D donc pas la peine d'être très calé, soit tu programmes en dur avec OpenGL/Direct3D et là effectivement il y a des maths.
Si tu veux faire des IHM (Interface Homme Machine, des fenêtres quoi), aucune connaissance en maths n'est nécessaire.