Ca a aucun sens si tu le lis mot par mot.
Au départ, c'était une expression militaire.
"Au temps" dans le jargon militaire, c'est quand on doit refaire un mouvement du début.
"Au temps pour moi", c'est quand un chef s'est trompé en ordonnant quelque chose et qu'on doit recommencer le mouvement du début.