A l´origine, un logiciel est tout d´abord des fichiers textes, complètement incompréhensible pour un non-programmeur. C´est le code source.
C´est un peu comme la recette pour faire un gâteau, la recette de gâteau, c´est le code source, le cuisinier(=> compilateur en informatique) va ensuite "construire" à partir de la source le gâteau (=> binaire).
Le code source est universel, avec le bon compilateur, on a le logiciel adapté à sa machine.
Le code source est donc contenu dans des archives compressés (.tar.gz .tz .tar.bz2 .tar) et est universel à toutes les distributions. Mais il faut le compiler, ce qui est un peu dur pour un débutant (sauf exception, avec un gestionnaire de paquet source comme "portage").
Donc pour le débutant on utilise un gestionnaire de binaire. Un binaire ne fonctionne que sur une plateforme (soit sur linux, soit windows, soit macosx ...). Sous windows on a des .exe, et sous linux, on a soit rien, soit des .run, soit des .bin.
Après, les gestionnaires de paquet utilisent des archives compressés contenant les informations sur comment installer, et souvent les fichiers du logiciel à installer. Sous windows, l´équivalent est un peu les installeurs binaires (en .exe aussi donc). Ces gestionnaires utilisent des fichiers en .rpm, .ebuild, .deb etc...
En espérant avoir répondu correctement à ta question et que tu ais compris