"Si c'est bien un ensemble, totalement abject mais je vois pas pourquoi ce ne serait pas un ensemble."
Non ce n'est pas un ensemble au sens de la théorie classique des ensembles. En gros le "n'importe quoi" te mène à des trucs indémerdables. Imaginons en effet que ton "ensemble" soit noté E, et qu'on considère l'ensemble F défini par :
F = {a t.q. il existe f de E dont a est l'ensemble de départ}.
F est alors l'"ensemble" de tous les ensembles. Mais on ne peut décemment pas considérer cet objet comme un ensemble. Par exemple, dans un ensemble, on doit être capable d'identifier tous les éléments qui vérifient une certaine propriété, et qui forment eux-mêmes un ensemble. Or, si on cherche dans F l'ensemble de tous les ensembles qui ne se contiennent pas, on tombe sur le fameux paradoxe de Russel, qui a justement conduit à mettre en garde dans la définition des ensembles : on ne peut pas définir n'importe quoi !
En fait, ce que tu as défini est une classe, une réunion d'objets qui n'est pas un ensemble. C'est là que s'arrête ma compétence sur le sujet.