En ADSL, les connections ne sont pas partagées par les habitants. Chaque lien ADSL est connecté au DSLAM de son opérateur, il n'y a pas de partage du débit. Chacun est connecté à son fournisseur d'accès à internet (FAI).
Ensuite vos données se retrouvent dans le réseau de l'opérateur internet. Maintenant le débit est partagé entre les utilisateurs mais nos opérateurs ont des réseaux surdimensionés. Un seul routeur pour opérateurs (FAI) gère des térabit de données par seconde : https://www.cisco.com/c/fr_fr/products/routers/carrier-routing-system/index.html
Les problèmes apparaissent après, lorsqu'il faut transférer les données à d'autres opérateurs sur internet, c'est le peering. C'est le cas pour Free mais aussi pour d'autres opérateurs mais on ne s'en rend pas toujours compte. En fait des incidents réseau, il y en a tout le temps.
Enfin, il y a le serveur internet sur lequel vous vous connectez. Celui-ci n'est pas géré par votre FAI. Ce serveur peut tout à fait être sous-dimensionné et vous partagez effectivement les capacités de ce serveur mais cela n'a encore une fois aucun rapport avec votre connection (ADSL, fibre, 4G, etc).
Pour revenir à l'ADSL, les limites sont plutôt au niveau des caractéristiques physiques de la ligne téléphonique : distance et qualité du signal.
Sans doute que la confusion provient d'anciennes technos comme le "cable" ou certaines offres "fibres" où le débit est/était partagé par un immeuble ou un quartier.