Non il n'y a pas de centre de l'univers. L'espace s'étend de la même manière en tout point.
On ne peut pas dire non plus que l'univers s'arrête là ou il n'y a plus de matière. Même en imaginant que l'ensemble de toute la matière (disons toutes les galaxies) soient contenu dans un espace fini et qu'il y avait du vide au delà et bien cette espace vide ferait encore partie de notre univers ! L'univers inclut tout ce qui existe y compris le vide.
En outre, même un vide sans la moindre matière et sans le moindre rayonnement (ce qui est physiquement impossible à réaliser en tout cas dans notre univers observable), ce ne serait pas "rien" non plus. En effet le vide fourmille de paires de particules virtuelles qui se créé et disparaissent aussitôt. C'est ce qu'on appelle les fluctuations du vide quantique.
J'ai regardé la vidéo en diagonale, il me semble qu'il explique bien cela.