effectivement tu dérives (6) par rapport à r0, en faisant bien attention au fait que tu dérives une intégrale à paramètre https://fr.wikipedia.org/wiki/Int%C3%A9grale_param%C3%A9trique#Forme_g%C3%A9n%C3%A9rale_unidimensionnelle
du coup, tu as dm/dr0 = 4pi r0² rho0(r0) et dm/dr0 = dr/dr0 * 4pi * r(r0)² * rho(r0,t)
avec dr/dr0 = (1 + epsr exp(jwt) + r0 d epsr/dr0 exp(jwt)) et r(r0)² = r0² * (1 + 2 epsr exp(jwt)) si tu calcules à l'ordre 1
en égalisant les dm/dr0, tu vas vite avoir 4 pi, r0² et rho0(r0) qui vont se simplifier pour avoir :
1 = (1 + espr exp(jwt) + r0 d espr/dr0 exp(jwt)) * (1 + 2 epsr exp(jwt)) * (1 + epsp exp(jwt))
tu développes tout en ne gardant que les ordres 0 et 1, ce qui te donne 1 = 1 + exp(jwt) (epsr + r0 d epsr/dr0 + 2 epsr + epsp), ce qui correspond à une simplification près à ce que tu dois trouver