C'est à toi de voir comment gérer ça. Avec tes connaissances actuelles un solution envisageable serait ce prototype:
int solvePoly(double a, double b, double c, double res[]);
La fonction retourne le nombre de solution et les stocke dans res, en considérant que res contient suffisment d'espace. Elle serat appelée comme ça:
double res[2] = {};
solvePoly(1, 10, 2, res);
Mais l'énoncé ne demande pas explicitent de faire une fonction ou un prototype particulier donc tu peut tout aussi bien faire tout dans le main ou une fonction void qui se contente d'afficher le résultat.