Ni le mot ni même le concept de ministère ne sont dans la Constitution française : elle organise, à très grands traits, les rapports entre le Premier ministre, les autres ministres et les autres organes (Président de la République, Parlement, Conseil d'État, etc.). Selon la Constitution, l'organisation de l'exécutif est une prérogative du gouvernement lui-même, et cette organisation peut, en théorie, être changée librement, sous la seule contrainte du respect des lois garantissant les personnes concernées.
Cependant, la Constitution fait mention de toute une liste d'emplois dont, notamment, les préfets, les recteurs des académies, et les directeurs des administrations centrales. Ainsi la Constitution reconnait-elle implicitement toute une série de structures des ministères : les administrations centrales, les préfectures (et donc, indirectement, les administrations déconcentrées dont le préfet est le chef), et les académies.
L'existence des ministères résulte de décrets, pris « en conseil d'État ». Ces décrets restent en vigueur en permanence, même si le premier acte de l'exécutif, à savoir la formation du gouvernement, en modifie les attributions et les contours, ainsi que la dénomination. À cette occasion, des regroupements ou des séparations peuvent avoir lieu, formalisés par de nouveaux décrets constitutifs ou modificatifs.
Le conseil d'État assure la permanence des ministères : il faut lui soumettre toute modification, et, en tant que juge administratif suprême, il doit savoir à quel ministère il lui faut s'adresser pour faire exécuter une de ses décisions, relative à un problème ancien né parfois longtemps avant que le ministère n'existe, voire avant même la naissance de la Ve République. Les contingence de dénomination sont traitées par deux moyens :
l'emploi de la locution « chargé de » : ainsi existera-t-il toujours un ministère « chargé des anciens combattants », même si rien, dans la structure gouvernemental, ne vient rappeler cela.
pour les grands ministères, l'emploi d'une dénomination permanente, indépendante des vicissitudes locutoires : ainsi le conseil reconnait-il un « ministère de l'intérieur » ou un « ministère de l'agriculture », bien que leurs noms officiels, leurs attributions et leurs périmètres changent plusieurs fois par décennies.