Je viens de trouver une solution par je ne sais quel miracle. La voici pour les prochains qui rencontreront le même souci.
Allez trouver les deux fichiers "Fallout4Prefs" présents dans votre dossier "Documents\my games\Fallout4" et dans "Steam\steamapps\common\Fallout 4\Fallout4".
Recherchez les lignes de code suivantes :
"bMaximizeWindow=0
bBorderless=1
bFull Screen=1
iSize H=720
iSize W=1280"
Modifiez le H et le W par votre résolution d'écran. Pour un écran de 1920x1080, ça donne donc
"H=1080" et "W=1920"
Les guides conseillent ensuite de mettre 1 à MaximizeWindow et 0 à fullscreen. Chez moi, cette configuration me donne une fenêtre qui couvre mon écran, mais qui n'est pas en plein écran (on voit le bureau sur le côté donc, comme une fenêtre normale).
J'ai corrigé comme ceci pour avoir le jeu en fullscreen :
"bMaximizeWindow=0
bBorderless=0
bFull Screen=1"
Voilà. En espérant que mon malheur aide un jour quelqu'un d'autre.