Alors j'ai trouvé une solution qui me satisfait pas.
Avant d'utiliser le code du dessus, il faut indiquer à java que l'on souhaite le theme de l'OS :
UIManager.setLookAndFeel(UIManager.getSystemLookAndFeelClassName());
Ensuite on peut récupérer certaines icones, comme celle pour créer un nouveau dossier :
UIManager.getIcon("FileChooser.newFolderIcon");
Les icônes sont vraiment petites (16x16), le resize est vraiment moche. En plus de ça le nombre d’icônes disponible est vraiment réduit, peut-être 4 ou 5 maximum ...