Euh t'essayes de modifier le minecraft_server.exe ??
Je sais pas si c'est une archive mais quoi qu'il en soit si tu veux installer des mods il faut absolument que tu prenne le minecraft_server.jar (qui lui est bien une archive).
Après pour lancer ton serveur il faut le lancer en ligne de commande. T'as qu'a créer un fichier .bat pour gagner du temps :
@ECHO OFF
IF /I "%PROCESSOR_ARCHITECTURE:~-2%"=="64" "%ProgramFiles(x86)%\Java\jre6\bin\java.exe" -Xms1024M -Xmx1024M -jar minecraft_server.jar nogui
IF /I "%PROCESSOR_ARCHITECTURE:~-2%"=="86" java -Xms1024M -Xmx1024M -jar minecraft_server.jar nogui
C'est le .bat que j'utilise pour mon serveur qui vérifie si t'utilise WIndows 32 bits ou Windows 64 bits pour lancer le serveur avec Java version 64 bits si c'est possible.