"il y aura un programme qui dira ce qu'est le bien et le mal (donc chose a faire ou ne pas faire)"
Comme chez l'homme.
Je ne sais pas si la notion du bien et du mal chez l'homme est innée ou issue de l'éducation mais quoi qu'il en soit, un programme pourra la retrouver par apprentissage : le bien et le mal ont été inventé dans un soucis de vivre avec les autres sans risques. Si on avait jamais déclaré que tuer c'est mal, alors on prendrait le risque à chaque instant de se faire tuer par un autre : puisque nous même n'avons pas envie de nous faire tuer, nous ne tuons pas les autres. Instaurer une morale est la décision la plus logique pour survivre en société. De même le bien est accompli dans l'espoir que les autres seront aimables avec nous (consciemment ou inconsciemment).
Si des programmes intelligents sont amenés à vivre en société, il comprendront d'eux mêmes ce qu'est le bien et le mal car instaurer un bien et un mal et le faire respecter est la solution la plus rationnelle si on veut survivre.
