"Si une IA est capable d'apprendre et de se modifier... Avec un peu de temps, je ne vois pas pourquoi elle ne dépasserait pas les capacités de notre intelligence."
Tout à fait oui, là est le danger !
D’où la règle adoptée dans Dune "Tu ne feras point de machine à l’esprit de l’Homme semblable". Le jour ou les machines seront autonome, même capable de se reproduire, l'humanité sera en grand danger. Il serait donc sage d'adopter des mesures de prudence dès maintenant.
Un danger souligné il y'a d'ailleurs déjà très longtemps par Samuel Butler :
"Qu’arriverait-il si la technologie continuait à progresser plus rapidement que l’évolution des règnes végétal et animal ? Nous remplacerait-elle aux commandes de la Terre ? Comme le règne végétal s’est lentement construit à partir des minéraux, et que le règne animal s’est, lui, construit à partir du règne végétal, un nouveau règne a brusquement surgi ces dernières années, règne que nous voyons dans sa période préhistorique… À chaque jour qui passe, nous lui donnons de plus en plus de pouvoir et de moyens d’auto-contrôle, ce qui sera éventuellement l’équivalent de notre intellect."