法阻止你将它的软件和在其数据中能对目标进行编码的那部分替换掉。
不过这无关紧要，因为你的目标需要人类水平的智能才能理解，而它还太愚笨，无法完全理解你的目标。
后来它变得比你聪明，能够完全理解你的目标，但这依然于事无补，因为到那时它已经比你强太多，可能不会再让你轻易地把它关掉并替换它的目标，就像你不允许那些政客把你的目标替换成他们的目标一样。
换句话说，人工智能允许你装载目标的时间窗口可能非常短暂：就是在它愚钝得无法理解你，与它聪明到不让你得逞之间的短暂时期。
给机器装载价值之所以比人难，是因为它们的智能增长比人类快多了。对孩子们来说，这个神奇的“说服窗口”可能会延续好几年，在这段时间里，他们的智力与父母相差无几；但对人工智能来说，比如天启，这个窗口可能只有几天甚至几个小时。
一些研究者正在研究另一种让机器接受人类目标的方法。这种方法有一个时髦的专业名字叫作“可改正性”。
这个方法的希望是，你将一个目标系统赋予一个原始的人工智能，这个目标系统使得这个人工智能根本不关心你会不会偶尔把它关掉和改变它的目标。
如果事实证明这是可行的，那你就可以很安心地让你的人工智能走向超级智能，也可以很安全地关掉它，装载入你的目标，试试怎么样；如果不喜欢，又可以再把它关掉，对目标进行修改。
可是天启的发展实在是太快了，甚至快到了可以忽略这些事情的地步。