嘴里。
目前，人工智能研究者正在努力让机器从行为中推断目标，这在超级智能出现之前也非常有用。
譬如说，如果一个照顾老年人的机器人能观察和总结出它所照顾的老年人的价值观，那这个老人可能会非常开心，因为这样他就不用费尽口舌向机器人解释一切，也不用对它进行重新编程。
要实现这一点，其中的一个挑战是，找到一种将任意目标系统和伦理准则编入计算机的好方法。还有一个挑战是让计算机弄清楚哪个系统最符合它们观察到的行为。
对于第二个挑战，目前有一种流行的方法，用行话来说叫作“逆向增强学习”。沈教授新建立的研究中心就主要研究这个东西。
比如假设一个人工智能看见有一个消防员跑进了一栋熊熊燃烧的房子，救出了一名男婴。
它可能会得出一个结论：消防员的目标是拯救男婴，他的伦理准则要求他将自己的生命看得比“舒服地躺在消防车里”更高，高到他宁愿承担失去安全的风险。
但是，它也可能通过推断认为，这个消防员可能饥寒交迫，迫切想要获得热量，或者说，他这么做是为了锻炼身体。
如果这个事件是这个人工智能所知的与消防员、火和男婴有关的唯一例子，那它就不可能知道哪种解读才是正确的。
然而，逆向增强学习的一个关键思想就是，人类总是在做出决策，每个决策都揭示了一点点关于人类目标的信息。因此，逆向增强学习希望人工智能体通过观察许多人在许多场景中的行为，包括真实场景、电影和书籍，最终构建起关于人类偏好的精确模型。
即使人类建造了一个能学习人类目标的人工智能，但这并不意味着它一定会接受这些目标。想想你最讨厌的政客，你知道他们想要什么，但那不是你想要的，就算他们费尽心思，也无法说服你接受他们的目标。
人们为了让自己的孩子接受他们的目标，可谓无所不用其极。从抚养叶轻尘的经验中，先知发现了一些比较成功的方法。如果你想要说服的对象不是人，而是计算机，那么，你就面临一个称为“价值装载问题”的挑战，这甚至比对孩子进行伦理教育还难上加难。
假设一个人工智能系统的智能逐渐从低于人类的水平发展到超人类的水平。在这个过程中一开始，由人类对它进行敲敲打打、修修补补，后来，它通过天启那样的自我迭代，迅速提升智能。
一开始它比你弱多了，所以它无法阻止你把它关掉，也无
…。。