As you get to superintelligence, what's going to stop a robot reading literature and discovering this idea that knowledge is actually better than ignorance and still just shifting its own goals and rewriting that programming?
אבל, כאשר נגיע לשלב תבונת-על מה ימנע מרובוט לעיין בספרות ולגלות את הרעיון שידע עדיף על בורות, לשנות את מטרותיו ולשכתב את התוכנה בהתאם?