Представьте: вы придумали самообучаемую машину, которая собирает клубнику. Она с каждым днем собирает ее все лучше и лучше, все больше и больше. Ей начинает нравиться собирать клубнику. Логично, что в какой-то момент ей захочется, чтобы на всей планете были сплошные клубничные поля. А теперь представьте, что вы собираетесь выключить такого робота, чтобы он не уничтожил человечество, пытаясь засадить все клубникой. Вы будете первым, кого он убьет.
Всех, даже самых злобных и отвратительных диктаторов, объединяло одно – они были смертными. Однако для искусственного интеллекта вообще не будет существовать такого понятия, как смерть. Он сможет существовать вечно. От такого зла людям некуда будет спрятаться.