• Первопричины целенаправленного поведения – в законах физики, подразумевающих достижение оптимума.

• В термодинамике содержится встроенная цель диссипации энергии за счет увеличения беспорядка, измеряемого энтропией.

• Жизнь – это феномен, который способствует диссипации (увеличивая перемешивание всего со всем), ускоряя ее благодаря своей сложности, нарастание которой, как и репликация носителей жизни, способствует хаотичности среды.

• Дарвиновская эволюция переориентирует целенаправленное поведение с диссипации на репликацию.

• Интеллект – это способность к достижению сложных целей.

• Так как у людей не всегда есть ресурсы, позволяющие разобраться, какова оптимальная стратегия репликации, у нас развились полезные эмпирические правила, которые помогают нам принимать решения и которые мы воспринимаем как сигналы к действию – чувство голода, жажды или боли, как вожделение или сострадание.

• Таким образом, у нас больше нет такой простой цели, как репликация; когда наши чувства вступают в противоречие с целью наших генов, мы подчиняемся чувствам и поэтому, например, используем контрацептивы.

• Мы строим все более умные машины, которые помогают нам достигать наших целей. К тому времени, когда мы построим машину, демонстрирующую целенаправленное поведение, мы постараемся привести цели машины в соответствие с нашими.

• Приведение целей машины в соответствие с нашими включает три нерешенные проблемы: сделать так, чтобы машина узнала о них, приняла их и продолжала их придерживаться.

• Искусственный интеллект в момент создания может иметь практически любую цель, но практически любая достаточно амбициозная цель приведет к появлению вспомогательных целей: самосохранению, захвату ресурсов и удовлетворению любопытства, чтобы лучше понимать мир. Первые две могут потенциально привести к тому, что сверхразумный AI причинит проблемы людям, а последняя может не дать ему сохранить цели, которые мы в него заложили.

• Несмотря на то, что многие общие этические принципы приняты большинством людей, непонятно, как применить их к другим видам, таким как животные или будущие AI.

• Непонятно, как вдохновить сверхразумный AI конечной целью, которая не была бы неопределенной и не приводила бы к истреблению человечества, и это снова возвращает нас к исследованиям некоторых сложнейших вопросов философии!