Да-да-да, очень мрачный сценарий, я помню :-)
Нет, книжку не читал. А что там?

Про искусственный интеллект — у меня к нему отношение примерно такое же, как и к животным. То есть, соблюдать его интересы нужно, но только до той степени, пока соблюдение его интересов совпадает с нашими интересами. Ну примерно как, почему не надо бить собак — не потому, что у них ранимая душа, а потому, что вид избиения собак травмирует видящих это избиение людей, а этого лучше не допускать. То есть да. защищать нужно — но и терять из виду причины этой защиты не надо. Иначе можно запутаться в собственной мотивации, и начать защищать животных в ущерб интересов людей. Чего лично я боюсь — если мне нужно выбрать между убитой коровой и умершими с голода детьми, ну вот правда, я выберу смерть коровы. Даже мученическую, варварскую смерть. А пока это всё на уровне ми-ми-ми — ну отчего бы и не позащищать интересы животных, интересы мимикрирующих под людей алгоритмов и прочее и прочее.