![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Pour la science № 458 — мелочи
Jan. 25th, 2016 08:33 amСтатья об этике использования автономных роботов-убийц. Формулировка кажется научной фантастикой (законы Азимова и т.п.), но решения по этому вопросу нужно принимать уже сейчас. И не только для армии — беспилотный автомобиль (а это уже ближайшее будущее) тоже может попасть в ситуацию, когда он должен принять решение, кого убивать, если нет возможности избежать аварии. Сбивать выбежавшего на дорогу ребёнка или выруливать на встречную полосу под грузовик?
В обсуждении активно используются мои любимые (так прекрасно выводящие из себя собеседников!) гипотетические ситуации. Представим себе потерявший контроль трамвай, мчащийся по рельсам, к которым привязано 5 человек. Вы находитесь далеко, в центре управления трамваем. Ничего физически вы сделать не можете, вы можете только нажать на кнопку «перевести стрелку», чтобы трамвай поехал по другим рельсам. К которым тоже привязан человек, но всего один. Переводить? 90% опрошенных высказываются за то, что переводить нужно.
Второй эксперимент немного сложнее — вы не у кнопки стоите, а на мосту, под которым сейчас пронесётся тот самый трамвай в направлении пяти несчастных. На мосту также находится упитанный человек, которого вы можете столкнуть на рельсы — и это гарантированно сведёт трамвай с рельсов, убив упитанного человека, но спасши жизнь тем пятерым. Придумайте сами, почему вы не можете попытаться прыгнуть сами, например, вы привязаны за ногу.
То есть, по сути, с точки зрения холодного разума — это в точности та же самая ситуация, что в предыдущем эксперименте. Только процент призывающих столкнуть человека с моста, существенно ниже (в статье не пишут, сколько именно).
Мне кажется, это показывает безнадёжность попытки сформулировать общие правила для робота, отвечающие пожеланиям человека. Всегда будут какие-то пограничные случаи. Можно попытаться лишь определить поведение робота в очевидных ситуациях — что точно можно делать, а чего точно делать нельзя. И каким-то образом прикрыть программистов, чей робот рано или поздно попадёт в эту серую зону, где заранее ничего нельзя было определить.
Часто бывает, что, разговаривая в шумной компании, мы внезапно слышим своё имя в чьём-то разговоре (а с французским у меня это случается и не только в шумной компании — у меня не получается одновременно и работать, и фоном слушать, что говорят мои коллеги. а по-русски получается). Интуитивно кажется, что мы слушаем весь поток слов, но до сознания доходит только тот разговор, за которым мы следим. А имя — ключевое слово — может подтолкнуть к сознанию и другие веточки разговора.
Авторы не то, чтобы уверенно доказали, но убедительно показывают, что это не так. Вроде как, наш мозг в подобной ситуации занимается двумя вещами — следит за основным разговором, в котором мы участвуем, а параллельно, время от времени, анализирует кусочки других разговоров, перескакивая с одного разговора на другой. То есть, часть упоминаний себя в большой компании мы всё-таки пропускаем.
В обсуждении активно используются мои любимые (так прекрасно выводящие из себя собеседников!) гипотетические ситуации. Представим себе потерявший контроль трамвай, мчащийся по рельсам, к которым привязано 5 человек. Вы находитесь далеко, в центре управления трамваем. Ничего физически вы сделать не можете, вы можете только нажать на кнопку «перевести стрелку», чтобы трамвай поехал по другим рельсам. К которым тоже привязан человек, но всего один. Переводить? 90% опрошенных высказываются за то, что переводить нужно.
Второй эксперимент немного сложнее — вы не у кнопки стоите, а на мосту, под которым сейчас пронесётся тот самый трамвай в направлении пяти несчастных. На мосту также находится упитанный человек, которого вы можете столкнуть на рельсы — и это гарантированно сведёт трамвай с рельсов, убив упитанного человека, но спасши жизнь тем пятерым. Придумайте сами, почему вы не можете попытаться прыгнуть сами, например, вы привязаны за ногу.
То есть, по сути, с точки зрения холодного разума — это в точности та же самая ситуация, что в предыдущем эксперименте. Только процент призывающих столкнуть человека с моста, существенно ниже (в статье не пишут, сколько именно).
Мне кажется, это показывает безнадёжность попытки сформулировать общие правила для робота, отвечающие пожеланиям человека. Всегда будут какие-то пограничные случаи. Можно попытаться лишь определить поведение робота в очевидных ситуациях — что точно можно делать, а чего точно делать нельзя. И каким-то образом прикрыть программистов, чей робот рано или поздно попадёт в эту серую зону, где заранее ничего нельзя было определить.
Часто бывает, что, разговаривая в шумной компании, мы внезапно слышим своё имя в чьём-то разговоре (а с французским у меня это случается и не только в шумной компании — у меня не получается одновременно и работать, и фоном слушать, что говорят мои коллеги. а по-русски получается). Интуитивно кажется, что мы слушаем весь поток слов, но до сознания доходит только тот разговор, за которым мы следим. А имя — ключевое слово — может подтолкнуть к сознанию и другие веточки разговора.
Авторы не то, чтобы уверенно доказали, но убедительно показывают, что это не так. Вроде как, наш мозг в подобной ситуации занимается двумя вещами — следит за основным разговором, в котором мы участвуем, а параллельно, время от времени, анализирует кусочки других разговоров, перескакивая с одного разговора на другой. То есть, часть упоминаний себя в большой компании мы всё-таки пропускаем.
