Pour la science № 466

[green_fr]

Очередная статья про автономные машины. Интересная мысль о расхождении наших представлений о том, как надо поступать, и того, как мы поступаем на самом деле. Интересная не в смысле констатации этого расхождения, оно очевидно. А в том, что в момент программирования робота нам придётся отказаться (уменьшить) это расхождение — либо робот будет вести себя так, как мы хотим, чтобы вели себя мы сами, либо мы признаемся, как на самом деле мы ведём себя и запрограммируем так робота.
Автор приводит поясняющий пример: если вы вместо того, чтобы свернуть в пропасть, сбили колонну переходивших дорогу детей, у вас всегда есть отмазка — я растерялся, я не успел среагировать. У программиста, который заранее заложит в автомобиль логику «дави детей, спасай пассажира», такой отмазки уже не будет.

Этот же автор пишет о том, что половина стоимости программы разработки современного самолёта — это тесты управляюещих самолётом программ. В этом смысле он говорит также, что современные технологии не позволяют пока что сделать программу, которая будет водить машину лучше человека — разговоры о большей безопасности роботов пока что утопия. Люди реже попадают в аварии, чем компьютеры виснут. И если в самолёте решение — это продублировать всё на случай отказа какой-то системы, то для автомобилей этот вариант не пройдёт по цене (не говоря уже о том, что вождение самолёта само по себе существенно проще вождения машины).

Рассказывает о пяти уровнях автономности машины, и тоже неожиданная для меня мысль о том, что четвёртый уровень, скорее всего, будет достигнут до третьего (который в таком случае просто отпадёт за ненадобностью), потому что пока непонятно, как можно быстро «включить» водителя. Особенно, если он до этого тупо спал. При этом четвёртый уровень — это те самые умные дороги, о которых я недавно спрашивал. Не только дороги, конечно — автор приводит пример «умного паркинга». Вопрос коммуникации «умных» машин с «обычными» по его мнению решится ограничением допуска — в «умные паркинги» будут пускать только поддерживающие этот стандарт машины, уже без водителя.

---

Статья об истории чиповой карточки. Автор красиво проиллюстрировал сложность понятий безопасности даже для работающих с ними людьми. Он приводит пример какой-то компании, решившей похвастаться на конференции по безопасности выпущенными ею карточками. Раздали присутствующим несколько десятков тысяч карточек, пообещав миллион долларов тому, кто сможет хакнуть PIN-код. Очевидно, что даже не пытаясь ничего хакать, с таким количеством карточек кто-нибудь мог тупо угадать свой PIN-код.
Впрочем, те карточки хакнули и без угадайки, причём методом очень похожим на Meltdown (наверное, это было достаточно распространённое решение, его неоднократно упоминали), то есть, измеряя время реакции системы на ввод цифры (плюс, вовремя отключая питание карточке, чтобы она не успевала записать неудачную попытку ввода кода).

Описывая свои попытки засунуть надёжную криптографию в чип карточки, автор рассказывает, как они несколько месяцев улучшали код, укорачивая его в среднем на один байт в день. Через несколько месяцев код влез в предусмотренный изначально чип — я тут же вспомнил, как мы в школе программировали калькуляторы с памятью на сотню команд :-)

Примерно в середине 1980-х во Франции вывели криптографию из списка вооружений — со времён Второй мировой войны она считалась прерогативой министерства обороны. Автор рассказывает анекдот с министром индустрии, прибывшим на приём к премьер-министру Франции с «оружием второй категории» — его кредитной карточкой, в чипе которой были реализованы «военные» алгоритмы криптования.

Ещё рассказывает, как в середине 1990-х в НАТО задумались о стандартизации систем IT-безопасности. Американцы прописали свои предложения в «оранжевой книге», но другие страны тоже представили свои варианты: немцы назвали свой вариант «зелёной книгой», англичане — «жёлтой», французы — «сине-бело-красной». Как можно не любить эту страну? :-)

Comments

[birdwatcher.livejournal.com]

Первый пример не иллюстрирует то, что хотел его автор. Да, если ты ведешь свою машину, то это глубокий неразрешимый вопрос - погибнуть самому или погубить кого-то другого. Но если ты пишешь робота, который будет водить машину заказчика, твоя прямая обязанность - любой ценой спасать заказчика, без всяких вопросов.

[green-fr.livejournal.com]

Это действительно не то, что хотел сказать автор :-)

[zelanton.livejournal.com]

возможно всё же не любой?

[birdwatcher.livejournal.com]

По-моему нет, невозможно.

[zelanton.livejournal.com]

Так вот, проблема в том, что мнения расходятся

[birdwatcher.livejournal.com]

Со мной согласен, например, MB: https://www.caranddriver.com/news/self-driving-mercedes-will-prioritize-occupant-safety-over-pedestrians

[zelanton.livejournal.com]

А кто-то другой с вами не согласен

[green-fr.livejournal.com]

Я не думаю, что у вас долго получится поддерживать разговор на этом уровне :-)
Хотите рассказать, что вы думаете по этому поводу?

[zelanton.livejournal.com]

Возможно

[akor168.livejournal.com]

Если есть вариант при кторых машина решит не в твою пользу, то с чего бы это пользоваться такой машиной. Это во-первых.

А во-вторых текущие правила дорожного движения никаких самопожертвований не предполагают. Увидев перед собой препятствие, по ПДД надо жать на тормоз, а не сворачивать в пропасть или на соседнюю полосу. Даже в случае, когда при повороте шансы для всех выше.

[zelanton.livejournal.com]

Вопрос "любой ценой или нет" сформулирован так, что цена может быть безграчинач и по сути может быть переформулирована как "сколько именно жизней стоит меньше жизни водителя?" олна? Две? Десять? Миллион? И мне кажется тут всё же может быть цифра на которой можно остановиться и потенциальные покупатели автомобилей с этим вполне согласятся. А программирование магины в данном случае поднимает именно моральный, а не законодательный вопрос (пдд)

[akor168.livejournal.com]

Размен все таки не один на миллион, а один на несколько(больше машина не способна даже если очень захочет). Так вот если данное транспортное средство угрожает жизни нескольких человек ПДД везде требуют попытаться остановить машину как можно быстрее, и тем минимизировать ущерб. Безопасность же водителя отдается на откуп внутренней системе безопасности - ремни и подушки безопасности.

[zelanton.livejournal.com]

Если один на несколько, то формулировка "любой ценой" врядли уместна. И вполне возможно ответить на вопрос о допустимом размене всё же придётся.

[xxxxx.livejournal.com]

так робота ж никто не программирует, что ты думаешь, там есть if(видим старушку) then давим_её() else едем_дальше() ? Робот наверняка порождение обучения машин, матрица из чисел размером стопицот на стопицот, никто и понятия не имеет, что там за числа. Самолёту в отличие от машин не нужно ничего разглядывать, так что можно и на бейсике забыдокодить с тестами и блекджеком, с запорожцем дело так просто не пойдёт.

[dmpogo.livejournal.com]

Именно.

Я хотел сказать что

У программиста, который заранее заложит в автомобиль логику «дави детей, спасай пассажира», такой отмазки уже не будет.

будет своя отмазка - "откуда я знал что какой то 100-й вес лучше бы был 0.1 а не 0.05, раньше 0.05 вполне работало ..."

[birdwatcher.livejournal.com]

Его попросят показать training set, на котором получены такие веса, и продемонстрировать, что смерть пешехода там помечена как очень плохой случай, а смерть водителя и пассажиров - как недопустимый.

[mi-b.livejournal.com]

на уже реально работающие алгоритмы машинного обучения уже давно через суды накладывают куда более тонкие требования. Есть целая наука про это: "algorithmic fairness". В частности, суды давно решили, что плохое решение по хорошим статистичеким причинам (например, дискриминация) незаконна. Так что после первой смерти суд постановит гонять алгоритм в симуляторе пока не удостоверится, что статистически он себя ведет как надо - или разорит владельцев.

[grey-horse.livejournal.com]

Хм, сюжет для фантастического рассказа: герой подвергается опасности, и притом не знает, помещен ли он для проверки в виртуальную реальность (тогда надо поступать "правильно") или все всерьез (тогда оптимальное решение - эгоистическое).

[green-fr.livejournal.com]

Это про моторы Фольксвагена, да? :-)

[grey-horse.livejournal.com]

Пардон, не понял :(

[green-fr.livejournal.com]

Ну была же история с моторами, которые первым делом определяли, везут они настоящую машину, или их гоняют на полигоне для проверки выхлопа, и в зависимости от этого работали в разных режимах.

[grey-horse.livejournal.com]

А, тогда да, похоже.

[green-fr.livejournal.com]

Я действительно полагаю, что в момент обучения машине периодически говорят, какую реакцию от нее ожидают в той или иной ситуации. А ты? Тебе кажется, что ей просто дают сценарии, а она сама решает, что бы ей такого сделать?

[leokand.livejournal.com]

вождение самолёта само по себе существенно проще вождения машины

Не, чо, правда?

[moonofnovember.livejournal.com]

Для получения самой простой категории "прав" на самолет (lapl(a)) нужно налетать 30 часов.
Для получения прав категории B (в России) нужно наездить ~50 часов (точное число не помню).
Самолёт получается в 1.5 раза проще!

[green-fr.livejournal.com]

А что тебя смущает? Я пересказываю человека, который получал права и на то, и на другое. Он очень аргументировано объяснил, чем вождение самолета проще вождения машины. Но я готов послушать и аргументы против.

[leokand.livejournal.com]

Умеет водить или получал права? — это два разных процесса. Я берусь научить любого водить машину за 15 минут, а если с автоматической коробкой, то за 5. Всё остальное — это изучение ПДД, взаимодействие с другими водителями и властями, как себя вести в определённых случаях и т. д. — собственно к вождению это не имеет отношения.

Теперь по процессу: автомобиль движется в 2 измерениях, самолёт в 3. Авто нельзя заставить свалиться в штопор, даже если очень постараться. На самолёте — это одна из достаточно распространённых причин аварий. Сюда же: если у тебя на машине заглохнет мотор (по любой причине), просто остановишься. Если заглохнет мотор на самолёте, упадёшь с большой высоты.

[green-fr.livejournal.com]

Лично мне основными сложностями при вождении машины кажется непредсказуемость внешнего окружения (машина из-за угла, пешеход и пр.) и габариты (возможно, это наша местная сложность) - этого в самолетах нет, разве только при посадке.

[leokand.livejournal.com]

Это потому, что количество машин на улице существенно превышает количество самолётов в воздухе.

[green-fr.livejournal.com]

И это тоже, но главное - это трехмерность пространства, в котором можно развести одномерные траектории без пересечений.

[leokand.livejournal.com]

Да, но только человеческий мозг не приспособлен для движения в трёхмерном пространстве. В обычной жизни мы можем пойти вперёд-назад-направо-налево, но не вверх и не вниз. В отличие от птиц и рыб, например.

[green-fr.livejournal.com]

А при чем тут это? Я говорю, что в 3д можно развести 1д траектории (ты ведь все равно практически все время едешь или летишь вдоль какой-то линии-полосы) таким образом, чтобы они вообще не пересекались. Для машин тоже можно построить многоуровневые развязки, но для самолетов они уже "есть".

[megadarkblack.livejournal.com]

а если это будет самообучающаяся в процессе вождения "нейросеть"?

[grey-horse.livejournal.com]

Сеть не обучится без подсказки извне, какой ответ правильный, а какой нет.

[megadarkblack.livejournal.com]

учиться она может на множестве случаев реальной жизни

[green-fr.livejournal.com]

Но ведь все равно с оценками. Иначе как сеть поймет, какой результат в реальной жизни ей нужно повторить. Грубо говоря, сеть для игры в шахматы в ситуации мата королю соперника получает сигнал "правильно", а своему - сигнал "неправильно". Так и тренируется.