Pour la science № 460 — микроскоп движения

[green_fr]

Отличная история случайного открытия. Ребята писали софт, анализирующий минимальные вариации цвета. Для того, чтобы визуально мерять пульс, например — когда кровь приливает к лицу, оно становится немного более красным. Софт простой, как две копейки, только вариации цвета настолько маленькие, что их не видно за шумом матрицы. Ребята написали усреднение по группе пикселей (сигнал складывается, шум аннулируется), и всё заработало. Они уже собрались публиковать статью, как вдруг кому-то захотелось посмотреть собственными глазами, как меняется цвет лица. Для этого они умножили на 100 каждое изменение цвета, получился такой «микроскоп изменений цвета». И в этот момент они увидели, что случайно у них получился и «микроскоп движения» — этот несложный алгоритм одновременно усиливал движения головы.
(они это объясняют тем, что движение предмета — это тоже смена цвета: цвет предмета меняется на цвет фона там, где предмет сдвинулся, например)

Ребята немного допилили алгоритм и получили софт, который позволяет увидеть пульс на руке, движение казалось бы неподвижных глаз, сделать очевидной лёгкую мимику. И всё это — достаточно простым алгоритмом, с любого видео! На их сайте есть выступление на TED, где они в частности показывают обработанные куски фильмов.

Дальше они, конечно, рассказывают, как этот микроскоп поможет детектировать вибрации мостов и всё такое. Но я вспомнил старую передачу об эмоциях. Там показывали натренированного считывать такие мелочи человека — а здесь, оказывается, не нужно даже тренироваться!

Ну и концовка статьи тоже радует. Звук — это вибрация, в том числе вибрация отражающих звук предметов. Если мы умеем видеть вибрацию — нельзя ли по ней восстановить звук? И действительно можно. Ребята снимают видео, усиливают движение, интерпретируют это движение как реакцию на звук — и восстанавливают звук. Так, что можно слышать человеческую речь, например.

Comments

[grave--digger.livejournal.com]

Мне казалось, некоторые подслушивающие устройства так и работают уже не первый год - интерпретируют видимую вибрацию в звук. По крайней мере, я про что-то подобное читал когда-то.

[green-fr.livejournal.com]

Я читал только про вибрацию стекла. И про то, как все посольства мира озаботились вторыми стёклами. И о том, как с переходом на стеклопакеты вся эта технология накрылась тазом.
А здесь мало того, что работает, так ещё и по видео (а не какие-то навороченные лазерные детекторы), без "контакта" с самим звуком (ты снимаешь сигнал не с окна, к которому имеешь доступ, а с пакета чипсов, который лежит за окном), плюс - примитивным софтом, который едва не на твоём компе крутится.
Ты представляешь применения? Даже если забыть о шпионаже. Ты берёшь любой старый фильм и восстанавливаешь, что говорил режиссёр за кадром!

[elmak.livejournal.com]

"Ты берёшь любой старый фильм и восстанавливаешь, что говорил режиссёр за кадром!"

Это вряд ли.

После команды " silence" на площадке не дышат.

[green-fr.livejournal.com]

Это сейчас, а в немых фильмах? Наоборот - режиссёр орёт "дурак, куда лезешь! дыши красивее! а теперь - удивление на лицо!"
Или там старые фильмы, когда звук не записывался синхронно.

[elmak.livejournal.com]

И сейчас звук не пишется синхронно. После монтажа идет озвучка. Насчет немых - не знаю, как-то не задумывалась. Но думаю, что вряд ли коррекция удивления лица или красоты дыхания была прямо во время съемок. Сначала, наверное, репетировали. Слишком дорого стоила пленка. Но не знаю, возможно, вы правы.

[green-fr.livejournal.com]

Ну, у меня тоже знания не из первых рук :-) Но по звуковым фильмам об эпохе немых фильмов - входит именно так. Ну и всякие "ошибки озвучки". Когда Холмс говорит про Афганистан, а при озвучке текст меняют, например - это по губам считали, а если бы он за кадром был? У меня правда глаза разбегаются от открывающихся возможностей!

[kalvado.livejournal.com]

на старых фильмах нихера не выйдет. На пленочных, в смысле, вне зависимости от года. На новых если камера цифровая и освещение ОЧЕНь яркое.
Там с восстановлением интересный фокус: идет восстановление не по кадрам (их максимум 60 герц, во времена Чарли Чаплина - вообще 15-20 наверное , что соответствует частотному диапазону 30 герц и мене), а по строкам - которые есть в матрицах (эффективность фокуса падает со временем накопления - усреднения)
Такой математически не слишком очевидный фокус..

[green-fr.livejournal.com]

Ну вот, пришёл поручик...

[alexei dolganov (from livejournal.com)]

Пленочные фильмы которые в кинотеатрах всегда были 24 кадра в секунду, и каждый кадр мигает по два раза чтобы глаз не видел мерцания.

[stanika.livejournal.com]

Все равно классная штука! =)