Телефоны-фотоаппараты

[green_fr]

Я продолжаю офигевать от качества фотоаппаратов современных телефонов. Сестра прислала фоточку, а там на фоне видно звёздное небо. Мне стало интересно, насколько мой телефон тоже так может — может! Вот здесь видна Большая медведица:



Более того, на фотографии можно попытаться выкрутить яркость, и тогда будет видно сосну (правый верхний угол) и какую-то мачту, попадавшие в кадр:



Фантастика!

Comments

[i_eron]

Мы двигаем линзу в камере относительно сенсора туда-сюда (в плоскости, перпендикулярной оптической оси) в течение кадра, чтобы компенсировать дрожание рук и другие движения. Это позволяет многократно увеличивать выдержку. [Без очень длинной выдержки картинки звёздного неба безнадёжно шумные, а если с длинной выдержкой, но без тщательной компенсации дрожания, то безнадёжно размытые, так или иначе звёзд не видно.]

В новых телефонах мы вместо линзы двигаем сам сенсор, кремниевый чип. Сенсор легче, поэтому его можно двигать быстрее и точнее. Но он приделан к телефону всякими тонкими проводками, например такими, по которым из него струится сигнал в телефон (с громадной скоростью, сотни мегапикселей в секунду). Двигать его (миллионы раз), не повредив проводки - не так-то просто. По слухам, мы скоро перейдём на подвижный сенсор во всех телефонах, а не только в некоторых.

Моторчики, которые двигают линзу или сенсор, создают переменное магнитное поле, которое влияет на проводки, наводит в них ток. От этого на картинке появляется неприятный шум вроде цветных полос. Без хитрых способов подавить этот эффект ничего не получилось бы.

[green-fr.livejournal.com]

Однако! Я думал там просто поиск перекрытия нескольких "мгновенных" фотографий, чтобы сложить их, не добавляя размытости — собственно, борьба с дрожанием рук. До движения линзы или сенсора я бы не додумался :-)

А ещё я вот такой эффект видел:



По нему я и подумал, что там просто сумма нескольких фотографий, после того, как компьютер понял, как именно их связывать.

[i_eron]

Да, это мы тоже делаем иногда - складываем несколько отдельных фотографий. Это имеет смысл в "спортивных / детских" сценариях - при ярком освещении и быстром движении. Выдержка там очень короткая, а сигнал всё равно сильный. Дрожание рук - не самая важная трудность при очень короткой выдержке, а шум - не лимитирует качество при ярком освещении. Проблема в движении самих объектов, оно может смазывать или расфокусировать их. Так что если взять несколько фотографий подряд, из них можно "собрать" картинку получше. Но иногда получается провал, как на этой картинке.

При низком освещении шум лимитирует, что видно на Вашем примере, когда Вы "выкрутили яркость" - сосну и мачту можно угадать только с трудом именно из-за шума. Складывать картинки тут поможет мало, потому что шум тоже складывается. Увеличивать выдержку - гораздо лучше, потому что только часть шума сидит в пикселе вместе с сигналом. Другая часть шума получается при считывании сигнала из пикселя. Поэтому в темноте стараются считывать один раз, а не много. А для этого нужна длинная выдержка, чтоб за один раз получить как можно больше сигнала. А выдержка ограничена дрожанием, которое размывает картинку. Поэтому, чем лучше мы справляемся с дрожанием, тем лучше качество в "ночном" сценарии.

Я это всё рассказываю не столько ради самих подробностей, сколько в надежде передать впечатление, что за каждым улучшением качества фотографий стоит чья-то мысль, много хорошей работы сообразительных инженеров, много криков "эврика", разумных решений что и когда использовать и т.п. Идея в том, что если напихать в телефон как можно больше улучшений, разные люди будут постепенно обнаруживать то одно, то другое при использовании, и радоваться.

[green-fr.livejournal.com]

То, что телефоны не на деревьях растут, я понимаю, и легко представляю и радость от каждой "эврики", и пот и слёзы, когда проект не складывается. Моё "future now" оно не само получается, его строят конкретные люди.

А по первому абзацу — то есть, телефон может сделать несколько кадров, а потом попытаться собрать из них patchwork, идеальный кадр, в котором разные кусочки из разных первоначальных кадров, так, что ли? У меня было такое ощущение, на кадрах с быстрым движением, когда при нажатии на кнопку на экране человек застывает в одном положении, а через долю секунды кадр меняется на то, что будет в итоге на фотографии, и там положение человека уже несколько другое.
Если это именно так (склейка кусочков из нескольких кадров), это как-то совсем круто получается! Интересно, как именно идёт выбор нужных кусков (проверяет, не моргнул ли каждый человек в групповой фотографии?), и как именно подгоняются края.
Ну и цвет вот этой летящей "бомбы" на моей фотографии подсказывает, что там не просто склейка, там какая-то более сложная игра с цветами / каналами идёт.

Конечно же, у меня при этом ощущение волшебства и торжества человеческого разума одновременно :-)

[i_eron]

Я не знаю подробностей того, как наши дигитальные люди сшивают последовательные картинки в одну. А если б знал, всё равно не рассказал бы, я тут избегаю рассказывать неопубликованное. Знаю, что у них есть такая возможность, и что они умные инженеры и много над этим работают, так что наверняка делают много полезного. Картинки при ярком свете приходят от нас к ним 60 штук в секунду, а то и 120, за такое время сцена практически стационарна, так что можно выбирать из нескольких последовательных картинок лучшее.

Подгонка краёв (сшивание кусков) - большая область. Она важна, например, при "портретной" съёмке, когда лицо в фокусе, а задний план намеренно размыт. Нужно определить, где лицо, а где уже нет, выбрать вариант с наилучшим фокусом на лице, размыть остальное, и сшить. А вокруг лица, как назло, бывают волосы, для которых особенно важна резкость, чтоб узнать, где они кончаются. А потом сшить надо так, чтоб выглядело естественно. Иногда даже задний план виден кое-где прямо за волосами, и его как-то всё-таки надо размыть, а волосы - нет, ведь если этого не делать, будет виден "шов".

Ещё она важна, например, при "высоком динамическом диапазоне", когда в одной картинке есть очень яркие и очень тёмные места. Такая картинка обычно сшивается из нескольких, снятых с разной выдержкой, и подгонка краёв (с правильными переходами оттенков цвета) - самое трудное в этом.

Провал с "летящей бомбой", насколько я могу судить, получился именно из-за цвета. Есть довольно редкий набор оттенков красного, для которых сигнал в красном пикселе при дневном освещении превышает сигнал в зелёном. Это значит, что при очень ярком сигнале красный заходит в насыщение раньше зелёного. Именно это, очевидно, случилось с "бомбой" там, где она оранжевая - красный сигнал отрезан раньше зелёного, в результате чего красный оттенок расслабился в оранжевый. Видимо, нижняя "бомба" почему-то отразила больше света, чем верхняя, и алгоритм автоматической выдержки прошляпил это необычное красное насыщение. В результате (это только моя догадка) алгоритм сшивания картинок не сообразил, что вот эта красная штуковина - та же самая, что вон та оранжевая.

[kalvado.livejournal.com]

я перед самым ковидом попал на презенташку гугловского главного по камерам
Он сказал красивые слова, про subpixel sampling- что используем нескомпенсированную часть дрожания рук как средство сканирования
А что делать, если телефон стоит на столе? Значит включаем оптическийстабилизатор в режим генерации шума...

[green-fr.livejournal.com]

Я ничего не понял :-)

[kalvado.livejournal.com]

что-то твои навыки разархивирования страдают!
Один из способов повысить и улучшить — сместить камеру (картинку) на расстояние порядка 0.5 пикселя. Тогда можно увидеть что между пикселями, и все такое.
Обычно проблема обратная, и надо работать с дрожащими ручками. Для этого есть методы стабилизации — подвинуть оптику, или например матрицу, как тут сказали. Если не компенсировать движение полностью — то можно и мелкие сдвиги поиметь за бесплатно.
Но иногда камера стоит на чем-то неподвижном... Но у нас есть стабилизатор, который теперь можно использовать как генератор подвижек! Мне идея как-то сильно торкнула..
Например:
sci-hub.se/10.1007/s10586-018-1839-2

[green-fr.livejournal.com]

Да, понял, прикольно!