Steve Yedlin и его аналоговые мегапиксели

Все изображения публикуются с любезного разрешения Стива Йедлина. На фото не он.

В наше благодатное время торжества цифровых технологий даже первокурсник операторского факультета знает, что плёнка рулит. Мягкое плёночное изображение — идеальный медиатор для передачи чувств и эмоций героя непосредственно в душу зрителя. Пусть цифровая камера путём неимоверных инженерных усилий и приблизилась к плёнке по динамическому диапазону, она даже близко не обрела той неуловимой магии, свойственной старому доброму химическому процессу. И не удивительно — у цифры, как и у рыжих, нет души, а у плёнки — есть. И душу эту даже не стоит пытаться понять математикой и измерить общим аршином. В эпоху безальтернативного доминирования цифрового процесса нам остаётся только укутаться в пледик и снисходительно поглаживая надпись Alexa на корпусе из композитного волокна, смотреть с придыханием на плёночные проекты, лелея надежду когда-нибудь прикоснуться к его теплейшеству Аналоговому Процессу. Так мы все наверное думаем, поэтому и не снимаем Звёздных Войн. А Steve Edlin снимает. И когда ему надоело нытьё по поводу тёплой ламповой плёночной картинки, он притащил в свой гараж мешок всякой разной плёнки, несколько хороших цифровых и аналоговых камер и книгу Элиезера Юдковского “Гарри Поттер и методы рационального мышления”.

Вылезши на свет через десять лет, Стив созвал вечеринку, пригласив в кинотеатр операторов, колористов, vfx-супервайзеров и продюсеров — всех лучших в своём деле и имеющих большой опыт работы как с плёнкой, так и с цифрой. Он показал им Display preparation demo — нарезку повторяющихся планов — и попросил определить что снято на плёнку, а что на цифру. Большинство не смогли с уверенностью сказать что есть что, а из тех кто смог, половина видела разницу между плёнкой и плёнкой и цифрой и цифрой. Ещё интереснее — когда в демо показывались два шота — сначала сплитскрином, потом последовательно, зрители были склонны распознавать первый шот как плёночный при одновременном показе и второй — при последовательном.

Делайте ваши ставки.
 

Хотя Стив, являясь кинооператором, работает с тонкими материями и вибрациями душ человеческих, так вышло что магия плёночного изображения для него — абстрактный феномен, представляющий собой совокупный перцептивный опыт, возникающий из суммы большого количества малых атрибутов, подсказываемых нам зрительным анализатором (т.н. глазом). Соответствено, если мы выясним что это за атрибуты, изолируем их и поймём какое влияние каждый из них оказывает на восприятие конечного изображения, мы эту магию оседлаем и покатаемся. Пристёгивайтесь.
 

Характеристики камеры и атрибуты изображения

Когда любители плёнки высмеивают video-look цифровых камер, они говорят о том, что привыкли видеть. Это не значит, что плёнка обладает некоторыми магическими преимуществами, которых нет в цифровых камерах. Это лишь значит что большинство кинематографистов при работе с цифрой беспрекословно принимают стандартные рецепты обработки изображения, которые по факту ближе к видеоинженерии, чем к фотографическому процессу. Два самых холиварных лука — film-look и video-look — это всего лишь наиболее стереотипные из готовых рецептов для каждого типа камер, а не эксклюзивные свойства камеры или типа плёнки.

Сравнение одного кадра, обработанного по разным рецептам.
 

Весь съёмочный материал на больших голливудских проектах проходит через процесс обработки изображения — display preparation. И это не цветокоррекция, а то что происходит с изображением до неё. На картинках выше — сравнение кадра с 35mm плёнки, подготовленного разными способами: первые три — обработка трёх разных голливудских постпродакшн — студий, далее стандартная обработка, и последняя — метод, который использую я. Всё это — один и тот же скан одного кадра плёнки.

Есть несметное количество сайтов, измеряющих насколько хороша та или иная камера. Производители любят сводить огромное количество сложных характеристик к одному слогану, типа: «плёнка Кодак — волшебная», «Arri Alexa как плёночная,» «Red Weapon — 8k,» или «Sony F65 — единственная настоящая 4k камера.» Эти слоганы отдаляют нас от понимания реальных характеристик камеры, они гасят любопытство и внушаю нам, что нет смысла идти дальше сообщаемых производителем данных.

Я верю, что при использовании профессиональной техники существенная часть изображения не навязана съёмочным форматом, а определяется процессом обработки. Будь то цифровые камеры или 35mm плёночные, говорим мы о цветопередаче, видимом разрешении, характере rolloff, гало или мириаде других перцептивных атрибутов — если камера захватывает достаточный объём данных, мы можем привести любой съёмочный формат к любому виду. Тот факт, что раньше никто не предпринимал таких попыток, не является доказательством того, что это невозможно. Мы можем взять на себя управление математическими преобразованиями и стать авторами вместо покупателей.

Сравнение двух разных съёмочных форматов, подготовленных по схожему (не идентичному) рецепту.

Если мы настаиваем что камера обладает встроенными эстетическими характеристиками и отказываемся фокусироваться на технических характеристиках, мы ограничиваем наши творческие возможности. Фотографии выше показывают, что рецепт обработки картинки оказывает существенно большее влияние на результат, чем тип камеры. Мы видим, что без использования каких-то особых локальных коррекций, просто меняя рецепт подготовки изображения, его вид существенно меняется.

Настаивать на том, что плёнка — чистая магия, которую невозможно смоделировать — все равно, что сказать Кеплеру в 1595 году, когда он пытался изучать движение планет: «Не трать время, чувак, ты не можешь понять божий замысел. Невозможно математикой просчитать эти сумасшедшие хаотичные движения — они просто летают как хотят!». Я настаиваю, что мы воспринимаем плёнку как магию потому что верим в то, что это магия, а не из-за какого-либо фактического атрибута. Ожидания влияют на восприятие. Когда мозг знает, что сейчас ему покажут 70-мм проекцию, он ожидает увидеть больше деталей, и действительно видит их, даже если его обладатель сидит за пятнадцатым рядом, откуда их физически невозможно воспринять. Итак, камера — всего лишь устройство захвата информации. Важны только её технические характеристики — шум, светочувствительность, контраст. Если камера достаточно хороша, вы сможете сделать любой лук, какой только захотите.

Три категории атрибутов фотографического изображения: интрапиксельные, пространственные, временнЫе
Интрапиксельные — самые важные и сложные для восприятия. Это контраст, плотность, цветовые характеристики и т.д. Они называются интрапикельными (даже для аналогового изображения) потому что эти характеристики зависят только от цвета самого пикселя и не зависят от его окружения. Каждая область изображения реагирует на внешние раздражители (или на трансформацию) так же, как каждая другая область в кадре. Интрапиксельные характеристики стоят за понятиями типа «highlight rolloff», «обработка тона кожи» или «цветопередача».

Пространственные. Эта категория наоборот про то как различные зоны изображения влияют друг на друга. Сюда относятся разрешение и воспринимаемая резкость (что вопреки всеобщему мнению, две большие разницы). Также эта категория включает несколько уникальных аспектов, таких как например film halation — это характерный плёночный атрибут, наиболее часто выражающийся в красноватой окантовке на краях высококонтрастных объектов.

Временные. Это атрибуты, имеющие дело с движением и временем — моушн-блюр, время экспозиции, фреймрейт и rolling shutter.

Некоторые атрибуты изображения не вмещаются в какую-то одну категорию. Например нестабильность окна затвора (его форма немного гуляет от кадра к кадру) одновременно временная и пространственная. Или плёночное зерно — этот атрибут можно отнести одинаково к временному и пространственному или временному и интрапиксельному.

Теперь мы должны выяснить (эмпирически, а не интуитивно), какие из этих атрибутов существуют в данном изображении и как они на него влияют. Например, я часто слышал мнение, что плёнка может быть отсканирована в огромном разрешении, что позволит достать из неё ещё больше деталей. Но разрешение плёнки ограничено. Это аналоговое ограничение, а не цифровое, но тем не менее оно существует. Факт что ты не знаешь как измерить это ограничение не значит что его нет. Это просто значит что ты ни хрена не понимаешь в эмпирических исследованиях. А чтобы найти этот предел, достаточно сделать несколько контролируемых тестов, сканируя плёнку при всё возрастающем разрешении и смотреть когда эти преимущества перестанут появляться. То же самое и с другими атрибутами, о которых люди имеют поверхностные представления. Мы должны изучить конкретное влияние конкретного аспекта на восприятие вместо того чтобы гадать.

Окей, как ты это сделал?

Попытка достичь плёночного лука на цифровом материале инструментами цветокоррекции — гораздо более трудное дело чем кажется. Инструменты цветокоррекции в их текущем состоянии слишком неуклюжи для такого рода обработки. Хотя они имеют много ручек и кнопок, внутренняя математика, используемая для обработки изображения, слишком примитивна для трансформаций, о которых я здесь говорю. Современная цветокоррекция, хоть и является важной частью креативого процесса — это финальный этап, который не может заменить тонкий, полный различных нюансов процесс подлинной трансформации, который является ядром восприятия.

Это можно сравнить с колор-таймерами (олд-скул колористы) и инженерами Кодак. В те далёкие дни инженеры разработали сложный химический процесс трансформации изображения. Это были невероятно трудозатратные в разработке решения, зато теперь они работают для всех сцен и луков во всех фильмах. Колор таймеры были людьми, креативно использовавшими эти инструменты, но не разработчиками. Колор Таймеры и инженеры Кодак — оба были ключевыми звеньями процесса, но отвечали за совершенно разные зоны, которые никогда не пересекались. Сегодняшняя ситуация очень похожая: разработка математических трансформаций изображения — отдельная зона ответственности и она играет определяющую роль в конечном луке. Слишком мало кинематографистов признают, что этот процесс хотя бы существует, не говоря уже о его важности в их деле. Мы можем начать с изучения базы. И мы должны это сделать, если действительно хотим быть авторами своего изображения. Почему я выбрал плёнку в качестве референса для эмуляции? Мне действительно нравится плёночное изображение, по-моему оно выглядит великолепно: скинтона, богатство тональных переходов. Я считаю, инженеры и художники Kodak не зря потратили сотню лет на разработку этого лука.

Собственно мой процесс преобразования изображения состоит из нескольких шагов, на каждом этапе используются разные программы. Многие из атрибутов (но не все) можно свести в 3DLUT, однако он будет работать только для очень узкого диапазона исходников. Малейшее изменение в разветвлённой сети параметров — и надо снова лезть в математику и генерировать другой LUT. И всё это сработает только если вы заложили в освещение сцены традиционный для плёнки контраст. Если вы снимаете на алексу как на алексу, а потом примените мою трансформацию, вряд ли вы будете довольны результатом.

Рассмотрим некоторые алгоритмы, которые я использовал в своей демонстрации. Простая, но мощная трансформация — tone mapping. Она аналогична кастомным кривым в цветокоррекции, но в основе моей системы — математика и эмпирические исследования, а не субъективные ощущения. Tone mapping’ом мы приводим одну систему захвата изображения к другой в аспекте тонального распределения по всему динамическому диапазону. Tone mapping влияет только на плотность, яркость и контраст, но не на распределение оттенков, нам же необходимо распределить точки данных в трехмерном цветовом пространстве, причём более нюансным и индивидуальным образом, чем это может быть выполнено с помощью обычных инструментов цветокоррекции. Чтобы это сделать нам понадобится 3д геометрия и интерполяция данных. Это две достаточно широкие категории процессов, с помощью которых мы можем либо вносить эстетические изменения, либо скалировать большие массивы данных с одной системы на другую, даже если они достаточно сильно отличаются друг от друга. В общем случае эту задачу может решить 3D LUT, но метод интерполяции разрозненных данных куда круче. С его помощью можно как полностью переформировать исходные данные, так и вносить крайне локализованные коррекции, которые не будут влиять влияют на общую картину.

Что касается пространственных и временных категорий, я написал свой генератор зерна на основе вероятностной модели, а также алгоритм для добавления гало и имитации дрожания обтюратора. Большинство кинематографистов даже не задумывается о существовании этих атрибутов изображения.

Сейчас моя модель эмуляции плёнки пожалуй даже слишком точная и я могу взять из неё только нужные на данный момент элементы. Например в demo я применил эмуляцию плёночного гало. Я люблю плёночные цвета и зерно, но не уверен насчёт гало. Иногда мне нравится гало в ленс флейрах, но я не уверен что хочу видеть его на простых высококонтрастных объектах. Когда вы снимаете на плёнку — у вас нет выбора — гало уже там. При съёмке на цифру я могу применить гало-алгоритм если хочу приблизиться к плёнке, но также я могу принять решение не использовать его или использовать только на флейрах. Другой пример — дрожание затвора. Я применил мой алгоритм эмуляции в demo просто чтобы показать что если вы можете идентифицировать элемент, вы можете его повторить. Для достоверной эмуляции плёнки я конечно буду его использовать. Но для конкретного фильма я скорее выключу его. Так что для меня модель точна до такой степени, что использование некоторых элементов можно рассматривать как слепое поклонение плёнке, а не осознанное художественное решение.

Как видите, процесс полной перестройки изображения достижим, причём не в фантастическом будущем, а уже сейчас. С другой стороны мне пришлось разработать все инструменты с нуля, потому что существующие готовые решения для этого не годятся. Это многое говорит о том, где мы со всеми своими колористическими исследованиями находимся на данном историческом этапе. Мы одновременно погрязли в устаревших проблемах, но всё же готовы к большому скачку вперёд. Как мы можем это сделать?

Я не призываю вас разбираться в математике. Мы кинематографисты, а не учёные. Color scientist — это специалист, экспертиза которого практически не пересекается с навыками колориста. Но первый шаг — хотя бы осознать что не так с нашим текущим лексиконом, предрассудками и доминирующими идеями, чтобы мы могли начать долгий путь для изменения парадигмы.

Я использую описываемые техники чтобы построить свой постпродакшен — сетап ещё до начала съёмок. На площадке я просто беру лайтметр и ставлю свет под традиционные для плёнки соотношения — мне даже не нужен калиброванный монитор. В дальнейшем на посте грейдинг сфокусирован на тонких доводках изображения, а не на поиске нужного колористического решения, потому что авторская задумка уже там есть — в изначальной трансформации. Как при продакшене, так и на посте я могу концентрироваться на креативных аспектах, а не на инженерии. Я надеюсь этот текст вместе с Display preparation demo станет источником вдохновения для кинематографистов, напоминанием, что мы можем быть авторами, а не потребителями. Что мы можем быть мастерами, а не рабами своих инструментов.

Display preparation Yedlin скачать бесплатно

Поделюсь ли я своими инструментами? Я бы очень хотел, но эти инструменты чрезвычайно сложные и я не уверен что смогу выпустить какую-то рабочую версию, не говоря уже о том, что я занят съёмками фильмов. Что касается конкретного рецепта конвертации в плёнку — я не планирую распространять этот рецепт, и это прекрасно, потому что вдохновит вас на поиск собственных. Вы и так уже погрязли в готовых неизменяемых рецептах, предоставленных производителями — зачем вам ещё один?

Инструменты, которые я использую — хаотичные и беспорядочные. Это очень длинное математическое/программное выражение, с большим количеством переменных и ключевых слов. Настройка и использование этих инструментов — дело далеко не интуитивное и даже мне во время настройки сложно держать в голове что происходит когда я изменяю какой-либо параметр. И это при том, что я автор этого кода, что уж говорить о простых смертных. Некоторые математические выражения настолько сложные, что я не смог поместить их в какую-либо из существующих программ, так что я создал свою собственную программу, которая перерабатывает исходники и выдаёт трансформированное изображение. Я не программист и интерфейс моей доморощенной программы неуклюж и не готов к повседневному использованию. Если я открою этот инструмент для всех, появится много неправильно использующих его людей, которые будут писать: я использовал трансформацию Стива Едлина и она полный отстой. Так что экспериментируйте, исследуйте и не останавливайтесь на стандартных рецептах. Будьте мастерами, подлинными авторами своих изображений.

 
Спасибо, Стив! Хотя человечество ещё не готово к дарованию волшебного рецепта превращения Алексы в плёнку, лично меня вдохновляет уже само его существование. Кстати, Стив на этом не остановился и сделал адскую машину по высасыванию души из плёнки и превращению её в Алексу, и опять никто не нашёл двух отличий.

Несмотря на горячее желание мистера Йедлина поделиться своими технологиями, кое-что о них всё же известно. Например для измерения Алексы Стив использовал Arri skypanel (она позволяет посылать значения xyY с компьютера на источник) и сделал пять-шесть тысяч снимков без линзы для изучения малейших отклонений сенсора камеры. Вычисления он делал в Nuke. Для профилирования плёнки использовался самодельный анализатор на базе спектрометра. Описываемую технологию Стив использовал и в Star Wars: The Last Jedi, который снимался на 7 разных камер, среди которых Arri Alexa mini, Arriflex 435, IMAX MSM 9802 и Panavision Panaflex Millennium XL27. Колорист Walter Wolpano, работавший со Стивом над The Last Jedi, упоминает что каждый шот, включая CG, пропускался через Nuke, где к нему применялась трансформация Стива. Затем происходила цветокоррекция (в log), и конечный этап — конверсия в различные цветовые пространства, опять же в Nuke.

Как вы поняли, Стив достаточно дотошен. На его сайте кроме описываемого Display preparation demo есть Resolution demo, рубящее секирой рационализма прямо по 8К-шным сенсорам и 4К-шным телевизорам, да так что не поспоришь. Также есть пара десятков статей с комментариями к этим демонстрациям и размышлениями на тему различных атрибутов изображения. И хотя Стив городит из английского языка настолько сложносочинённые фразы, что начинаешь задумываться не является ли это проверкой желания читающего обрести эти сакральные знания, я рекомендую каждому синематограферу, имеющему глаза, потратить время на приобщение к его опыту. Как завещал великий Стив, сбросим оковы гнёта производителей камер и будем авторами своих изображений! Ну или просто снимайте на плёнку, как он сам делает.