Методика тестирования камер смартфонов

Методика тестирования камер смартфонов появлялась не сразу, да и впоследствии немало совершенствовалась. Одной из задач была возможность сравнения камер разных смартфонов от разных производителей в одинаковых условиях. К сожалению, съемка простых фотографий даже одновременно на два смартфона не дает объективной информации. Факторов много: автоматический режим в камере работает по-разному даже при съемке через минуту, в живом мире все меняется очень быстро, в том числе и освещение, и так далее. Можно найти немало факторов, которые бы сводили на нет сравнение камер, но основной из них – разница во времени между тестированиями (меняется уличное освещение и, конечно, времена года).

Таким образом, тестирование камер было перенесено в лабораторию, где установлен специальный тестовый стенд. На нем тестируются все фотокамеры, не только смартфонов. Первая версия стенда была не идеальной, да и методика тестирования прихрамывала. В какой-то момент даже возник парадокс (можно заметить на некоторых старых графиках - кривая Sony Xperia Z2 забралась выше единицы по оси Y), заставивший серьезно поработать над улучшением. В итоге, после некоторых исканий, методика значительно улучшилась, стенд был полностью переделан, и теперь мы имеем возможность сравнивать между собой камеры разных смартфонов, хотя и достаточно грубо с научной точки зрения.

Собственно, о самой методике. В темной-темной комнате стоит тестовый стенд, освещаемый двумя лампами в 1000 Вт. Освещенность в центре стенда, даваемая этими лампами, специально замерялась люксометром в четырех положениях регулятора лампы. Лабораторная освещенность вполне соответствует ситуациям, в которых используется камера смартфона в повседневной жизни. Также тестируется вспышка камеры при плохом (130 люкс) освещении и в темноте (отражено на графике соответствующими делениями по оси Х - 130 (люкс) flash и 1 (люкс) flash). Для каждого значения освещения на смартфон, закрепленный на штативе, производится три удачных снимка, из которых затем выбирается лучший для измерений. По радиальной мире, которых на новом стенде расположено восемь, можно оценить разрешение камеры. Здесь следует понимать, что речь идет о реальной разрешающей способности камеры в целом (то есть связки оптика+сенсор+программа). То, что измеряется нынче в мегапикселях и указывается в технических характеристиках камеры, является по сути размером получаемого снимка в точках. На самом деле, это максимально возможное теоретически разрешение сенсора. Разрешение оптики при этом может быть как больше, так и меньше. И, разумеется, свою лепту после оптики и сенсора вносит еще и программа.

Как определяется численное значение разрешающей способности? Для этого на снимке с мирой определяется размер дефектной области в центре – области, где лучи миры уже неразличимы. Как правило, она имеет достаточно четкую границу, в противном случае выбирается среднее значение. Линейным параметром дефектной области в данном случае является ее диаметр (D) в сантиметрах. Далее высчитывается разрешение (R) по следующей формуле:

R=120·L/(π·D·P),
где
L – длина снимка, см
D – диаметр дефектной области, см
P – число точек по длинной стороне снимка, пиксель
120 – число лучей миры, линии
π – число пи, ≈3,14

Параметр «Разрешение» или «Разрешающая способность» приведенный в линиях на пиксель является достаточно универсальной характеристикой, по которой можно сравнить несколько камер. В идеале, должно приниматься во внимание разрешение и в центре (определяется четырьмя радиальными мирами, находящимися на линиях третей кадра), и на краю кадра, но во многих случаях разрешение на краю можно опустить. Как правило, разрешение на краю ниже (а иногда гораздо ниже) разрешения в центре, но для большинства ситуаций именно разрешение в центре играет важную роль. По той же причине, разрешающая способность камеры – один из наиболее значимых параметров, по которым можно сравнивать камеры. Причем, именно возможность получения его численного значения позволяет достаточно объективно проводить сравнения. Помимо того, что разрешающая способность дает информацию о качестве оптики, она также свидетельствует о качестве сенсора и работе программы. Если сенсор шумный или плохо работает программа, разрешение камеры падает. Максимальное теоретически возможное значение разрешающей способности в линиях/пиксель равно единице, что, впрочем, очевидно. Поэтому достигнуто оно будет нескоро, если даже хорошие камеры на данный момент находятся в районе 0,9 линии/пиксель.

Когда-то камеры смартфонов тестировались на глаз, но постепенно они вышли на довольно высокий уровень, и теперь на глаз их отличать сложно. Помимо разрешающей способности у камеры есть еще немало параметров, по которым можно было бы производить сравнение. Проблема лишь в том, что сравнение это производилось бы исключительно на глаз, поскольку мы не придумали, как обратить в численные значения такие параметры как цветопередача, выбор экспозиции, шумы, работа шумодава, детализация. Но, если «шумы, работа шумодава и детализация» косвенно влияют на положение кривой на графике, то цветопередачу и выбор экспозиции по нему определить нельзя. Экспозиция – достаточно размытый параметр, чтобы можно было говорить о его хорошем или не очень выборе. Плохой и так понятен. Конечно, можно смотреть на гистограмму, но это абсолютно искусственный тест, к тому же, кому-то нравятся тени посветлее, кому-то потемнее. Тот случай, когда единственно правильного варианта нет. С цветопередачей все гораздо сложнее. Можно было бы тестировать на том же стенде работу автобаланса белого, к тому же стенд это позволяет. Но не так-то все просто. Для чистоты эксперимента все равно необходимо наличие возможности выбора баланса белого по карте, или хотя бы возможности установить заданную цветовую температуру, после чего уже можно было бы говорить о правильном или неправильном замере и его близости к реальным значениям. А хорошая цветопередача для каждого своя.

Скорость и точность автофокуса теоретически замерить можно, но практически очень трудно без соответствующего оборудования. К тому же для маленьких сенсоров в хороших камерах скорости фокусировки будут отличаться на сотые доли секунды, а точность и вовсе минимально важна при такой большой глубине резкости, которая обеспечивается малым размером сенсора.

Когда-то производились сравнения снимков с двух камер, сделанных на улице с (примерно) одного и того же ракурса. Но опять же, в смартфонах (за редким исключением) нет ручных режимов, чтобы можно было выставить одинаковые параметры и сравнить камеры. А автоматический режим даже у одной и той же камеры сработает по-разному, наклони фотограф смартфон на несколько градусов, не говоря уже о непрерывно движущемся солнце.

Разумеется, и такой параметр, как разрешение не способен в полной мере дать оценку камере (хотя, чаще всего он является ключевым), поэтому всегда проводятся еще и полевые тесты со снимками на улице, по которым читатель может оценить, устраивает его камера или нет. Да и разрешение камеры в художественной съемке не так важно, хотя и приятно, когда листва на снимках не сливается в кашу. Работу с шумами в сложных тенях тоже не так-то просто оценить по стенду, как и динамический диапазон и шарпинг. Но и численно их оценить нельзя, поэтому оценок камерам мы не даем, а делаем лишь достаточно очевидные выводы, которые не всегда видно сразу. Читатель же может сам по приведенным данным оценить, нравится ли ему камера и подходит ли она для его задач. Ведь даже среди обычных фотокамер нельзя выделить лучшую.

И все же, напоследок поговорим немного о чтении графика. Ниже приведен график с четырьмя теоретическими кривыми, каждая из которых может немало сказать о камере.

Первая кривая (красная). Практически идеальная камера. Она выдает хорошее разрешение независимо от освещения, а при плохом освещении ей помогает еще и хорошая вспышка. Среднее значение разрешения также достаточно высоко. Если зависимость разрешения на краю кадра не более чем на 0,1 линии/пиксель ниже, но имеет похожую форму, камеру можно считать отличной.

Вторая кривая (синяя). Наиболее распространенный вид кривой для хорошей камеры. Она отлично справляется при хорошем освещении, и немного хуже при плохом, но вспышка здесь ее выручает. Небольшой провал при плохом освещении говорит о неидеальной работе шумодава.

Третья кривая (зеленая). Не самая хорошая камера, но неплохая. При хорошем освещении она выдает не самый высокий, но стабильный результат. При плохом уже значительно сдает, но затем ее выручает мощная вспышка. Провал при плохом освещении говорит о том, что сенсор плохо справляется с высокими значениями светочувствительности, а шумодав сильно усугубляет ситуацию, размывая детали.

Четвертая кривая (бирюзовая). Плохая камера. При малейшем ухудшении освещения начинает падать разрешение, а вспышка практически нерабочая. Все это говорит о слабом сенсоре и плохой работе программы. А относительно низкое начальное значение может говорить еще и о плохой оптике.

В целом же, значение разрешения 0,5 линии/пиксель является неким пределом, после которого на камеру не стоит возлагать больших надежд, но некий результат она, возможно, выдаст. Все то же относится и к зависимостям разрешения на краю кадра с поправкой на то, что ему позволительно быть на 0,1-0,15 линии/пиксель меньше.

Разумеется, лабораторный тест все равно несколько оторван от реальности. Поэтому не обходится и без полевых снимков, на которых внимание обращается как на общую картину, так и на детали: наличие шарпинга и его размер, работу шумодава, работу с тенями и деталями.
Шарпинг - программная хитрость для визуального повышения резкости, когда контрастные границы объектов подчеркивают белыми или серыми линиями. Хотя он может быть выполнен весьма виртуозно и даже симпатично.
Шумодав – программное подавление шумов. Некоторые шумодавы лишь обесцвечивают цветные шумы, возникающие в тенях или при низкой освещенности, оставляя после этого характерное зерно, другие же еще и размывают, чтобы придать цвету однородность. И те и другие алгоритмы имеют свои плюсы и минусы, но сейчас вполне можно встретить очень аккуратное и приятное шумоподавление. Разумеется, при условии не сильно шумящего сенсора.

Но даже это лишь теория. В жизни же камера должна лишь отвечать требованиям фотографа. Если она устраивает, значит все в порядке. И лишь если хочется заранее понять, стоит ли на нее рассчитывать, или узнать, какая камера лучше справляется со съемкой, тогда уже нужно пристально разглядывать снимки или исследовать камеры.

Методика тестирования камер смартфонов