Методика тестирования производительности в среде macOS, версия 3 (2020 г.): профессиональные приложения и бенчмарки

Два года назад мы представили вам вторую версию комплексной методики тестирования производительности компьютеров под управлением macOS. Мы использовали ее при написании целого ряда статей, и большинство тестов сохранили актуальность до сих пор. Однако время идет, и ряд тестов перестали корректно работать, другие — обновились без сохранения совместимости со старыми результатами. А некоторые стали менее показательными из-за роста производительности компьютеров. Пришло время подготовить третью версию методики.

Как и во второй версии, общий «каркас» методики останется прежним: это ряд разработанных нами сценариев работы в реальных приложениях — Final Cut Pro X, Compressor и Maxon Cinema 4D, к которым мы добавили Pro Logic X. А вот набор бенчмарков был существенно обновлен.

Тестовый стенд

В качестве тестовых компьютеров мы использовали три модели Apple: новейший Mac Pro в конфигурации, подробно описанной в отдельной статье, 15-дюймовый MacBook Pro (Mid 2017) и 12-дюймовый MacBook (Mid 2017). В таблице ниже показаны основные характеристики этих моделей, относящиеся к производительности.

Почему именно эти модели? Первая из них — это новейший флагман среди всех компьютеров Apple, вторая — не самый новый, но весьма производительный середнячок, а третья — самый слабый вариант из актуальной линейки, то есть три очень показательные конфигурации (каждая — по-своему). Подчеркнем, что в описании методики тестирования мы не ставим задачу сравнить их между собой — здесь всё и так очевидно. Скорее, нам важно убедиться, что демонстрируемый в подобранных нами тестах разрыв будет действительно соответствовать реальному положению вещей.

На всех трех моделях использовался одинаковый софт: операционная система macOS Catalina, Final Cut Pro 10.4, а также актуальные версии тестовых приложений.

Видеомонтаж

Как и в прошлых версиях методики, мы начинаем с Final Cut Pro X. Видеомонтаж — одна из главных и наиболее показательных профессиональных задач, а пакет Final Cut Pro X — ведущее программное решение в этой сфере.

Подтест 1: стабилизация видео 4К

Итак, первая операция — стабилизация видео 4K. Как и в предыдущих версиях методик, в качестве тестового видео мы будем использовать 5-минутный видеоролик 4K 30 fps, снятый на iPhone 7 Plus. Сохранение именно этого ролика необходимо для преемственности результатов.

Здесь вся информация о ролике, полученная с помощью утилиты Mediainfo. Само видео можно загрузить здесь.

Открываем FCP, создаем New Event, нажимаем Import Media и выбираем видеофайл в открывшемся окне.

Файл должен лежать на рабочем столе. И при импорте надо отметить Leave files in place, чтобы избежать копирования файла в медиатеку Final Cut и снижения производительности из-за этого.

После того, как видео добавилось, создаем новый проект и видим файл на Timeline. Нажимаем на него, в левом верхнем углу нажимаем на третью кнопку слева — открывается миниокно Background Tasks. Далее выбираем в Inspector в правой части вкладку Video, отмечаем галочкой Stabilization, не меняя никакие настройки. И тут же запускаем секундомер.

Видим, что в окне Background Tasks начался процесс Transcoding and Analysis. Сразу после его завершения начнется процесс Rendering. И только по окончании Rendering мы останавливаем секундомер и записываем получившееся время.

Интерфейс Final Cut Pro за два года совершенно не изменился, крупных обновлений не было, так что здесь все остается по-прежнему. За одним исключением: почему-то при тестах на Mac Pro рендеринг не стартовал сам. Поэтому для корректности результатов и их сравнения надо в таком случае сразу после Transcoding and Analysis нажать сочетание клавиш Ctrl+R, запустив тем самым рендеринг. Напоминаем, что во время измерения важно не трогать мышь и не совершать никаких действий в FCP, иначе процесс будет приостанавливаться, а следовательно, результаты уже не будут корректными.

Подтест 2: финальный рендеринг через Compressor

Для этого нажимаем в Final Cut Pro X вкладку File / Send to Compressor.

Открывается Compressor (разумеется, он должен быть предварительно установлен на компьютере), в нем мы нажимаем на центральную кнопку Add Outputs и в открывшемся меню выбираем Publish to YouTube / Up to 4K. Почему именно его? Потому что получаемый файл — приемлемых размеров, что хорошо для тестирования (не всегда объем SSD бывает максимальным), а кроме того, это вполне понятный «жизненный» сценарий.

После этого осталось нажать кнопку Start Batch в нижнем правом углу окна приложения — и процесс начнется. Никаких изменений по сравнению с прошлой версией методики здесь нет.

Подтест 3: стабилизация видео Full HD

В третьем тесте мы повторяем действия и настройки первого, только с видеороликом разрешения Full HD. Его параметры — ниже, а файл — здесь.

Сохранение Full HD в методике пока еще необходимо, потому что и операция весьма популярная, и для слабых моделей это может быть оптимальный вариант.

Подтест 4: работа с видео 8К

Далее мы добавляем в FCPX видео 8К H.265. В качестве тестового ролика мы решили использовать вот это видео. Раньше его можно было купить за небольшую сумму, теперь уже нельзя, но на YouTube ролик доступен бесплатно. Нам важен исходный файл, поэтому приводим его здесь. Его параметры в Mediainfo — на скриншоте.

Обратим внимание на настройки импорта. При добавлении видео на Timeline появляется окно, предлагающее указать параметры — разрешение и частоту кадров. И там по умолчанию стоит разрешение 4К. Нам же надо выбрать Custom, и тогда автоматически будут подставлены нужные параметры и по разрешению, и по кодеку, и по частоте кадров.

Открыв видео на Timeline, мы создаем прокси-файл. Это весьма жизненный сценарий, поскольку с такими тяжелыми видео лучше работать, конечно, через прокси-файл (фактически, дубль вашего файла, но в более низком разрешении; все дальнейшие монтажные операции будут делаться с ним, что сэкономит ресурсы и время, а уже при завершении работы изменения будут применены к исходному файлу). Чтобы сделать прокси-файл, надо кликнуть правой кнопкой мыши на видео в Events Browser, затем нажать Transcode Media, в появившемся окне отметить Proxy Media и нажать ОК. Не забудьте сразу в этот момент включить секундомер и следить за процессом через Background Tasks.

Подтест 5: экспорт 8К через Compressor в несколько файлов

Последняя операция — самая радикальная и имеющая смысл только в случае действительно мощных компьютеров: финальный рендеринг видео 8К через Compressor с использованием четырех кодеков Apple ProRes: 442, Apple ProRes: 442 HQ, Apple ProRes 4444 и Apple ProRes 4444 XQ.

Однако для этого нам понадобится другой файл — тот, что в предыдущем подтесте, слишком большой для наших целей. Кроме того, это уже смонтированное видео. А что если взять прямо исходник с профессиональной камеры 8К? Одна из самых востребованных в Голливуде линеек камер — Red. С ними работают Дэвид Финчер, Ридли Скотт, Баз Лурман, Брайан Сингер, Питер Джексон, Стивен Содерберг и другие мэтры. И вот здесь мы можем скачать сэмплы с разных моделей Red. Мы выбрали первый из них: сцену на мотоцикле, снятую на Monstro 8K VV (прямая ссылка, 922,9 МБ).

Обратите внимание: камеры Red пишут видео в своем формате — R3D. Чтобы открыть такие файлы в Final Cut Pro X, надо установить плагин отсюда.

После установки плагина импортируем файл в Final Cut, причем в настройках импорта указываем в качестве кодека для рендеринга Uncompressed 10-bit 4:2:2.

Далее добавляем какой-нибудь эффект на файл — например, зерно (так у нас получится из этого мотоциклетного видео «Беспечный ездок» :)). И отправляем в Compressor. И здесь важный нюанс. В настройках Compressor надо обязательно зайти в Advanced, поставить там галочку на Enable additional Compressor instances и в выпадающем списке выбрать максимально возможное количество для вашего компьютера.

Пояснение в разделе поддержки на сайте Apple гласит:

The number of available Compressor instances is determined by your computer’s cores and memory. After meeting the minimum system requirement (four cores and 2 GB of memory), you can add one additional instance for every additional four cores and 2 GB of memory.

Под ядрами (cores) в данном случае понимаются потоки. Проще говоря, у нас на Mac Pro 16-ядерный процессор с 32 потоками. Вычитаем 4 из 32 и делим на 4 — получаем 7: именно столько дополнительных instances (то есть параллельных процессов) может здесь быть. Для этого значения объем памяти должен быть минимум 16 ГБ, но у нас 192 ГБ, так что тут все упирается именно в количество потоков процессора. Но вообще 7 — это, конечно, чересчур, поэтому мы решили ограничиться четырьмя.

Обратите внимание: если мы не сделаем эту настройку и запустим рендеринг файла с помощью четырех кодеков, то файлы будут кодироваться по очереди — пока не завершится процесс с первым, не запустится рендеринг второго, и так далее. Нам же здесь важно именно максимально загрузить железо. Во время теста окно Compressor должно выглядеть следующим образом.

Итак, у нас получилось 5 подтестов. В предыдущей версии методики было столько же, но мы убрали добавление эффекта на видео 8К и вместо него придумали куда более ресурсоемкий процесс. Результаты следующие.

Последние два подтеста (работа с 8К-видео) стоит использовать только на действительно производительных компьютерах. Причем экспорт 8К в четыре формата и вовсе подходит только для топовых систем, где процессоры минимум восьмиядерные.

Воспроизведение видео 8К

Последняя операция — воспроизведение видео 8К. Да-да, просто воспроизведение. Эта задача показательна для компьютеров среднего и нижнего уровня.

Здесь мы поступаем просто: берем первое видео 8К, которое использовали для тестов в Final Cut Pro, открываем его в QuickTime Player и смотрим (с тем же успехом его можно воспроизвести и в самом FCP).

Кстати, полезно во время воспроизведения следить за температурой CPU и GPU (на скриншоте выше вы видите информационный блок справа). Но об этом мы подробнее расскажем далее.

3D-моделирование

В операциях по 3D-моделированию мы будем использовать, как и прежде, Maxon Cinema 4D Studio.

Скачиваем, устанавливаем и открываем программу (можно пользоваться демо-версией). Далее скачиваем файл no_cm.c4d. Открываем его в Cinema 4D Studio (File / Open) и видим такую картину.

Далее жмем в верхнем меню самой программы Render / Render To Picture Viewer. И наблюдаем процесс рендеринга 3D-сцены.

По окончании рендеринга мы увидим время в окне History справа — в колонке Render Time. Вот оно нам и нужно.

Кроме того, у компании Maxon есть бенчмарк Cinebench, который работает на том же движке и, фактически, имитирует те же операции, что мы выполняли в Cinema 4D.

Бенчмарк мультиплатформенный, поэтому результаты в нем вполне можно сравнить с результатами на ПК под управлением Windows.

Ниже — результаты рендеринга в 4D Cinema, Cinebench R15 и Cinebench R20. На первый взгляд, странно, что приходится использовать две версии одной и той же программы, но проблема в том, что в 20-й версии бенчмарка разработчики убрали GPU-тест (OpenGL), хотя и усовершенствовали CPU-сцену. Поэтому приходится держать оба бенчмарка, благо оба они устанавливаются из DMG-файлов. Вот здесь можно скачать Cinebench R15.

Очень показателен огромный разрыв в скорости рендеринга между всеми тремя устройствами. При этом, что важно, это не синтетический бенчмарк, а реальная задача в популярном приложении для 3D-моделирования.

Apple Pro Logic X

Совершенно новый тест, который мы вводим в этой версии методики — создание аудиофайлов в Apple Pro Logic X. На самом деле, это элементарно простой тест, но весьма показательный для тех, кто использует Mac для создания музыки.

Итак, скачиваем из Mac App Store и запускаем Pro Logic X (актуальная версия на момент тестирования — 10.4.8), среди демо-проектов видим Beck – Colours. Открываем его.

Видим такую картину.

Далее в меню Files выбираем Bounce project or section и в открывшемся окне отмечаем галочками три верхних формата: PCM, MP3, M4A: Apple Lossless. Нормализацию отключаем (Off). И запускаем процесс, включая секундомер.

В итоге у нас появятся три аудиофайла. Время на их создание — и есть результат теста (округляем его до секунд). Вот что получилось с нашими моделями.

Видно, что разброс результатов относительно невелик. Так, MacBook 12″ отстал от Mac Pro всего в два с половиной раза и менее чем в два раза — от MacBook Pro 15″. И всё же это тоже вполне показательный и объективный сценарий.

Итак, наш набор профессиональных приложений позволит оценить производительность основных комплектующих «в реальной жизни» — как вместе, так и с упором отдельно на GPU и CPU. Но помимо этого необходимо воспользоваться синтетическими и игровыми бенчмарками, чтобы сложить максимально полную картину.

Бенчмарки

Здесь, по большому счету, никаких изменений по сравнению с предыдущей версией методики нет, но обновились сами бенчмарки.

JetStream 2

Начнем с браузерного JavaScript-бенчмарка JetStream 2. В качестве браузера использовался Safari.

Остальные браузерные бенчмарки, которые мы используем при тестировании мобильных устройств на iOS/Android, здесь запускать не имеет смысла, потому что мощи «взрослых» устройств Apple достаточно для того, чтобы не беспокоиться о скорости работы движка JavaScript в браузере. Поэтому мы приводим показатели лишь одного такого бенчмарка JetStream 2 — что называется, до кучи. Ну, и для сопоставления компьютеров и ноутбуков со смартфонами и планшетами, если кому интересно. И здесь хорошо видно, что даже между Mac Pro и MacBook Pro 15″ нет серьезной разницы, то есть тест показателен лишь для относительно слабых моделей. Хотя совсем слабенький MacBook попросту зависал на нем. Но не надо забывать, что мы тестировали модель 2017 года, а новые устройства будут уже, конечно, более производительными и вполне потянут текст. Все-таки методика делается с заделом на будущее.

Geekbench 5

Разумеется, не обойтись и без Geekbench — пожалуй, самого популярного бенчмарка для macOS. С момента появления прошлой версии методики вышла новая — пятая — версия бенчмарка, несовместимая с предыдущими. Как и раньше, здесь есть и тест CPU, и тест GPU (Compute Benchmark) на основе OpenCL и Metal. Вот здесь детально объясняется, где, как и зачем может применяться OpenCL при разработке приложений для macOS. Что же касается Metal, то это основной инструментарий для разработки игр под macOS.

Важный нюанс: в подтесте Compute можно указать, какой GPU будет задействоваться, если в компьютере есть и интегрированная, и дискретная графика. Поэтому в таблице ниже вы увидите в соответствующей ячейке у MacBook Pro 15″ (Mid 2017) два значения. Первое — для интегрированного графического ядра, второе — для дискретной графики.

Здесь в результатах можно отметить, во-первых, гигантский отрыв Mac Pro именно в тестах Compute и многоядерном режиме CPU, а во-вторых, относительно небольшой разрыв в одноядерном CPU-тесте между всеми тремя моделями.

Geeks 3D GPU Test

Переходим к тестированию графической производительности в бенчмарках. Увы, с большим сожалением вынуждены исключить из новой версии методики GFXBenchmark и CompuBenchCL. По всей видимости, разработчики решили дальше не развивать эти продукты (по крайней мере, их macOS-версии), а из-за того, что они при запуске обращаются к серверу, работа этих приложений оказывается крайне нестабильной. CompuBenchCL уже больше года не запускается или вылетает во время использования (поэтому мы его не используем давно), а с недавних пор похожие проблемы замечены и в GFXBenchmark.

Что ж, будем надеяться, что они к нам еще вернутся, а пока попробуем бесплатный, мультиплатформенный, компактный и лишенный привязки к интернету Geeks 3D GPU Test. Судя по информации в файле, он тоже довольно давно не обновлялся, но из-за простоты и отсутствия привязки к «внешнему миру» бенчмарк вполне может использоваться и сегодня.

Итак, скачиваем бесплатный архив с сайта производителя, в нем видим несколько файлов. Из них нас интересует GpuTest_GUI. Запускаем его, видим такой очень простой интерфейс.

Вверху можно выбрать тест. Среди них есть такие популярные мультиплатформенные тесты, как FurMark и TessMark. Их-то мы и запустим (последний — в версии х64), нажав на кнопку Run benchmark. Но прежде выставим разрешение на 1980×1080, а антиалиаcинг поставим на 8× MSAA.

Выполняемый тест FurMark выглядит так:

А TessMark — так:

Результаты тестирований появляются через минуту-другую и выглядят следующим образом:

Таким образом, нам показывают и кадры в секунду, и баллы. В таблице мы укажем оба значения.

Что ж, разрыв между устройствами соответствует ожиданиям, но главное — запас по сложности достаточно велик, чтобы тестировать даже самые мощные модели, типа Mac Pro. Плюс к этому, тест MessMark вполне можно использовать для тестирования автономной работы, только при запуске надо тогда выбирать не Run benchmark, а Run stress test. Тогда сцена будет крутиться просто нон-стоп.

Civilization VI Benchmark

Как и в прежней версии методики, для тестирования производительности в реальных играх воспользуемся встроенным бенчмарком Civilization VI. Для этого в главном меню игры выбираем Benchmark, и он автоматически стартует.

Суть его работы очень проста: демонстрируется сцена, измеряется FPS. По итогам бенчмарк выдает два значения: Average Frame Time (среднее время отрисовки кадра) и 99th Percentile (время отрисовки, которое обгоняют 99% кадров — т. е. отброшен результат отрисовки 1% кадров с самой низкой скоростью, чтобы избавиться от случайных тормозов). Оба значения выводятся в миллисекундах, однако мы решили переводить миллисекунды в более привычные FPS. Делается это просто: делим 1000 (поскольку в 1 секунде 1000 мс) на полученное значение и записываем результат. В таблице указываем его с округлением до одной десятой. Соответственно, чем больше FPS, тем лучше.

Однако здесь встает вопрос, какие настройки использовать. Опыт применения бенчмарка в прошлой методике показал, что самое правильное — использовать настройки по умолчанию. Это дает представление о реальном игровом комфорте в одном из самых требовательных и известных проектов.

При этом требования игры таковы, что даже на самых производительных конфигурациях максимальные значения FPS не достигаются, а это хорошо для наших задач.

BlackMagic Disk Speed

Если перечисленные выше бенчмарки помогают нам оценить производительность CPU и GPU, то BlackMagic Disk Speed (доступен в Mac App Store) ориентирован на тестирование накопителя — скорости чтения и записи файлов.

Это очень простое приложение, в котором можно выбирать объем данных (от 1 до 5 ГБ), с помощью которых будет тестироваться быстродействие накопителя, но больше никаких настроек нет, так что остается только нажать кнопку Speed Test Start и запустить процесс.

Вот результаты для наших трех «конкурсантов».

Хорошо видно, что хотя во всех трех моделях установлен SSD, разброс результатов весьма велик. Так, по скорости чтения Mac Pro обгоняет MacBook 12″ почти в три раза!

Измерение нагрева CPU и GPU

И последнее, без чего не обойтись при тестировании компьютеров и особенно ноутбуков: измерение нагрева. Зачастую именно недостаточно хорошее охлаждение становится причиной падения производительности и дискомфорта при использовании. Для тестирования нагрева мы, как и прежде, используем утилиту Tunabelly TG Pro.

Она демонстрирует нагрев всех основных компонентов, включая каждое ядро CPU и GPU в отдельности, а также умеет создавать лог и отображать температуру в режиме реального времени.

Tunabelly TG Pro имеет смысл использовать во время длительного тестирования, предполагающего максимальную нагрузку — например, в операциях видеомонтажа.

Также мы можем в случае необходимости измерить внешний нагрев корпуса и шум. Это может быть целесообразно в тех случаях, когда они явно выходят за рамки комфортных значений. Описание и примеры того, как это делается, можно найти в статьях из раздела «Ноутбуки и планшеты» (например, здесь).

Выводы

Итак, мы оптимизировали методику тестирования компьютеров под macOS в соответствии с реалиями 2020 года: убрали бенчмарки и сценарии, потерявшие актуальность, добавили тест в Compressor для сверхмощных конфигураций, включили Apple Logic Pro X и новые GPU-тесты. Так что теперь, по крайней мере до выхода следующей версии операционной системы, мы будем иметь достаточно универсальный набор инструментов для определения производительности. Важно, что здесь есть и реальные сценарии в ведущих профессиональных приложениях, и очень наглядные бенчмарки; часть тестов позволяют нагрузить даже очень крутые конфигурации, а часть (в том числе и некоторые профессиональные) подойдут и для совсем слабых моделей.

Также отметим, что все описанные нами тесты вы можете сами проделать на своих моделях, сравнив результаты с полученными нами. То есть методика идеально прозрачна и повторяема. Но, как и прежде, мы будем благодарны вам за любые советы и предложения новых тестов — разумеется, желательно аргументировать, что они дадут такого, чего не могут дать описанные нами, и чем они лучше.