Как мы ещё раз тестировали акустические кабели (Слепое тестирование 2)
26 августа мы снова собрались в салоне «Раунд Аудио», только уже по новому его адресу, чтобы столкнуть победителя Первого слепого тестирования — кабель ПуГВ (именно те 3-метровые куски кабеля, что участвовали в первом тестировании) и в разы более дорого специализированного брендового акустического кабеля сходной длины и конструкции.
Отчёт о первом тестировании здесь:
https://www.ixbt.com/live/preview/slepoe-testirovanie-akusticheskih-kabeley.html
В этот раз я постарался подойти более ответственно к организации теста и даже написал правила теста:
Несогласные с условиями теста, к тесту не допускаются.
Условия теста:
1. В тестировании участвуют 2 прогретых акустических кабеля одинаковой длины и разделки, сходного сечения и конструкции и заведомо разной цены (разница как минимум в 5 раз).
2. Количество экспертов 4 считается достаточным для проведения теста. Максимальное число экспертов — 12.
3. Каждому эксперту раздаются одинаковые анкеты. В начале тестирование поясняется значение каждой графы анкеты.
4. Каждому эксперту присваивается номер, соответствующий его номеру в списке экспертов, выложенному в этой теме перед тестированием. Экспертам, не записавшимся, но приехавшим на тестирование, присваивается следующий номер по списку. ЗАПРЕЩАЕТСЯ сокрытие связи ника эксперта с его номером. Все анкеты будут подписаны номерами, соответствующими номеру эксперта. Это сделано для более ответственного подхода эксперта к тестированию и в дальнейшем для упрощения процедур фиксирования и освещения результатов.
5. Каждому кабелю присваивается цветовая маркировка, которую знает ТОЛЬКО 1 человек — Леонид (LeoNeedR), который экспертом быть не может. В момент прослушивания гарантируется, что никто из присутствующих в комнате, кроме Леонида увидеть какой кабель подключен в данный момент не может. Экспертам глаза не завязывают.
6. Розыгрыш последовательности коммутации кабелей происходит методом выбора красной или синей бумажки случайным образом из непрозрачного контейнера.В крнтенер изначально кладутся 3 красных и 3 синих бумвжки одинакового размера, температуры, текстуры и плотности. На данном этапе необходимо участие помощника, которому запрещается участие в прослушиваниях.
7. Марки кабелей знает только Леонид (LeoNeedR) и я (Алексей). Я не участвую в процессе выбора бумажек и не знаю когда какой кабель подключен.
Я считаю, что знание марки кабеля в принципе, не является препятствием для моего участия в тесте, но, если поступит много возражений по этому поводу, я откажусь быть экспертом и буду только организатором.
8. В случае конфликтных ситуаций по рассадке экспертов, эксперт ОБЯЗАН сесть туда, куда укажут организаторы теста. Организаторы теста обязуются обеспечить 12 сидячих мест для экспертов в зоне прослушивания.
Прослушивание:
1. 26 августа 2017 г. 11.00 тест начинается в комнате прослушивания салона «Раунд-Аудио». После инструктажа проводится предварительное прослушивание полного набора треков для теста без перемоток. Количество треков не может быть более 8.По желанию большинства экспертов на данном этапе допускается замена треков, т.к. будет несколько «запасных» треков. Т.к. треки с тестового диска, длительность каждого около минуты. Последовательность следования треков всегда одинакова. Прослушивание проходит на штатном кабеле салона и на тех же аппаратах, на которых будет проводится тестирование. Запрещается использовать при предварительном прослушивании кабели, участвующие в данном тесте. Запрещается их показ участникам тестирования. На данный этап отводится не более 30 минут.
2. Всего производится 6 прослушиваний полного набора треков (далее — прогон). Таким образом, каждый из кабелей коммутируется в течение всего теста по 3 раза в неизвестной никому, кроме Леонида, последовательности. Допускается перемотка трека по просьбе большинства экспертов. Но таких перемоток не может быть более трёх в течение каждого прогона.
3. Продолжительность каждого прогона не должна превышать 10 минут. Между прогонами все эксперты выходят в коридор на срок не более 3 минут. В случае просьбы большинства экспертов после 3-го прогона делается перерыв на срок не более 10 минут Общение между экспертами на тему прослушанного в перерывах, также как и во время прогонов ЗАПРЕЩЕНО.
4. В течении каждого прогона эксперты заполняют графы анкеты соответствующие номеру прогона. По окончании теста, до сдачи анкет РАЗРЕШАЮТСЯ любые правки в своих анкетах, но эксперту следует позаботится об однозначном считывании результатов. Не допускается 2 оценки в одной графе одного прогона. Не ставить никакие баллы ЗАПРЕЩАЕТСЯ, т.к в результатах отражается суммарная оценка баллов. Если эксперт не знает какой балл поставить по какому-либо параметру — выставляется средний (5).
5. Каждый эксперт ставит вверху всех граф букву «Э» (электрокабель — это ни для кого не тайна ) и «Д» — дорогой, либо "?" в случае сомнений. Это добавляет к балльной системе еще один слой фактических данных.
После прослушивания:
1. Каждый эксперт пишет на обороте анкеты своё описание каждого кабеле, если у него сложилось какое-либо мнение. Можно и на обороте еще раз указать какой кабель участвовал в каждом прогоне по мнению эксперта. Допускаются финишные правки в своих анкетах. Общение между экспертами и обмен результатами теста ЗАПРЕЩАЕТСЯ. На этот этап отводится не более 5 минут. Анкеты сдаются организаторам.
2. Разрешается общение. Каждый эксперт по очереди может по желанию высказаться по тесту. Каждому отводится не более 2 минут.
3. Производится подсчет баллов и оглашение результатов. Кабель, набравший наибольшее число баллов становится победителем теста..
4. Раскрываются модели кабелей и какой цвет был у каждого.
5. Обсуждение итогов теста.
Фиксация результатов:
1. Сразу после раскрытия моделей кабелей происходит их фотографирование и замер всех параметров (см. таблицу из первого теста). Прибор будет использоваться тот же и замеры делаться теми же людьми.
2. Весь тест непрерывно записывается на звуковой рекордер на штативе. Штатив устанавливается в благоприятной точке прослушивания.
3. На любой удобной поверхности сзади усилителя устанавливается устройство видеозаписи таким образом, чтобы было видно, установленные в пределах видимости часы с актуальным временем и клеммы усилителя. Ведется непрерывная видеосъемка в течение всего теста. Разрешение и приближение должно быть достаточно, чтобы рассмотреть какой кабель подключен в каждый момент. Запись звука устройством обязательна. Устройство записи не должно обладать возможностью передачи данных в реальном времени или все такие интерфейсы должны быть перед записью отключены.
4. Каждая анкета перед сдачей организаторам фотографируется и её фото, до сдачи организаторам, отсылается каждому соответствующему эксперту любым удобным для него способом. После оглашения результатов анкеты сдаются Алексею для подготовки отчета по тесту и перепроверки результатов. Фото любой анкеты может быть выслано по запросу.
5. Ведется выборочная видео и фотосъемка.
6. В течение двух суток после теста, независимо от его результатов, должен выйти подробный отчет со всеми материалами теста.
7. Организаторы теста не аффилированы ни с одним производителем кабелей, участвующих в тесте.
___________________________________________________________________________________
Москва, БЦ «Агат», Б.Семеновская ул, дом № 40, стр. 1, офис 208 (м. «Электрозаводская»)
Тест прошёл в соответствии с правилами, за исключением небольших, как я считаю, непринципиальных отступлений. Количество участников, заполнивших анкеты — 6. Плюс 2 помощника, не заполнявших анкеты, но следившие за чистотой эксперимента со всей тщательностью. Получены, как я считаю, однозначные и логичные результаты. К сожалению, все мои репортажные видео записались без звука, поэтому в конце теста только небольшое видео, где звук был некритичен.
В 11 все были на месте, почти полтора часа решали организационные вопросы, выбирали треки для теста, расставляли аппаратуру, привыкали к звуку системы со штатными проводами.
Вид система имеет такой:
Аппаратура та же, что и на первом тесте, но усилитель другой. Бюджетный (ок. 400 долларов) Marantz.
1. Источник — цифровой, компьютер Toshiba Satellite X200-252
2. Предусилитель/ЦАП — ASUS Essence III.
3. Усилитель мощности — Marantz.PM 4200 мощность 30 Вт на канал, 8 Ом
4. Акустические системы Round Audio FR12 Mk III.
Что касается «живой силы», то в этот раз состав участников был более опытным, чем в первом тесте. Из первого теста повторно участвовал только я. Присутствовал разработчик усилителей, многие в курсе звучания множества разных видов техники и их сочетаний.
Итак, кому лень было читать все правила выше: был сооружен непрозрачный экран из ткани, не позволяющий увидеть какой кабель подключен в каждый момент. Экран видно на фото выше. 6 экспертов заняли свои места каждый на своём кресле от первого к шестому подряд слева-направо, если смотреть стоя спиной к колонкам (если быть совсем точным, то я по ошибке пронумеровал свою анкету 3 вместо 2 и рассадка была такая: 1-3-2-4-5-6). Считаю, что для самых крайних кресел условия для оценки некоторых параметров, например стереопанорамы, были неоптимальными. Каждому эксперту были розданы анкеты в количестве равном количеству прогонов. В каждом прогоне звучало 10, предварительно отобранных всеми вместе, треков. В итоге, состав треков на 90% совпал с треками из первого теста. Анкеты имели такой же вид.
Сзади усилителя был установлен телефон, записывающий вид на клеммы на протяжении всего теста. Wi-fi был отключен. На стойке был установлен рекордер, ведущий запись на протяжении всего теста. Леонид вместе с помощником разыгрывал последовательность следования кабелей вытаскиванием бумажки либо красного, либо зеленого цвета из непрозрачного контейнера. Бумажек разных цветов было равное количество. Каждый розыгрыш происходил перед очередным прогоном и эксперты выходили в это время из помещения. Каждый перерыв между прогонами длился 7-10 минут. Во время перерыва Леднид с помощниками не выходили из помещения, производили (или нет) коммутацию кабелей, но, в любом случае. выставляли уровень по шумомеру.
После первого прогона произошло ужесточение правил. Изначально не подразумевалось сдавать анкеты после каждого прогона. Но решили единогласно — сдавать. Лично мне было психологически трудно ставить оценки почти по всем параметрам первого прогона на очень низком уровне (почти все 2 из возможных 10), т.к. когда большинство участников слушало систему с её штатными кабелями и имело хоть какую-то реперную точку, я носился по организаторским вопросам. Я представлял, что же будет, если 2й прогон мне понравится ещё меньше и какие мне оценки ставить, первую-то анкету я уже сдал. Но всё получилось на удивление замечательно. Если на первом прогоне был неинтересный, резковатый, плоский звук, то во втором звук был мягче, комфортнее, позиционирование улучшилось, его было интересно слушать.
После второго прогона произошло 2е отступление от правил. Прогонов решили сделать 4, а не 6. Решение было принято единогласно. Это связано с тем, что, как я понял (озвучено это не было никем), разница четко отлавливается. Также стало понятно, что треки мы не перематываем и каждый прогон занимает минут 20+перерыв, тест слишком бы затянулся без особых преимуществ для получения результатов. 6 прогонов могли бы даже сказаться отрицательно. Уже на 4м прогоне я и остальные явно утомились, т.к. просто слушать это одно, а заполнять анкеты по каждому параметру, чувствуя ответственность — это другое. Следует учесть, что вполне могло быть что 2 раза подряд будет идти один и тот же кабель, а эксперт посчитает их разными, это было бы обидно и вносило дополнительную нервозность.
На 3м прогоне я не выявил отличий от 2го прогона и заполнил анкету почти так же. 4й прогон был самым сложным. Я вдруг стал сомневаться. Но все же последний трек мне помог понять окончательно что к чему и я посчитал что в 4м прогоне ПуГВ.
После первого прогона я уточнил что можно ставить пометки, какой кабель в каком прогоне был («Э» — для электро ПуГВ и «Д» — дорогой). Я сделал такие пометки: 1 и 4 «Э», 2 и 3 «Д». К сожалению, никто больше не воспользовался такой возможностью.
Надо отметить, что в этот раз правилу необсуждению результатов после каждого прогона все следовали неукоснительно и влияния друг на друга эксперты не оказывали. После теста было время написать комментарии в свободной форме на обороте последней анкеты. Этой возможностью некоторые воспользовались. Я написал:
«1й прогон уверен ПуГВ, 2й уверен дорогой, 3й уверен снова дорогой, 4й ПуГВ. ПуГВ — резкий, плоский звук. Слушать неинтересно».
Другие участники:
«Разница есть, но не кардинальная».
«Понравились 2й и 4й варианты»
«Могу ошибаться, но на мой взгляд 1й кабель был в 1м и 3м прогонах, 2й во 2 и 4. 2й играет ярче и мне нравится больше».
После сдачи последней анкеты были подсчитаны баллы, а, пока их считали, было время впервые в открытую сказать кто что услышал. Этой возможностью воспользовался я и сказал приблизительно то же, что и написал на обороте анкеты. Дополнительно отметил, что разница между 1м и 2м прогонам была более ощутимой, чем между 3м и 4м и что в течение 4го прогона я начал сомневаться.
Ещё один участник уточнил, что он считает, что дешевый кабель все же был в 1м и 3м прогоне. Остальные не стали никак комментировать.
Баллы посчитаны.
Прогон 1: 339 баллов
Прогон 2: 457 балла
Прогон 3: 429 баллов
Прогон 4: 409 баллов
После этого был явлен миру дорогой кабель — им оказался Audio Quest Castle Rock ценой около 1000 долларов. Он был во 2м 3м прогонах и набрал наибольшее число баллов.
Ещё немного фотографий:
Небольшой обзор помещения:
_____________________________________________________________________________
_____________________________________________________________________________
После теста были произведены ЗАМЕРЫ ПАРАМЕТРОВ КАБЕЛЕЙ, спасибо ещё раз mrRadio. Т.е. прибор и человек, проводивший измерения, те же, что и на первом тесте.
Здесь будет красивая табличка, а пока так
Также ожидаются профессиональные фото, где можно будет лицезреть всех экспертов, включая меня, за работой.
_________________________________________________________________________
Что есть из фактических данных:
Все оригиналы анкет у меня. Есть видеозапись клемм усилителя, я так понял, после 3й коммутации запись прерывается, но это непринципиально.
Выкладываю записи с рекордера:
1й прогон (ПуГВ): https://yadi.sk/d/uYYgiSXL3MMBV2
2й прогон (Audio Quest Castle Rock): https://yadi.sk/d/lA13CHmk3MMBX7
В 1м прогоне на 1 трек больше. Его решили исключить в дальнейшем. Поэтому на записи второго прогона на 1 трек меньше.
Треки, использованные при тесте:Выражаю всем, принявшим участие в тесте, признательность за убитые полдня жизни, хотя мне показалось, что некоторым понравилось :) Отдельное спасибо Леониду, без него не было бы и теста.
Пост будет правиться с появлением фото и уточнений. Индивидуальный разбор анкет я не осилил, но могу выложить их сканы для любителей статистики.
UPD 1
Сканы анкет лицевые стороны:
https://yadi.sk/i/ViGS-NR63MNjvu
Сканы анкет оборот (комментарии после последнего прогона по всему тесту):
https://yadi.sk/i/rAA5rVY53MNkpK
UPD 2
Выкладываю профессиональные фото (спасибо товарищу Саши Федотова и ему самому за помощь).
UPD 3
Участник конференции провел стат. анализ результатов теста:
http://forum.ixbt.com/topic.cgi?id=95:230:1091#1091
Попутно выяснилась неточность в подсчёте баллов одной из анкет. Результаты третьего прогона + 6 баллов. Исправил.