Конкурентные эталонные тесты

Оценить
(0 голоса)

При планировании конкурентного эталонного теста следует иметь в виду следующие аспекты:

•             Эталонный тест вероятно окажется очень дорогим для поставщиков, конкурирующих в данном бизнесе, особенно если они предоставляют аппаратные средства или осуществляют поддержку ресурсов. Испытание вашего нового приложения на заимствованных аппаратных средствах - относительно недорогой путь выяснения того, какие аппаратные ресурсы потребуются для тестирования. Будьте разумны и реалистичны в своих ожиданиях и найдите способы сделать эталонное тестирование привлекательным для всех участников.

•             Заблаговременно разберитесь с правилами эталонного теста и критериями оценки его результатов. Не поднимайте планку требований в процессе прове-

ления эталонного тестирования без крайне веской причины. Гарантируйте некоторый уровень правил игры.

•             Проявляйте гибкость гам, где это возможно, если только это не дает незаконных преимуществ или не причиняет вред одному из поставщиков.

•             Свободно обменивайтесь с поставщиками подробностями о производительности их собственных продуктов. Однако, вероятно, не слишком разумным решением будет широкое распространение результатов других поставщиков, если только не все поставщики согласились на такое.

•             В конкурирующем окружении поставщики часто бывают весьма признательны за некоторую приближенную оценку того, на каком уровне находится производительность их продуктов в сравнении с производительностью продуктов их конкурентов, чтобы знать, сколько дополнительных усилий по настройке им может потребоваться приложить.

•             Если вы планируете, чтобы поставщик выполнил приемочные испытания с той же самой рабочей нагрузкой после покупки, ясно дайте ему это понять.

•             Выделите время на то, чтобы "заглядывать через плечо" поставщиков - вы сможете многому научиться.

Иногда пользователи начинают основную работу по эталонному тестированию прежде, чем их собственное программное обеспечение начнет полностью функционировать. Иногда по коицу основного конкурентного теста пользователи решают ничего не покупать, даже притом, что, по крайней мере, один поставщик был в состоянии продемонстрировать жизнеспособное решение. Не стоит и говорить о том, что такое поведение неблагоразумно, особенно когда поставщики вкладывают в эталонное тестирование существенные аппаратные средства и время.

Случается сталкиваться со случаями, когда принятие решений осложняется непониманием значения статистики, сгенерированной с помощью сложных коммерческих пакетов RTEs. Когда пользователи и поставщики приложили такие сверхчеловеческие усилия для предоставления высококачественного результата, имеет смысл инвестировать столько, сколько требуется, чтобы правильно понять полученный результат.

Наконец, если каждый поставщик пользовался услугами его собственных гуру по производительности и настройке, удостоверьтесь, что вы полностью понимаете все, что они сделали для улучшения производительности. Если ключевые параметры настройки не установлены в одни и те же значения для всех тестируемых платформ, то достоверное сравнение между платформами может оказаться невозможным. Остерегайтесь также пользоваться уловками настройки, которые не могут быть применены в реальных средах.

Что часто идет не так, как надо, при проведении эталонного тестирования?
Заключение
Термин benchmark (эталонный тест)
Эталонные тесты баз данных, которые являются индустриальным стандартом
Полезность эталонных тестов БД

Добавить комментарий


Защитный код
Обновить