Выполнение вашего собственного эталонного теста

Оценить
(0 голоса)

Эталонные тесты, являющиеся стандартом в отрасли, редко обеспечивают адекватное приближение к реальным средам из-за различий в приложениях, данных и реализации. В результате пользователи часто идут по пути разработки и проведения своих собственных эталонных тестов, несмотря на необходимость значительных инвестиций.

Причины для выполнения собственного эталонного теста

Среди многих причин для выполнения вашего собственного эталонного геста следует упомянуть следующие:

•             Необходимость сравнить конкурирующие аппаратные платформы.

•             Необходимость сравнить конкурирующие программные продукты.

•             Необходимость настроить приложения и среды, выявить и разобраться с "узкими местами" вне зависимости от среды выполнения.

•             Потребность спланировать изменения, определившись с опережающим использованием системных ресурсов, для новых приложений или сред.

Если вы решаете выполнять свой собственный эталонный тест, удостоверьтесь, что четко и заблаговременно документировали причины, вынуждающие идти этим путем. Такой документ мог бы звучать до неприличия тривиально, но, как уже отмечалось во введении к настоящей главе, не всегда удается "порассуждать вслух".

Иногда люди начинают работу с четко сформулированных целей и просто отвлекаются. Например, рассмотрим конкурентный эталонный тест, в котором пользователи указали, что им необходима система, способная реализовать заданную пакетную рабочую нагрузку в течение двух часов. Поставщик А завершает эту рабочую нагрузку за 90 минут, а поставщик В - за 75 минут. После более тонкой настройки поставщик А смог уложиться в 72 минуты. Чтобы не проиграть в конкурентной борьбе, поставщик В обращается к услугам нескольких гуру и сокращает это время до 68.5 минут.

В таких конкурирующих средах приходилось видеть, что пользователи нетерпеливо следуют за каждой новой попыткой сокращения времени выполнения, полностью теряя из вида тот факт, что любая система вполне нормально выполнит требования их бизнеса. "Планки" поднимались без какого бы то ни было ясно сформулированного объяснения.

Факторы, делающие эталонный тест значимым
Параметры, подлежащие измерению
Использование ресурсов ЦП
Требования со стороны эталонного теста
Автоматический эмулятор

Добавить комментарий


Защитный код
Обновить