Параметры, подлежащие измерению

Оценить
(0 голоса)

Решение о том, что именно должно быть измерено, зависит от характера конкретного эталонного теста. Ключевой проблемой тестирования могли бы быть время отклика транзакции или время выполнения запроса или рабочей нагрузки. В другом случае цель тестирования могла бы состоять в том, чтобы видеть, сколько работы может выполнить система по истечении предопределенного времени отклика или завершения. Этот вопрос обсуждается более подробно в главе 25 под названием "Показатели: как измерять и о чем сообщать".

К числу полезных можно отнести следующие показатели:

•             Производительность транзакций. Эта производительность может выражаться в количестве транзакций в минуту (например, для рабочих нагрузок OLTP), в количестве запросов, завершенных в течение часа, или в количестве пакетных заданий, выполненных в течение назначенного периода времени.

Однако этот показатель может быть не так прост, как кажется на первый взгляд. Если транзакции одного класса завершаются примерно за одну секунду, а транзакции другого класса - за десять минут, то будет крайне неразумно просто просуммировать общее количество транзакций, завершенных в течение времени выполнения данного эталонного теста, или вычислять средние значения производительности для каждого типа транзакций.

ТРС-С разрешает эту проблему, фиксируя смесь транзакций (требуемый процент транзакций каждого типа) и сообщая о производительности только одного типа транзакций (new-order transacnion - транзакция нового заказа).

Другой способ получения единственного показателя из неравноценных значений (например, средняя производительность в минуту для каждой из нескольких различных транзакций) состоит в том, чтобы использовать среднее геометрическое (корень п-ой степени из произведения и значений). Однако будьте внимательны со средними геометрическими. Они обладают некоторыми странными характеристиками, и если вы не понимаете их, то окажется, что вы не понимаете своей первичногй метрики!

•             Квант ЦП на одну транзакцию. Использование производительности в качестве первичного показателя может таить в себе ловушки для неосторожного пользователя. При сравнении результатов, полученных на различных системах, удостоверьтесь в том, что время на обдумывание или "узкие места" системы не ограничивают производительность. Пойдите другим путем, рассчитайте наряду с производительностью использование системных ресурсов.

Например, предположим, что испытание проводится на системе с 8-ю центральными процессорами и полученный результат составляет 10000 транзакций в минуту. Затем то же самое испытание проводится на той же самой системе с 16-ю центральными процессорами, но полученный результат составляет только 11000 транзакций в минуту. Очевидное заключение - данная система не масштабируется - может быть совершенно неправильным. Предположим, что использование ресурсов ЦП для испытания с 8-ю центральными процессорами было определено по измерениям как 100 %, тогда как использование ресурсов ЦП при испытании с 16-ю центральными процессорами составляло всего 55 %.

Использование ресурсов ЦП
Требования со стороны эталонного теста
Автоматический эмулятор
Выполнение эталонного теста
Конкурентные эталонные тесты

Добавить комментарий


Защитный код
Обновить