Термин benchmark (эталонный тест)

Оценить
(1 голос)

Термин benchmark (эталонный тест) относится к практике проведения испытания на известной конфигурации с использованием известной рабочей нагрузки и контролем полученного результата. Иногда цель состоит в том. чтобы определить максимальную производительность, на которую способна данная конфигурация, или в том, чтобы определять времена отклика для определенных операций. В других случаях целью является просто выяснение того, способна ли данная комбинация аппаратных средств и программного обеспечения выполнить заданную рабочую нагрузку и завершить ее без сбоев. Производительность, определенная по результатам эталонного тестирования, иногда представляет меньший интерес, чем функциональные возможности системы и ее надежность.

Эталонная рабочая нагрузка обычно относится к одному из перечисленных ниже типов:

•             Эмуляция, направленная на точное воспроизведение реальной среды. Цель состоит в том, чтобы точно воспроизвести реальную рабочую нагрузку и заставить ее выполняться таким же способом, каким выполняется действующая версия рабочей нагрузки. Эмуляция обычно достигается с помощью какого-нибудь программного инструмента, который имитирует поведение конечных пользователей. Данные, используемые при эмуляции, вероятнее всего будут представлять собой моментальный снимок реальных данных.

•             Моделирование, которое аппроксимирует реальную рабочую нагрузку. Моделируемые рабочие нагрузки создаются на реальных рабочих нагрузках и имеют сходные характеристики и поведение, хотя они обычно меньше и проще. Моделирование обычно проводится с использованием нескольких представительных транзакций и не пытается воссоздавать каждую возможную транзакцию. Данные могут быть сгенерированы искусственно или быть основаны на моментальном снимке (возможно, на подмножестве) реальных данных.

Эталонный тест производительности является наиболее полезным, если он основывается на реальных приложениях, реальных данных и на реальном поведении конечных пользователей. Эталонные тесты имеют обычно ограниченное значение, если не могут быть четко определены относительно конечной среды.

Однажды один из клиентов позвонил нам, чтобы выяснить, имеется ли какой-нибудь эталонный тест Oracle, который он смог бы использовать для сравнения различных аппаратных платформ. Мы спросили, какого типа эталонный тест ему нужен, и он ответил: "О, мне подойдет любой". Когда мы спросили его о том, как предложенный эталонный тест соотносится с его собственной средой, то сразу стало ясно, что этот клиент имел только неопределенную идею о том, что любой эталонный тест БД подойдет для проведения сравнения аппаратных платформ. Даже если бы мы смогли предоставить такой тест, его значение было бы сомнительным. К сожалению, полезные тестовые программы редко поступают в красивой упаковке.

Позднее в настоящей главе будут рассмотрены проблемы, связанные с разработкой вашего собственного эталонного теста, но сначала поговорим об основных эталонных тестах баз данных, которые являются индустриальным стандартом, - ТРС-С, ТРС-Н и более современный тест TPC-W - и об их пригодности для реальных сред.

Эталонные тесты баз данных, которые являются индустриальным стандартом
Полезность эталонных тестов БД
Введение в эталонный тест ТРС-С
Выгоды от использования ТРС-С
Введение в эталонные тесты TPC-D, ТРС-R и ТРС-Н

Добавить комментарий


Защитный код
Обновить