Проведение сопоставительных испытаний

Оценить
(1 голос)
Термин benchmark (эталонный тест) относится к практике проведения испытания на известной конфигурации с использованием известной рабочей нагрузки и контролем полученного результата. Иногда цель состоит в том. чтобы определить максимальную производительность, на которую способна данная конфигурация, или в том, чтобы определять времена отклика для определенных операций. В других случаях целью является просто выяснение того, способна ли данная комбинация аппаратных средств и программного обеспечения выполнить заданную рабочую нагрузку и завершить ее без сбоев. Производительность, определенная по результатам эталонного тестирования, иногда представляет меньший интерес, чем функциональные возможности системы и ее надежность. Эталонная рабочая нагрузка обычно относится к одному из перечисленных ниже типов: •            …
Оценить
(0 голоса)
Наиболее известные эталонные тесты, которые являются индустриальным стандартом, разработаны ТРС (Transaction Processing Performance Council - Советом по производительности обработки транзакций), некоммерческой корпорацией, учрежденной для того, чтобы определять эталонные тесты обработки транзакций и баз данных и предоставлять отрасли объективные, поддающиеся проверке данные о производительности. Основанная в 1988 году восемью компаниями, корпорация ТРС в настоящее время расширилась почти до 30 членов, включая фирму Sun. В течение последних 10 лет корпорация ТРС определила и выпустила шесть эталонных тестов баз данных. Четыре из которых, ТРС-С (эталонный тест OLTP), ТРС-Н и ТРС-R (эталонные тесты DSS) и ТРС-W (эталонный тест, основанный на технологии World Wide Web),…
Оценить
(0 голоса)
Эталонные тесты БД служат ряду полезных целей: •             "Стрессовое" (нагрузочное) тестирование программных продуктов РСУБД, а также серверов и операционных систем, на которых они реализованы. Нагрузочное тестирование иногда используется для того, чтобы гарантировать, что аппаратные и программные компоненты работают совместно. Испытания подобного типа называются integration testing - интеграционным тестированием. Такая испытательная среда также может быть неоценима в плане сравнения как функциональных возможностей, так и производительности новых выпусков программного обеспечения или аппаратных средств с аналогичными показателями предыдущих выпусков. Эта деятельность известна под названием regression testing - регрессивное тестирование. Эталонные тесты могут также помочь выявить и разрешить "узкие места" системы, которые негативно влияют…
Оценить
(0 голоса)
Рабочая нагрузка ТРС-С моделирует простую среду OLTP: множество интерактивных сеансов работы с терминалами в распределенной операции на основе склада, или хранилища. Этот эталонный тест содержит смесь транзакций только для чтения и транзакций с интенсивным обновлением данных, основанную на неоднородном распределении данных при предписанных для транзакций свойствах ACID (atomicity, consistency, isolation, durability - атомности, согласованности, изоляции, долговечности). В таблице 26-1 представлены пять транзакций эталонного теста ТРС-С, выполняемых относительно девяти таблиц. Из указанных девяти таблиц все, кроме одной (таблица Изделие), масштабируются с изменением количества складов. В таблице 26-2 представлены таблицы эталонного теста ТРС-С и правила их масштабирования. Совокупность пользователей также масштабируется с…
Оценить
(0 голоса)
Эталонный тест ТРС-С и его слегка упрощенные варианты широко используются внутри Sun Engineering и повсюду в отрасли для определения производительности и регрессивного тестирования также, как и в официальных эталонных тестах. ТРС-С является привлекательным по следующим причинам: •             Несмотря на свою относительную простоту, этот тест распознает нагрузку. •             Подвергает нагрузке все основные компоненты системы, включая системную шину, подсистему ввода/вывода и сеть. •             Хорошо масштабируется, поэтому и очень маленькие, и очень большие системы могут быть протестированы с его помощью. •             Устойчив, популярен и широко принят в отрасли. Ограничения эталонного теста ТРС-С ТРС-С не представлен в большинстве пользовательских сред, поэтому сложно использовать опубликованные…
Оценить
(0 голоса)
Первоначально выпущенный корпорацией ТРС эталонный тест DSS - TPC-D - был заменен двумя новыми эталонными тестами: ТРС-Н и ТРС-R. Так как новые эталонные тесты выросли из ТРС-D, все три теста заслуживают обсуждения. Рабочая нагрузка эталонного теста TPC-D VI моделировала среду DSS, а более конкретно - распределенную операцию на основе склада (хранилища). Она включала в себя 17 сложных запросов и мелкомасштабные обновления бизнес-данных (вставки и удаления). Эталонный тест ТРС-D состоял из ограниченной по времени загрузки БД. контрольного прогона с повышенными требованиями к мощности и контрольного прогона с повышенными требованиями к производительности. Контрольный прогон с повышенными требованиями к мощности представлял собой некоторую…
Оценить
(0 голоса)
ТРС-D был первоначально популярен как для проведения технических работ, связанных с повышением производительности БД, так и среди доступных тестов, хотя сейчас его популярность снизилась, поскольку он становился все менее и менее значимым и полезным. Первоначальными причинами популярности этого эталонного теста были следующие: •             Подобно эталонному тесту ТРС-С, этот эталонный тест подвергал мощной нагрузке все основные компоненты системы. •             Этот эталонный тест был намного проще в реализации, чем ТРС-С. •             Поставщики аппаратных средств и баз данных использовали его для того, чтобы больше узнать о решении реальных проблем в системах DSS. •             ТРС-D запретил использование подсказок оптимизаторам. В результате оптимизаторы БД "были…
Оценить
(0 голоса)
ТРС-D всегда имел свои собственные ограничения: •             Этот тест не учитывал все аспекты DSS. Например, модель данных эталонного теста ТРС-D не включала в себя звездообразную схему. •             Хотя ТРС-D содержал незначительные специализированные элементы, его запросы в основном были статическими. Точно такие же ограничения относятся и к эталонным тестам ТРС-Н и TPC-R. Тот факт, что эталонный тест ТРС-D не был специально разработанным тестом (другими словами, используемые в нем запросы были известны заранее), привел к постепенной потере доверия и ценности этого теста. Семнадцать запросов теста стали настолько хорошо известными и понятными, что поставщиками баз данных даже были изобретены сложные стратегии для того,…
Оценить
(0 голоса)
В течение II-месячного периода показатель мощности Starfire увеличился не меньше чем на 1373%! Первый результат был получен с использованием центральных процессоров с тактовой частотой 336 МГц и Огас1е8 8.0.4, а последние два результата - с использованием центральных процессоров с тактовой частотой 400 МГц и Oracle8i 8.1.5. Все три результата были получены при использовании Solaris 2.6. Удивительное экспоненциальное улучшение мощности, показанное на рисунке, не было связано с усовершенствованиями аппаратных средств. Наоборот, это улучшение практически полностью обязано технологии материализованных представлений, введенной фирмой Oracle, а также детальному изучению запросов теста ТРС-D. СУБД DB2 фирмы IBM и Teradata фирмы NCR, используя подобную технологию, достигли…
Оценить
(0 голоса)
Эталонный тест ТРС-R продолжает тенденцию ТРС-D. В нем также позволяются все описанные выше уловки, включая объединения индексов, сцепленные индексы и материализованные представления. ТРС-R может рассматриваться как представление некоторой среды "Составление отчетов" в DSS, где запросы известны и часто выполняются, а потому приветствуются "горячие клавиши" - ускоряющие работу клавишные комбинации или ярлык. Это позволяет поставщикам баз данных продолжать разрабатывать и демонстрировать экзотические программные технологии, подобные тем, которые появились в последние годы существования эталонного теста ТРС-D. Эти технологии могут легко находить некоторое применение в средах конечных пользователей, хотя они наверняка никогда не станут основным направлением в реальном мире. Не удивительно, что большинство…
«ПерваяПредыдущая123СледующаяПоследняя»
Навигация