Оптимизация производительности загрузки данных

Оценить
(0 голоса)

XPS предлагает ряд методов для загрузки данных. Рассмотрим некоторые альтернативы. приемлемые для сред DSS. и обсудим опции накопления статистики.

Загрузка данных

СУБД Informix имеет возможность ускорять и упрощать параллельную загрузку данных в XPS с помощью утилиты Pload/XPS. Утилита Pload отображает внешние данные во внутренние данные, трактуя внешний файл данных как таблицу со специальным типом "external" ("внешняя"). Для получения более подробной информации о типах таблиц в XPS обратитесь к разделу "Таблицы и индексы" в главе 11.

Утилита Pload использует расширенный интерфейс языка SQL для чтения данных из внешнего файла. Чтобы создать строку, выполняется необходимое преобразование, а данные, которые не могут быть преобразованы, записываются в файл отвергнутой информации.

Ключевое слово sameas определяет, что содержание разделенных полей в файле /datal/customer.tbl в точности соответствует столбцам в таблице customer. Разделитель представляет собой символ |, как показано в приведенном примере данных, подготовленных для загрузки.

Чтобы достичь максимальных скоростей загрузки хранилища данных, стартуйте с пустой таблицы типа Operational без индексов. Измените тип таблицы на Raw и загрузите данные с использованием режима express (срочный). После загрузки опять верните тип таблицы на Operational. Индексы вы должны создать отдельно. Следующий пример иллюстрирует загрузку с использованием режима express, причем, данные загружаются из каналов, а не из внешнего файла:

create external table cust_ext sameas customer using ( format "delimited",

datafiles ("pipe:l:/tmp/customer.pipe.%r(0.2)”,

"pipe:2:/tmp/customer.pipe.%r(3.5)"),

rejectfile "/tmp/cust%c",

express);

В приведенном примере выражение pipe:l определяет канал во взаимодействующем сервере с номером 1, а выражение customer.pipe.%г(0. .2) будет развернуто в набор выражений вида customer, pipe. 0, customer .pipe .1 и customer, pipe. 2. Таким образом, три канала с номерами 0, 1 и 2 будут поставлять данные во взаимодействующий сервер с номером 1. а каналы с номерами 3, 4 и 5 — во взаимодействующий сервер с номером 2. Для каждого взаимодействующего сервера будет создан свой

файл отвергнутой информации (выражение будет развернуто в номер взаимодействующего сервера).

Если используется канал, то необходим отдельный процесс для того, чтобы поставлять данные в этот канал. Каналы могут быть полезны в том случае, если требуется преобразование данных; процесс преобразования может выполняться одновременно с загрузкой данных.

Процессы загрузки данных
Накопление статистики
Создание индексов
Конфигурирование протокола UDP на платформе Solaris
Конфигурирование связи между взаимодействующими серверами

Добавить комментарий


Защитный код
Обновить