Microsoft SQL Server 2012. Реализация хранилищ данных
- Добавил: Energy555
- Дата: 26-10-2019, 20:41
- Комментариев: 0
Название: Microsoft SQL Server 2012. Реализация хранилищ данныхАвтор: Сарка Д., Лах М., Йеркич Г.
Издательство: Русская редакция
Жанр: СУБД
Год издания: 2014
Страниц: 805
ISBN: 978-5-7502-0431-1
Язык: Русский
Формат: PDF
Размер: 10 Мб
Официальный учебный курс Microsoft рассматривает технологии реализации и обслуживания хранилищ данных, которые обеспечивает SQL-Server 2012. Описаны проектирование, реализация и усовершенствование потока управления и потока данных, создание надёжного перезапускаемого пакета, динамических пакетов, аудит и ведение журналов, установка служб SSIS и развёртывание пакетов, выполнение и безопасность пакетов, устранение неисправностей и настройка производительности, установка и поддержка Data Quality Services, реализация Master Data Services, управление основными данными, создание проекта качества для очистки данных.
Оглавление
Оглавление
Учебный курс 70-463. Реализация хранилищ данных
с помощью Microsoft SQL Server 2012 ........................................................................ 1
Введение ............................................................................................................................ 3
Системные требования .................................................................................................................... 4
Требования к SQL Server и другому программному обеспечению ..................................... 4
Требования к оборудованию и операционной системе ........................................................ 5
Требования к данным .............................................................................................................. 5
О прилагаемом компакт-диске ....................................................................................................... 5
Установка заданий пробного экзамена .................................................................................. 6
Использование пробного экзамена......................................................................................... 6
Удаление ПО пробного экзамена ........................................................................................... 7
Благодарности .................................................................................................................................. 7
Техническая поддержка и обратная связь ..................................................................................... 7
Ошибки и опечатки .................................................................................................................. 8
Нас интересует ваше мнение .................................................................................................. 8
Оставайтесь на связи ............................................................................................................... 8
Подготовка к экзамену .................................................................................................................... 8
ЧАСТЬ I. РАЗРАБОТКА И РЕАЛИЗАЦИЯ ХРАНИЛИЩА ДАННЫХ .............. 9
Глава 1. Логическое проектирование хранилища данных ................................... 11
ЗАНЯТИЕ 1. Знакомство со схемами "звезда" и "снежинка" .................................................... 12
Проблемы формирования отчетов в нормализованной модели ........................................ 13
Схема "звезда" ........................................................................................................................ 15
Схема "снежинка" .................................................................................................................. 18
Степень гранулярности ......................................................................................................... 20
Аудит, происхождение и преобразования данных .............................................................. 21
ПРАКТИКУМ. Схема интернет-продаж из базы данных AdventureWorksDW2012 ....... 22
Задание 1. Изучение схемы базы данных AdventureWorksDW2012 ........................ 22
Задание 2. Анализ диаграммы ..................................................................................... 23
Резюме занятия ...................................................................................................................... 23
Закрепление материала.......................................................................................................... 24
VI Оглавление
ЗАНЯТИЕ 2. Проектирование измерений ................................................................................... 24
Типы столбцов в измерениях ................................................................................................ 25
Иерархии................................................................................................................................. 26
Медленно меняющиеся измерения....................................................................................... 28
ПРАКТИКУМ. Изучение измерений из базы данных AdventureWorksDW2012 ............. 31
Задание 1. Исследование измерений AdventureWorksDW2012 ................................ 32
Задание 2. Дальнейший анализ диаграммы ................................................................ 33
Резюме занятия ...................................................................................................................... 34
Закрепление материала.......................................................................................................... 34
ЗАНЯТИЕ 3. Разработка таблиц фактов ...................................................................................... 35
Типы столбцов в таблицах фактов ....................................................................................... 35
Аддитивность мер .................................................................................................................. 37
Аддитивность мер в SSAS ..................................................................................................... 38
Отношения "многие-ко-многим" .......................................................................................... 39
ПРАКТИКУМ. Изучение таблиц фактов из базы данных AdventureWorksDW2012 ....... 40
Задание 1. Создание диаграммы для таблицы фактов
из AdventureWorksDW2012.......................................................................................... 41
Задание 2. Анализ столбцов таблицы фактов ............................................................. 41
Резюме занятия ...................................................................................................................... 42
Закрепление материала.......................................................................................................... 42
УПРАЖНЕНИЯ ............................................................................................................................. 43
Упражнение 1. Краткосрочный пробный проект ................................................................ 43
Упражнение 2. Расширение краткосрочного пробного проекта ....................................... 43
Результаты опроса ........................................................................................................ 43
Вопросы ......................................................................................................................... 43
Рекомендуемые упражнения ................................................................................................. 43
Тщательно изучите базу данных AdventureWorksDW2012 ....................................... 44
Найдите SCD и сведения о жизненном пути данных в базе данных
AdventureWorksDW2012 .............................................................................................. 44
Глава 2. Реализация хранилища данных ................................................................. 45
ЗАНЯТИЕ 1. Реализация измерений и таблиц фактов ............................................................... 46
Создание базы данных хранилища ....................................................................................... 46
Реализация измерений ........................................................................................................... 49
Реализация таблиц фактов .................................................................................................... 51
ПРАКТИКУМ. Реализация таблиц измерений и фактов .................................................... 52
Задание 1. Создание базы данных хранилища данных и последовательности........ 52
Задание 2. Создание измерений ................................................................................... 53
Задание 3. Создание таблицы фактов.......................................................................... 57
Резюме занятия ...................................................................................................................... 58
Закрепление материала.......................................................................................................... 59
ЗАНЯТИЕ 2. Управление производительностью хранилища данных ...................................... 60
Индексирование измерений и таблиц фактов ..................................................................... 60
Индексированные представления ......................................................................................... 63
Правильные приемы написания запроса.............................................................................. 65
Сжатие данных ....................................................................................................................... 66
Индексы columnstore и пакетная обработка ........................................................................ 67
ПРАКТИКУМ. Загрузка данных, применение сжатия данных и индексы columnstore ...... 70
Задание 1. Загрузка вашего хранилища данных ......................................................... 70
Задание 2. Применение сжатия данных и создание индекса columnstore ................ 74
Оглавление VII
Резюме занятия ...................................................................................................................... 75
Закрепление материала.......................................................................................................... 75
ЗАНЯТИЕ 3. Загрузка и аудит загрузок ...................................................................................... 76
Применение секций ............................................................................................................... 76
Жизненный путь данных ....................................................................................................... 79
ПРАКТИКУМ. Секционирование таблицы ......................................................................... 80
Задание 1. Подготовка таблицы фактов к секционированию ................................... 80
Задание 2. Загрузка данных с минимальным протоколированием
в секционированную таблицу ...................................................................................... 82
Резюме занятия ...................................................................................................................... 84
Закрепление материала.......................................................................................................... 84
УПРАЖНЕНИЯ ............................................................................................................................. 85
Упражнение 1. Медленные отчеты хранилища данных ..................................................... 85
Упражнение 2. Проблемы администрирования хранилища данных ................................. 85
Рекомендуемые упражнения ................................................................................................. 86
Протестируйте разные методы индексирования ........................................................ 86
Протестируйте секционирование таблицы ................................................................. 86
ЧАСТЬ II. РАЗРАБОТКА ПАКЕТОВ SSIS .............................................................. 87
Глава 3. Создание пакетов SSIS ................................................................................. 89
ЗАНЯТИЕ 1. Применение SQL Server Import and Export Wizard .............................................. 91
Планирование простого перемещения данных ................................................................... 91
ПРАКТИКУМ. Простое перемещение данных ................................................................... 92
Задание 1. Извлечение данных из представления и загрузка их в таблицу ............. 93
Задание 2. Просмотр файлов пакета SSIS................................................................. 100
Резюме занятия .................................................................................................................... 100
Закрепление материала........................................................................................................ 101
ЗАНЯТИЕ 2. Разработка пакетов SSIS в SSDT ......................................................................... 102
Введение в SSDT ................................................................................................................. 103
ПРАКТИКУМ. Начало работы в SSDT ............................................................................. 104
Задание 1. Создание нового проекта SSIS ................................................................ 104
Задание 2. Изучение проектирования потока управления SSIS .............................. 106
Резюме занятия .................................................................................................................... 108
Закрепление материала........................................................................................................ 108
ЗАНЯТИЕ 3. Знакомство с потоком управления, потоком данных и диспетчерами
соединений ................................................................................................................................... 109
Введение в разработку SSIS ................................................................................................ 110
Знакомство с развертыванием проекта SSIS ..................................................................... 111
ПРАКТИКУМ. Изменение имеющегося перемещения данных ...................................... 112
Задание 1. Вставка имеющегося пакета SSIS в проект SSIS ................................... 113
Задание 2. Редактирование пакета SSIS, созданного мастером SQL Server
Import and Export Wizard ............................................................................................ 114
Задание 3. Настройка соединений и запуск пакета SSIS в режиме отладки .......... 120
Резюме занятия .................................................................................................................... 123
Закрепление материала........................................................................................................ 123
УПРАЖНЕНИЯ ........................................................................................................................... 124
Упражнение 1. Копирование производственных данных в среду разработки ............... 124
Упражнение 2. Параметризация диспетчеров соединений .............................................. 125
VIII Оглавление
Рекомендуемые упражнения ............................................................................................... 125
Применяйте правильные средства ............................................................................. 125
Выявление и учет отличий между рабочей средой и средой разработки .............. 125
Глава 4. Проектирование и реализация потока управления ............................. 127
ЗАНЯТИЕ 1. Диспетчеры соединений....................................................................................... 129
Область видимости диспетчеров соединений ................................................................... 132
32- и 64-разрядные поставщики данных ............................................................................ 133
Параметризация ................................................................................................................... 133
ПРАКТИКУМ. Создание диспетчера соединений ............................................................ 134
Задание 1. Создание и настройка диспетчера соединений Flat File ....................... 134
Задание 2. Создание и настройка диспетчера соединений OLE DB....................... 136
Резюме занятия .................................................................................................................... 140
Закрепление материала........................................................................................................ 140
ЗАНЯТИЕ 2. Задачи потока управления и контейнеры ........................................................... 141
Планирование сложного перемещения данных ................................................................ 141
Задачи ................................................................................................................................... 143
Задачи подготовки данных......................................................................................... 144
Задачи рабочего процесса .......................................................................................... 144
Задачи перемещения данных ..................................................................................... 146
Задачи администрирования SQL Server .................................................................... 147
Задачи обслуживания SQL Server .............................................................................. 148
Задачи служб Analysis Services .................................................................................. 149
Задача Script Task ........................................................................................................ 150
Пользовательские задачи ........................................................................................... 151
Контейнеры .......................................................................................................................... 151
ПРАКТИКУМ. Определение потока управления ............................................................. 153
Задание 1. Применение пакета SSIS для обработки файлов ................................... 153
Задание 2. Динамическое присваивание значений свойствам ................................ 156
Задание 3. Подготовка и проверка выполнения пакета SSIS .................................. 158
Резюме занятия .................................................................................................................... 159
Закрепление материала........................................................................................................ 159
ЗАНЯТИЕ 3. Элементы управления очередностью .................................................................. 161
ПРАКТИКУМ. Определение элементов управления очередностью............................... 163
Задание 1. Применение элементов управления очередностью ............................... 163
Задание 2. Перенаправление выполнения задач с помощью элементов
управления очередностью со значением failure ....................................................... 164
Резюме занятия .................................................................................................................... 166
Закрепление материала........................................................................................................ 166
УПРАЖНЕНИЯ ........................................................................................................................... 167
Упражнение 1. Разработка процесса очистки ................................................................... 167
Упражнение 2. Интеграция внешних процессов ............................................................... 168
Рекомендуемые упражнения ............................................................................................... 168
Полное решение управления данными ..................................................................... 168
Глава 5. Проектирование и реализация потока данных ..................................... 170
ЗАНЯТИЕ 1. Определение источников данных и мест назначения ........................................ 170
Создание задачи потока данных ......................................................................................... 171
Оглавление IX
Определение адаптеров источников потока данных ........................................................ 173
Добавление адаптера источника потока данных с помощью Source Assistant ...... 174
Настройка адаптера источника потока данных ........................................................ 175
Определение адаптеров назначения потока данных ......................................................... 176
Настройка адаптера назначения потока данных ...................................................... 178
Типы данных служб SSIS .................................................................................................... 180
Использование быстрого синтаксического анализа ......................................................... 182
ПРАКТИКУМ. Создание простых потоков данных ......................................................... 183
Задание 1. Создание потока данных для размещения таблицы Person.Person ...... 183
Задание 2. Применение адаптера источника ODBC
для размещения таблицы Sales.Customer .................................................................. 185
Задание 3. Импорт данных из неструктурированных файлов ................................. 187
Резюме занятия .................................................................................................................... 191
Закрепление материала........................................................................................................ 191
ЗАНЯТИЕ 2. Работа с преобразованиями потока данных ....................................................... 192
Выбор преобразований ........................................................................................................ 192
Преобразования уровня строки ................................................................................. 193
Преобразования с несколькими входами и выходами ............................................. 194
Преобразования набора строк ................................................................................... 196
Дополнительные преобразования для подготовки данных ..................................... 198
Применение преобразований .............................................................................................. 199
Разрешение ссылок на столбцы ................................................................................. 201
ПРАКТИКУМ. Применение преобразования потока данных ......................................... 202
Задание 1. Подготовка таблицы измерений dbo.Customers к загрузке
в хранилище данных ................................................................................................... 202
Задание 2. Загрузка таблицы измерений dbo.Customers в хранилище данных ...... 205
Резюме занятия .................................................................................................................... 209
Закрепление материала........................................................................................................ 209
ЗАНЯТИЕ 3. Выбор подходящих стратегии ETL и инструментов ......................................... 210
Стратегия ETL ...................................................................................................................... 211
Архитектура ETL ........................................................................................................ 211
Преобразование Lookup ...................................................................................................... 212
Применение преобразования Lookup ........................................................................ 212
Применение преобразования Cache Transform с преобразованием Lookup .......... 216
Сортировка данных.............................................................................................................. 218
Обновления на основе наборов .......................................................................................... 219
ПРАКТИКУМ. Усовершенствование преобразований потока данных .......................... 220
Задание 1. Соединение и сортировка таблиц в промежуточной области .............. 221
Задание 2. Создание эффективных уточняющих запросов ..................................... 222
Задание 3. Обновление таблицы измерений Customer ............................................ 223
Резюме занятия .................................................................................................................... 225
Закрепление материала........................................................................................................ 225
УПРАЖНЕНИЯ ........................................................................................................................... 226
Упражнение. Система с новым источником...................................................................... 226
Рекомендуемые упражнения ............................................................................................... 227
Создайте и загрузите дополнительные таблицы ...................................................... 227
X Оглавление
ЧАСТЬ III. УСОВЕРШЕНСТВОВАНИЕ ПАКЕТОВ SSIS ................................ 229
Глава 6. Усовершенствование потока управления .............................................. 231
ЗАНЯТИЕ 1. Переменные SSIS .................................................................................................. 233
Системные и пользовательские переменные ..................................................................... 234
Типы данных переменных .................................................................................................. 236
Область действия переменных ........................................................................................... 240
Параметризация свойств ..................................................................................................... 242
ПРАКТИКУМ. Создание пользовательской переменной и параметризация задачи ..... 243
Задание 1. Подготовка среды ..................................................................................... 243
Задание 2. Создание пользовательских переменных ............................................... 243
Задание 3. Параметризация задач потока управления с помощью переменных ...... 244
Резюме занятия .................................................................................................................... 244
Закрепление материала........................................................................................................ 244
ЗАНЯТИЕ 2. Диспетчеры соединений, задачи и выражения элементов управления
очередностью ............................................................................................................................... 246
Выражения ........................................................................................................................... 247
Выражения свойств ............................................................................................................. 250
Выражения в элементах управления очередностью ......................................................... 251
ПРАКТИКУМ. Использование выражений для параметризации объектов
служб SSIS ............................................................................................................................ 253
Задание 1. Использование выражения для присваивания значения переменной .. 253
Задание 2. Применение выражений для управления поведением потока данных 254
Резюме занятия .................................................................................................................... 256
Закрепление материала........................................................................................................ 256
ЗАНЯТИЕ 3. Применение главного пакета в усовершенствованном потоке управления .... 257
Разделение рабочих нагрузок, целей и задач..................................................................... 260
Согласование рабочей нагрузки и конфигурации ............................................................. 260
Задача Execute Package Task ............................................................................................... 262
Задача Execute SQL Server Agent Job Task ......................................................................... 262
Задача Execute Process Task ................................................................................................ 263
ПРАКТИКУМ. Создание и настройка главного пакета ................................................... 263
Задание 1. Подготовка среды ..................................................................................... 264
Задание 2. Создание главного пакета ........................................................................ 265
Задание 3. Настройка главного пакета ...................................................................... 267
Резюме занятия .................................................................................................................... 268
Закрепление материала........................................................................................................ 269
УПРАЖНЕНИЯ ........................................................................................................................... 269
Упражнение 1. Полные решения ........................................................................................ 269
Упражнение 2. Выполнение, управляемое данными ........................................................ 270
Рекомендуемые упражнения ............................................................................................... 271
Проанализируйте варианты применения главного пакета ...................................... 271
Глава 7. Усовершенствование потока данных ...................................................... 272
ЗАНЯТИЕ 1. Медленно изменяющиеся измерения .................................................................. 273
Определение типов атрибутов ............................................................................................ 273
Выводимые элементы измерения ....................................................................................... 274
Применение задачи Slowly Changing Dimension ............................................................... 274
Эффективно обновляющиеся измерения ........................................................................... 279
Оглавление XI
Проверка изменений атрибутов .......................................................................................... 280
Алгоритм обновления на основе наборов данных ............................................................ 281
ПРАКТИКУМ. Реализация алгоритма обработки медленно изменяющегося
измерения ............................................................................................................................. 283
Задание 1. Загрузка измерения Customer с помощью преобразования Slowly
Changing Dimension..................................................................................................... 283
Задание 2. Модификация пакета для вставки процесса обновления
на основе наборов данных ......................................................................................... 285
Резюме занятия .................................................................................................................... 287
Закрепление материала........................................................................................................ 287
ЗАНЯТИЕ 2. Подготовка пакета к добавочной загрузке ......................................................... 288
Применение динамического SQL для чтения данных ...................................................... 289
Использование адаптера источника OLE DB ........................................................... 289
Использование адаптеров источника ODBC или ADO.NET ................................... 291
Реализация CDC с помощью служб SSIS .......................................................................... 293
Включение CDC в базе данных ................................................................................. 293
Компоненты CDC в службах SSIS............................................................................. 294
Стратегия ETL для поэтапной загрузки таблиц фактов ................................................... 297
ПРАКТИКУМ. Реализация механизма отслеживания измененных данных (CDC)
средствами SSIS ................................................................................................................... 297
Задание 1. Создание пакета начальной загрузки ...................................................... 298
Задание 2. Создание пакета добавочной загрузки ................................................... 301
Резюме занятия .................................................................................................................... 305
Закрепление материала........................................................................................................ 306
ЗАНЯТИЕ 3. Поток ошибок ....................................................................................................... 306
Применение потоков ошибок ............................................................................................. 307
ПРАКТИКУМ. Использование потока ошибок ................................................................ 309
Задание. Добавление путей потока ошибок ............................................................. 309
Резюме занятия .................................................................................................................... 311
Закрепление материала........................................................................................................ 311
УПРАЖНЕНИЯ ........................................................................................................................... 312
Упражнение. Загрузка больших таблиц измерений и фактов .......................................... 312
Рекомендуемые упражнения ............................................................................................... 312
Загрузка добавочных измерений ............................................................................... 312
Глава 8. Создание надежного перезапускаемого пакета ..................................... 313
ЗАНЯТИЕ 1. Транзакции пакета ................................................................................................ 314
Определение параметров транзакции пакета и задачи ..................................................... 314
Уровни изоляции транзакции ............................................................................................. 317
Транзакции, обрабатываемые вручную ............................................................................. 318
ПРАКТИКУМ. Реализация транзакций ............................................................................. 319
Задание. Включение поддержки транзакций и наблюдение за откатом
транзакции ................................................................................................................... 319
Резюме занятия .................................................................................................................... 321
Закрепление материала........................................................................................................ 321
ЗАНЯТИЕ 2. Контрольные точки .............................................................................................. 322
Создание контрольных точек для перезапуска пакета ..................................................... 322
ПРАКТИКУМ. Установка и просмотр контрольных точек в пакете .............................. 325
Задание. Просмотр контрольных точек .................................................................... 325
XII Оглавление
Резюме занятия .................................................................................................................... 326
Закрепление материала........................................................................................................ 327
ЗАНЯТИЕ 3. Обработчики событий .......................................................................................... 327
Применение обработчиков событий .................................................................................. 328
ПРАКТИКУМ. Создание обработчиков событий ............................................................. 330
Задание. Применение обработчиков событий .......................................................... 330
Резюме занятия .................................................................................................................... 332
Закрепление материала........................................................................................................ 332
УПРАЖНЕНИЯ ........................................................................................................................... 333
Упражнение. Аудит и уведомления в пакетах служб SSIS .............................................. 333
Рекомендуемые упражнения ............................................................................................... 333
Применение транзакций и обработчиков событий .................................................. 334
Глава 9. Создание динамических пакетов ............................................................. 335
ЗАНЯТИЕ 1. Параметры и диспетчеры соединений уровней пакета и проекта .................... 336
Применение диспетчеров соединений уровня проекта .................................................... 336
Параметры ............................................................................................................................ 337
Использование параметров ........................................................................................ 338
Определение параметров ........................................................................................... 338
Конфигурации построения в службах SQL Server 2012 Integration Services .................. 340
Создание конфигураций построения......................................................................... 341
Применение конфигураций построения ................................................................... 342
Выражения свойств ............................................................................................................. 343
ПРАКТИКУМ. Применение параметров ........................................................................... 345
Задание 1. Задание параметра для строки соединения ............................................ 345
Задание 2. Использование параметра в задаче потока данных ............................... 346
Задание 3. Использование конфигураций построения ............................................ 347
Резюме занятия .................................................................................................................... 349
Закрепление материала........................................................................................................ 349
ЗАНЯТИЕ 2. Конфигурации пакета ........................................................................................... 350
Работа с конфигурациями пакета ....................................................................................... 350
Создание конфигурации ............................................................................................. 351
Создание XML-файла конфигурации ........................................................................ 353
Создание конфигурации SQL Server ......................................................................... 354
Вставка свойств в вашу конфигурацию .................................................................... 355
Совместное использование, упорядочивание и редактирование конфигураций ...... 356
ПРАКТИКУМ. Использование конфигураций пакета ..................................................... 357
Задание. Создание XML-файла конфигурации ........................................................ 357
Резюме занятия .................................................................................................................... 359
Закрепление материала........................................................................................................ 359
УПРАЖНЕНИЯ ........................................................................................................................... 359
Упражнение. Превращение пакетов SSIS в динамические .............................................. 360
Рекомендуемые упражнения ............................................................................................... 360
Использование параметра в добавочной загрузке таблицы фактов ....................... 360
Глава 10. Аудит и ведение журналов ...................................................................... 361
ЗАНЯТИЕ 1. Ведение журналов пакетов .................................................................................. 363
Регистраторы или поставщики журналов .......................................................................... 363
Выбор регистратора ................................................................................................... 364
Оглавление XIII
Настройка ведения журналов.............................................................................................. 366
Наследование настроек журнала ............................................................................... 368
Шаблоны настроек журналов .................................................................................... 368
ПРАКТИКУМ. Настройка ведения журналов SSIS .......................................................... 369
Задание 1. Подготовка среды ..................................................................................... 369
Задание 2. Настройка контейнера SSIS для ведения журнала событий ................. 369
Задание 3. Создание шаблона настроек журнала ..................................................... 372
Резюме занятия .................................................................................................................... 374
Закрепление материала........................................................................................................ 374
ЗАНЯТИЕ 2. Выполнение аудита и фиксация жизненного пути данных ............................... 375
Методы аудита ..................................................................................................................... 376
Компонент преобразований потока данных Row Count .......................................... 380
Компонент преобразований потока данных Aggregate ............................................ 380
Компонент преобразований потока данных Audit ................................................... 381
Корреляция данных аудита и журналов SSIS .................................................................... 381
Сохранение .................................................................................................................. 382
ПРАКТИКУМ. Реализация базового аудита ..................................................................... 383
Задание 1. Подготовка среды ..................................................................................... 383
Задание 2. Реализация аудита уровня строки
с помощью преобразования Audit ............................................................................. 383
Резюме занятия .................................................................................................................... 385
Закрепление материала........................................................................................................ 386
ЗАНЯТИЕ 3. Подготовка шаблонов пакета .............................................................................. 386
Шаблоны пакетов SSIS ........................................................................................................ 387
Создание шаблона пакета SSIS .................................................................................. 388
Применение шаблона пакета SSIS ............................................................................ 388
ПРАКТИКУМ. Создание и использование шаблона пакета SSIS ................................... 389
Задание 1. Создание шаблона пакета SSIS ............................................................... 389
Задание 2. Создание нового пакета SSIS с помощью шаблона пакета SSIS ......... 390
Резюме занятия .................................................................................................................... 391
Закрепление материала........................................................................................................ 391
УПРАЖНЕНИЯ ........................................................................................................................... 391
Упражнение 1. Реализация ведения журналов SSIS на нескольких уровнях иерархии
объектов служб SSIS............................................................................................................ 392
Упражнение 2. Реализация аудита SSIS на разных уровнях иерархии объектов
служб SSIS ............................................................................................................................ 392
Рекомендуемые упражнения ............................................................................................... 392
Вставка аудита в операцию обновления имеющейся задачи Execute SQL Task .... 393
Создание шаблона пакета SSIS в вашей собственной среде ................................... 393
ЧАСТЬ IV. УПРАВЛЕНИЕ И ОБСЛУЖИВАНИЕ ПАКЕТОВ SSIS ............... 395
Глава 11. Установка служб SSIS и развертывание пакетов ............................... 397
ЗАНЯТИЕ 1. Установка компонентов служб SSIS ................................................................... 399
Подготовка установки SSIS ................................................................................................ 400
Разработка или эксплуатация ..................................................................................... 400
Аппаратные и программные требования .................................................................. 401
Рекомендации по безопасности ................................................................................. 401
Сравнение 64- и 32-разрядных сред .......................................................................... 403
XIV Оглавление
Установка SSIS .................................................................................................................... 404
Обновление служб SSIS ............................................................................................. 405
Средства служб SSIS .................................................................................................. 406
ПРАКТИКУМ. Установка служб SSIS .............................................................................. 408
Задание 1. Установка служб SSIS на имеющийся экземпляр SQL Server.............. 408
Задание 2. Проверка установки служб SSIS ............................................................. 411
Резюме занятия .................................................................................................................... 412
Закрепление материала........................................................................................................ 413
ЗАНЯТИЕ 2. Развертывание пакетов SSIS ................................................................................ 413
Каталог SSISDB ................................................................................................................... 414
Настройка SSISDB ...................................................................................................... 415
Объекты SSISDB .................................................................................................................. 416
Папки ........................................................................................................................... 416
Проекты и пакеты ....................................................................................................... 417
Параметры ................................................................................................................... 417
Серверные среды, серверные переменные и ссылки на серверную среду ............ 417
Операции ..................................................................................................................... 418
Развертывание проекта ........................................................................................................ 418
ПРАКТИКУМ. Развертывание проектов SSIS .................................................................. 420
Задание 1. Создание и настройка SSISDB ................................................................ 420
Задание 2. Подготовка среды ..................................................................................... 422
Задание 3. Развертывание проекта SSIS в среде SSDT с помощью Deployment
Wizard .......................................................................................................................... 422
Задание 4. Развертывание проекта SSIS с использованием SQL Server
Management Studio ...................................................................................................... 424
Задание 5. Просмотр метаданных пакета SSIS в каталоге SSISDB ........................ 425
Резюме занятия .................................................................................................................... 425
Закрепление материала........................................................................................................ 426
УПРАЖНЕНИЯ ........................................................................................................................... 426
Упражнение 1. Применение строго структурированных развертываний ....................... 427
Упражнение 2. Установка сервера SSIS ............................................................................ 427
Рекомендуемые упражнения ............................................................................................... 427
Обновление имеющихся решений SSIS .................................................................... 427
Глава 12. Выполнение и безопасность пакетов ..................................................... 428
ЗАНЯТИЕ 1. Выполнение пакетов SSIS .................................................................................... 429
Выполнение SSIS по требованию ....................................................................................... 430
Среда SQL Server Management Studio ....................................................................... 430
DTExecUI ..................................................................................................................... 430
Transact-SQL, Windows PowerShell, SSIS Managed API и DTExec ......................... 431
Автоматическое выполнение SSIS ..................................................................................... 435
SQL Server Agent ......................................................................................................... 435
Мониторинг выполнения SSIS ........................................................................................... 438
Операции ..................................................................................................................... 438
Проверки...................................................................................................................... 439
Выполнения ................................................................................................................. 440
Ведение журналов ....................................................................................................... 441
Мониторинг SSIS в SQL Server Management Studio ................................................ 442
Оглавление XV
ПРАКТИКУМ. Запуск и мониторинг процессов SSIS ..................................................... 443
Задание 1. Проверка проектов и пакетов SSIS с помощью SSMS .......................... 444
Задание 2. Выполнение и мониторинг пакета SSIS в среде SSMS ......................... 446
Задание 3. Выполнение пакета SSIS с помощью DTExec ....................................... 447
Задание 4. Выполнение пакета SSIS с использованием Windows PowerShell ....... 448
Задание 5. Создание, настройка расписания и выполнение пакета SSIS
с помощью SQL Server Agent .................................................................................... 448
Резюме занятия .................................................................................................................... 452
Закрепление материала........................................................................................................ 453
ЗАНЯТИЕ 2. Безопасность пакетов SSIS .................................................................................. 453
Безопасность SSISDB .......................................................................................................... 454
Участники .................................................................................................................... 455
Защищаемые объекты ................................................................................................ 455
Разрешения .................................................................................................................. 455
ПРАКТИКУМ. Управление разрешениями SSISDB ........................................................ 457
Задание 1. Создание пользователей SSISDB ............................................................ 458
Задание 2. Создание и защита сред SSISDB ............................................................. 458
Задание 3. Настройка проекта SSISDB ..................................................................... 460
Задание 4. Управление разрешениями проекта SSIS и их проверка ...................... 462
Резюме занятия .................................................................................................................... 463
Закрепление материала........................................................................................................ 463
УПРАЖНЕНИЯ ........................................................................................................................... 464
Упражнение 1. Развертывание пакетов SSIS в нескольких средах ................................. 464
Упражнение 2. Удаленные выполнения............................................................................. 464
Рекомендуемые упражнения ............................................................................................... 465
Расширение возможности многократного использования решения SSIS ............. 465
Глава 13. Устранение неисправностей и настройка производительности ...... 466
ЗАНЯТИЕ 1. Обнаружение и устранение проблем при выполнении пакетов ....................... 467
Устранение неполадок времени разработки ...................................................................... 467
Отладка потока управления с помощью точек останова ......................................... 469
Применение средств просмотра данных в потоке данных ...................................... 471
Применение других методов для отладки ................................................................ 473
Устранение неисправностей в процессе эксплуатации .................................................... 474
Устранение неисправностей с помощью каталога SSISDB .................................... 474
Использование отводов данных ................................................................................ 476
ПРАКТИКУМ. Устранение неисправностей пакетов ...................................................... 477
Задание 1. Исправление ошибки усечения ............................................................... 477
Задание 2. Вставка отвода данных ............................................................................ 478
Резюме занятия .................................................................................................................... 479
Закрепление материала........................................................................................................ 480
ЗАНЯТИЕ 2. Настройка производительности .......................................................................... 480
Подсистема обработки потока данных SSIS ..................................................................... 481
Структура буфера данных .......................................................................................... 481
Типы преобразований ................................................................................................. 481
Деревья выполнения ................................................................................................... 482
Механизм замедленной обратной реакции ............................................................... 483
Варианты настройки потока данных .................................................................................. 483
Оптимизация буфера .................................................................................................. 484
Рекомендации по повышению производительности потока данных ..................... 485
XVI Оглавление
Параллельное выполнение в службах SSIS ....................................................................... 486
Устранение неисправностей и контрольное тестирование производительности ........... 487
Применение каталога SSISDB для контрольного тестирования
производительности пакета ....................................................................................... 487
Мониторинг производительности SSIS с помощью счетчиков
производительности ................................................................................................... 489
ПРАКТИКУМ. Отслеживание выполнения пакета .......................................................... 489
Задание 1. Отображение дерева выполнения ........................................................... 490
Задание 2. Отслеживание выполнения пакета .......................................................... 490
Резюме занятия .................................................................................................................... 492
Закрепление материала........................................................................................................ 492
УПРАЖНЕНИЯ ........................................................................................................................... 492
Упражнение. Настройка пакета SSIS ................................................................................. 493
Рекомендуемые упражнения ............................................................................................... 493
Изучите, как следует представления каталога SSISDB ........................................... 493
ЧАСТЬ V. ПОСТРОЕНИЕ РЕШЕНИЙ DATA QUALITY .................................. 495
Глава 14. Установка и поддержка Data Quality Services ..................................... 497
ЗАНЯТИЕ 1. Проблемы качества данных и роли ..................................................................... 498
Показатели качества данных ............................................................................................... 499
Полнота ........................................................................................................................ 499
Корректность ............................................................................................................... 500
Информативность ....................................................................................................... 501
Непротиворечивость ................................................................................................... 501
Косвенные показатели ................................................................................................ 501
Показатели качества схемы данных .......................................................................... 502
Действия по обеспечению качества данных и роли .......................................................... 503
ПРАКТИКУМ. Поиск проблем качества данных ............................................................. 507
Задание 1. Поиск проблем качества данных в AdventureWorksDW2012 ............... 507
Задание 2. Обзор потенциальных проблем качества данных в рабочей системе ..... 508
Резюме занятия .................................................................................................................... 508
Закрепление материала........................................................................................................ 508
ЗАНЯТИЕ 2. Установка служб Data Quality Services ............................................................... 509
Структура служб DQS ......................................................................................................... 509
Установка DQS ........................................................................................................... 511
ПРАКТИКУМ. Установка служб Data Quality Services .................................................... 513
Задание 1. Запуск SQL Server Setup .......................................................................... 513
Задание 2. Выполнение послеустановочных задач DQS ......................................... 515
Резюме занятия .................................................................................................................... 517
Закрепление материала........................................................................................................ 517
ЗАНЯТИЕ 3. Поддержка и безопасность Data Quality Services ............................................... 518
Выполнение административных операций с помощью Data Quality Client .................... 518
Выполнение административных операций с помощью других средств ......................... 523
ПРАКТИКУМ. Мониторинг операций DQS ..................................................................... 524
Задание 1. Создание вашего первого проекта DQS ................................................. 524
Задание 2. Мониторинг операций DQS .................................................................... 527
Резюме занятия .................................................................................................................... 528
Закрепление материала........................................................................................................ 528
Оглавление XVII
УПРАЖНЕНИЯ ........................................................................................................................... 529
Упражнение. Неиспользуемое хранилище данных ........................................................... 529
Упражнения для самостоятельной работы ........................................................................ 529
Анализ базы данных AdventureWorksDW2012 ........................................................ 529
Знакомство со средствами профилирования данных .............................................. 530
Глава 15. Реализация Master Data Services ............................................................ 531
ЗАНЯТИЕ 1. Определение основных данных ........................................................................... 531
Что такое основные данные? .............................................................................................. 532
Управление основными данными....................................................................................... 535
Трудности MDM .................................................................................................................. 539
ПРАКТИКУМ. Определение основных данных ............................................................... 540
Задание 1. Определение основных данных в базе данных
AdventureWorksDW2012 ............................................................................................ 540
Задание 2. Определение основных данных в пользовательской
рабочей системе .......................................................................................................... 541
Резюме занятия .................................................................................................................... 541
Закрепление материала........................................................................................................ 541
ЗАНЯТИЕ 2. Установка Master Data Services ........................................................................... 542
Структура служб Master Data Services ............................................................................... 542
Установка MDS .................................................................................................................... 544
ПРАКТИКУМ. Установка служб Data Quality Services .................................................... 546
Задание 1. Выполнение предустановочных задач .................................................... 546
Задание 2. Выполнение операций установки MDS .................................................. 548
Задание 3. Выполнение послеустановочных задач MDS ........................................ 549
Резюме занятия .................................................................................................................... 554
Закрепление материала........................................................................................................ 554
ЗАНЯТИЕ 3. Создание модели Master Data Services ................................................................ 555
Модели MDS и объекты в моделях .................................................................................... 555
Объекты MDS....................................................................................................................... 556
ПРАКТИКУМ. Создание модели MDS ............................................................................. 560
Задание 1. Создание модели и базовых объектов .................................................... 560
Задание 2. Заполнение сущностей ............................................................................. 564
Резюме занятия .................................................................................................................... 566
Закрепление материала........................................................................................................ 567
УПРАЖНЕНИЯ ........................................................................................................................... 568
Упражнение 1. Ввод в действие решения MDM ............................................................... 568
Упражнение 2. Расширение пилотного проекта ............................................................... 568
Результаты опроса ...................................................................................................... 568
Вопросы ....................................................................................................................... 569
Рекомендуемые упражнения ............................................................................................... 569
Анализ базы данных AdventureWorksDW2012 ........................................................ 569
Расширение модели MDS .......................................................................................... 569
Глава 16. Управление основными данными ......................................................... 570
ЗАНЯТИЕ 1. Импорт и экспорт основных данных .................................................................. 571
Создание и развертывание пакетов MDS .......................................................................... 571
Импорт пакетов данных ...................................................................................................... 572
Экспорт данных ................................................................................................................... 574
XVIII Оглавление
ПРАКТИКУМ. Импорт и экспорт основных данных ....................................................... 575
Задание 1. Создание пакета развертывания модели и развертывание пакета ....... 575
Задание 2. Импорт данных и создание представлений подписки ........................... 577
Резюме занятия .................................................................................................................... 580
Закрепление материала........................................................................................................ 580
ЗАНЯТИЕ 2. Установка системы безопасности основных данных ........................................ 581
Пользователи и разрешения ................................................................................................ 581
Перекрывающиеся разрешения .......................................................................................... 584
ПРАКТИКУМ. Установка системы безопасности MDS .................................................. 585
Задание 1. Назначение разрешений ........................................................................... 585
Задание 2. Тестирование разрешений ....................................................................... 588
Резюме занятия .................................................................................................................... 589
Закрепление материала........................................................................................................ 589
ЗАНЯТИЕ 3. Использование надстройки Master Data Services для Excel .............................. 590
Редактирование данных MDS в Excel ................................................................................ 590
Создание объектов MDS в Excel ........................................................................................ 592
ПРАКТИКУМ. Применение надстройки MDS для Excel ................................................ 594
Задание 1. Загрузка данных MDS в программу Excel .............................................. 594
Задание 2. Изменение данных MDS в программе Excel .......................................... 595
Резюме занятия .................................................................................................................... 597
Закрепление материала........................................................................................................ 597
УПРАЖНЕНИЯ ........................................................................................................................... 598
Упражнение. Редактирование пакетов данных MDS ........................................................ 598
Рекомендуемые упражнения ............................................................................................... 598
Анализ промежуточных таблиц ................................................................................. 599
Проверка безопасности .............................................................................................. 599
Глава 17. Создание проекта качества данных для очистки данных ................ 600
ЗАНЯТИЕ 1. Создание и обслуживание базы знаний .............................................................. 600
Построение базы знаний DQS ............................................................................................ 601
Управление доменом ........................................................................................................... 602
ПРАКТИКУМ. Создание базы знаний ............................................................................... 604
Задание 1. Применение обнаружения знаний........................................................... 604
Задание 2. Редактирование доменов ......................................................................... 607
Резюме занятия .................................................................................................................... 609
Закрепление материала........................................................................................................ 609
ЗАНЯТИЕ 2. Создание проекта качества данных ..................................................................... 609
Проекты DQS ....................................................................................................................... 610
Очистка данных ................................................................................................................... 611
ПРАКТИКУМ. Создание проекта DQS ............................................................................. 613
Задание 1. Создание представления для очистки ..................................................... 613
Задание 2. Очистка данных с помощью проекта DQS............................................. 614
Резюме занятия .................................................................................................................... 617
Закрепление материала........................................................................................................ 617
ЗАНЯТИЕ 3. Профилирование данных и повышение качества данных ................................. 618
Применение запросов для профилирования данных ........................................................ 618
Задача SSIS Data Profiling Task .......................................................................................... 621
ПРАКТИКУМ. Применение задачи SSIS Data Profiling Task ......................................... 622
Задание 1. Анализ представления TK463CustomersDirty ........................................ 622
Задание 2. Просмотр результатов профилирования ................................................ 624
Оглавление XIX
Резюме занятия .................................................................................................................... 624
Закрепление материала........................................................................................................ 624
УПРАЖНЕНИЯ ........................................................................................................................... 625
Упражнение. Повышение качества данных ....................................................................... 625
Рекомендуемые упражнения ............................................................................................... 625
Создание дополнительных базы знаний и проекта .................................................. 626
ЧАСТЬ VI. ДОПОЛНИТЕЛЬНЫЕ СВЕДЕНИЯ О SSIS
И DATA QUALITY ...................................................................................................... 627
Глава 18. Службы SSIS и интеллектуальный анализ данных ........................... 629
ЗАНЯТИЕ 1. Задача и преобразование интеллектуального анализа данных ......................... 630
Что такое интеллектуальный анализ данных? ................................................................... 630
Алгоритмы интеллектуального анализа в службах SSAS ................................................ 632
Применение прогнозов интеллектуального анализа данных в службах SSIS ................ 634
ПРАКТИКУМ. Применение прогнозов интеллектуального анализа данных
в службах SSIS ..................................................................................................................... 635
Задание 1. Создание модели на основе дерева принятия решений ........................ 635
Задание 2. Применение модели интеллектуального анализа
в потоке данных SSIS ................................................................................................. 639
Резюме занятия .................................................................................................................... 643
Закрепление материала........................................................................................................ 643
ЗАНЯТИЕ 2. Интеллектуальный анализ текста ........................................................................ 644
Извлечение терминов .......................................................................................................... 644
Уточняющий запрос термина ............................................................................................. 645
ПРАКТИКУМ. Выполнение интеллектуального анализа текста .................................... 647
Задание 1. Применение преобразования Term Extraction ........................................ 647
Задание 2. Использование преобразования Term Lookup ....................................... 648
Резюме занятия .................................................................................................................... 651
Закрепление материала........................................................................................................ 651
ЗАНЯТИЕ 3. Подготовка данных для интеллектуального анализа ......................................... 652
Подготовка данных .............................................................................................................. 652
Выборки SSIS ....................................................................................................................... 654
ПРАКТИКУМ. Формирование случайной выборки ......................................................... 655
Задание 1. Создание обучающего и проверочного наборов ................................... 655
Задание 2. Тестирование разделения ........................................................................ 657
Резюме занятия .................................................................................................................... 658
Закрепление материала........................................................................................................ 658
УПРАЖНЕНИЯ ........................................................................................................................... 659
Упражнение. Подготовка данных для интеллектуального анализа ................................. 659
Рекомендуемые упражнения ............................................................................................... 659
Протестируйте преобразования Row Sampling и Conditional Split ......................... 659
Глава 19. Применение пользовательского кода в пакетах SSIS ........................ 660
ЗАНЯТИЕ 1. Задача Script Task .................................................................................................. 661
Настройка задачи Script Task .............................................................................................. 662
Написание кода для задачи Script Task .............................................................................. 663
ПРАКТИКУМ. Применение Script Task для чтения результатов задачи
профилирования данных ..................................................................................................... 664
Задание 1. Использование задачи Data Profiling ..................................................... 665
XX Оглавление
Задание 2. Применение задачи Script Task для обработки результатов
профилирования данных ............................................................................................ 666
Резюме занятия .................................................................................................................... 668
Закрепление материала........................................................................................................ 668
ЗАНЯТИЕ 2. Компонент Script Component ............................................................................... 669
Настройка компонента Script Component .......................................................................... 669
Кодирование компонента Script Component ...................................................................... 671
ПРАКТИКУМ. Использование результатов профилирования данных
для обработки строк потока данных .................................................................................. 673
Задание 1. Подготовка среды ..................................................................................... 673
Задание 2. Использование компонента Script Component ....................................... 674
Резюме занятия .................................................................................................................... 677
Закрепление материала........................................................................................................ 677
ЗАНЯТИЕ 3. Реализация пользовательских компонентов ....................................................... 677
Планирование пользовательского компонента ................................................................. 678
Разработка пользовательского компонента ....................................................................... 680
Время разработки и время выполнения ............................................................................. 681
Методы времени разработки ..................................................................................... 681
Методы времени выполнения .................................................................................... 683
ПРАКТИКУМ. Разработка, развертывание и применение пользовательского
компонента потока данных ................................................................................................. 687
Задание 1. Подготовка среды ..................................................................................... 687
Задание 2. Разработка пользовательского преобразования потока данных .......... 687
Задание 3. Развертывание пользовательского компонента потока данных ........... 689
Задание 4. Настройка и применение пользовательского компонента потока
данных ......................................................................................................................... 690
Резюме занятия .................................................................................................................... 692
Закрепление материала........................................................................................................ 692
УПРАЖНЕНИЯ ........................................................................................................................... 693
Упражнение. Очистка данных ............................................................................................ 693
Рекомендуемые упражнения ............................................................................................... 693
Создайте источник Web-службы ............................................................................... 693
Глава 20. Сопоставление и устранение дублирования ........................................ 694
ЗАНЯТИЕ 1. Представление о проблеме .................................................................................. 695
Проблемы сопоставления и дедупликации ........................................................................ 695
Решение проблем ................................................................................................................. 697
ПРАКТИКУМ. Подготовка данных ................................................................................... 700
Задание 1. Подготовка чистых данных ..................................................................... 700
Задание 2. Подготовка грязных данных.................................................................... 701
Резюме занятия .................................................................................................................... 704
Закрепление материала........................................................................................................ 704
ЗАНЯТИЕ 2. Применение служб DQS и преобразования DQS Cleansing .............................. 705
Преобразование DQS Cleansing .......................................................................................... 705
Сопоставление DQS ............................................................................................................. 706
ПРАКТИКУМ. Использование преобразования DQS Cleansing
и сопоставления DQS .......................................................................................................... 707
Задание 1. Использование преобразования DQS Cleansing .................................... 708
Задание 2. Использование сопоставления DQS ....................................................... 712
Оглавление XXI
Резюме занятия .................................................................................................................... 715
Закрепление материала........................................................................................................ 715
ЗАНЯТИЕ 3. Использование нечетких преобразований SSIS ................................................. 716
Алгоритм нечетких преобразований .................................................................................. 717
Версии нечетких преобразований ...................................................................................... 718
ПРАКТИКУМ. Использование SSIS-преобразования Fuzzy Lookup
и надстройки MDS для Excel вместе с базой знаний DQS для сопоставления ............... 720
Задание 1. Применение Fuzzy Lookup ....................................................................... 720
Задание 2. Использование надстройки MDS для Excel и сопоставления DQS ..... 724
Резюме занятия .................................................................................................................... 725
Закрепление материала........................................................................................................ 725
УПРАЖНЕНИЯ ........................................................................................................................... 726
Упражнение. Повышение качества данных ....................................................................... 726
Рекомендуемые упражнения ............................................................................................... 726
Дополнительно исследуйте сопоставление .............................................................. 726
ОТВЕТЫ ....................................................................................................................... 729
Глава 1 .......................................................................................................................................... 729
Занятие 1. Закрепление материала ..................................................................................... 729
Занятие 2. Закрепление материала ..................................................................................... 730
Занятие 3. Закрепление материала ..................................................................................... 730
Упражнения .......................................................................................................................... 731
Упражнение 1. Краткосрочный пробный проект ..................................................... 731
Упражнение 2. Расширение краткосрочного пробного проекта ............................ 731
Глава 2 .......................................................................................................................................... 732
Занятие 1. Закрепление материала ..................................................................................... 732
Занятие 2. Закрепление материала ..................................................................................... 732
Занятие 3. Закрепление материала ..................................................................................... 733
Упражнения .......................................................................................................................... 734
Упражнение 1. Медленные отчеты хранилища данных .......................................... 734
Упражнение 2. Проблемы администрирования хранилища данных ...................... 734
Глава 3 .......................................................................................................................................... 735
Занятие 1. Закрепление материала ..................................................................................... 735
Занятие 2. Закрепление материала ..................................................................................... 736
Занятие 3. Закрепление материала ..................................................................................... 736
Упражнения .......................................................................................................................... 737
Упражнение 1. Копирование производственных данных в среду разработки ...... 737
Упражнение 2. Параметризация диспетчеров соединений ..................................... 738
Глава 4 .......................................................................................................................................... 738
Занятие 1. Закрепление материала ..................................................................................... 738
Занятие 2. Закрепление материала ..................................................................................... 739
Занятие 3. Закрепление материала ..................................................................................... 740
Упражнения .......................................................................................................................... 741
Упражнение 1. Разработка процесса очистки .......................................................... 741
Упражнение 2. Интеграция внешних процессов ...................................................... 741
Глава 5 .......................................................................................................................................... 742
Занятие 1. Закрепление материала ..................................................................................... 742
Занятие 2. Закрепление материала ..................................................................................... 743
Занятие 3. Закрепление материала ..................................................................................... 743
Упражнение .......................................................................................................................... 744
XXII Оглавление
Глава 6 .......................................................................................................................................... 745
Занятие 1. Закрепление материала ..................................................................................... 745
Занятие 2. Закрепление материала ..................................................................................... 746
Занятие 3. Закрепление материала ..................................................................................... 747
Упражнения .......................................................................................................................... 747
Упражнение 1 .............................................................................................................. 747
Упражнение 2 .............................................................................................................. 748
Глава 7 .......................................................................................................................................... 749
Занятие 1. Закрепление материала ..................................................................................... 749
Занятие 2. Закрепление материала ..................................................................................... 749
Занятие 3. Закрепление материала ..................................................................................... 750
Упражнение .......................................................................................................................... 751
Глава 8 .......................................................................................................................................... 751
Занятие 1. Закрепление материала ..................................................................................... 751
Занятие 2. Закрепление материала ..................................................................................... 752
Занятие 3. Закрепление материала ..................................................................................... 753
Упражнение. Аудит и уведомления в пакетах служб SSIS .............................................. 753
Глава 9 .......................................................................................................................................... 754
Занятие 1. Закрепление материала ..................................................................................... 754
Занятие 2. Закрепление материала ..................................................................................... 755
Упражнение. Превращение пакетов SSIS в динамические .............................................. 756
Глава 10 ........................................................................................................................................ 756
Занятие 1. Закрепление материала ..................................................................................... 756
Занятие 2. Закрепление материала ..................................................................................... 757
Занятие 3. Закрепление материала ..................................................................................... 758
Упражнения .......................................................................................................................... 759
Упражнение 1. Реализация ведения журналов SSIS на нескольких уровнях
иерархии объектов служб SSIS .................................................................................. 759
Упражнение 2. Реализация аудита SSIS на разных уровнях иерархии
объектов служб SSIS .................................................................................................. 759
Глава 11 ........................................................................................................................................ 760
Занятие 1. Закрепление материала ..................................................................................... 760
Занятие 2. Закрепление материала ..................................................................................... 761
Упражнения .......................................................................................................................... 762
Упражнение 1. Применение строго структурированных развертываний .............. 762
Упражнение 2. Установка сервера SSIS ................................................................... 762
Глава 12 ........................................................................................................................................ 762
Занятие 1. Закрепление материала ..................................................................................... 762
Занятие 2. Закрепление материала ..................................................................................... 763
Упражнения .......................................................................................................................... 764
Упражнение 1. Развертывание пакетов SSIS в нескольких средах ........................ 764
Упражнение 2. Удаленные выполнения ................................................................... 764
Глава 13 ........................................................................................................................................ 765
Занятие 1. Закрепление материала ..................................................................................... 765
Занятие 2. Закрепление материала ..................................................................................... 766
Упражнение. Настройка пакета SSIS ................................................................................. 766
Глава 14 ........................................................................................................................................ 767
Занятие 1. Закрепление материала ..................................................................................... 767
Оглавление XXIII
Занятие 2. Закрепление материала ..................................................................................... 768
Занятие 3. Закрепление материала ..................................................................................... 768
Упражнение. Неиспользуемое хранилище данных ........................................................... 769
Глава 15 ........................................................................................................................................ 769
Занятие 1. Закрепление материала ..................................................................................... 769
Занятие 2. Закрепление материала ..................................................................................... 770
Занятие 3. Закрепление материала ..................................................................................... 771
Упражнения .......................................................................................................................... 772
Упражнение 1. Ввод в действие решения MDM ...................................................... 772
Упражнение 2. Расширение пилотного проекта ...................................................... 772
Глава 16 ........................................................................................................................................ 772
Занятие 1. Закрепление материала ..................................................................................... 772
Занятие 2. Закрепление материала ..................................................................................... 773
Занятие 3. Закрепление материала ..................................................................................... 774
Упражнение. Редактирование пакетов данных MDS ........................................................ 775
Глава 17 ........................................................................................................................................ 775
Занятие 1. Закрепление материала ..................................................................................... 775
Занятие 2. Закрепление материала ..................................................................................... 776
Занятие 3. Закрепление материала ..................................................................................... 776
Упражнение. Повышение качества данных ....................................................................... 777
Глава 18 ........................................................................................................................................ 777
Занятие 1. Закрепление материала ..................................................................................... 777
Занятие 2. Закрепление материала ..................................................................................... 778
Занятие 3. Закрепление материала ..................................................................................... 779
Упражнение. Подготовка данных для интеллектуального анализа ................................. 780
Глава 19 ........................................................................................................................................ 780
Занятие 1. Закрепление материала ..................................................................................... 780
Занятие 2. Закрепление материала ..................................................................................... 781
Занятие 3. Закрепление материала ..................................................................................... 781
Упражнение. Очистка данных ............................................................................................ 782
Глава 20 ........................................................................................................................................ 783
Занятие 1. Закрепление материала ..................................................................................... 783
Занятие 2. Закрепление материала ..................................................................................... 784
Занятие 3. Закрепление материала ..................................................................................... 784
Упражнение. Повышение качества данных ....................................................................... 785
Предметный указатель .............................................................................................. 786
Об авторах .................................................................................................................... 792
Учебный курс 70-463. Реализация хранилищ данных
с помощью Microsoft SQL Server 2012 ........................................................................ 1
Введение ............................................................................................................................ 3
Системные требования .................................................................................................................... 4
Требования к SQL Server и другому программному обеспечению ..................................... 4
Требования к оборудованию и операционной системе ........................................................ 5
Требования к данным .............................................................................................................. 5
О прилагаемом компакт-диске ....................................................................................................... 5
Установка заданий пробного экзамена .................................................................................. 6
Использование пробного экзамена......................................................................................... 6
Удаление ПО пробного экзамена ........................................................................................... 7
Благодарности .................................................................................................................................. 7
Техническая поддержка и обратная связь ..................................................................................... 7
Ошибки и опечатки .................................................................................................................. 8
Нас интересует ваше мнение .................................................................................................. 8
Оставайтесь на связи ............................................................................................................... 8
Подготовка к экзамену .................................................................................................................... 8
ЧАСТЬ I. РАЗРАБОТКА И РЕАЛИЗАЦИЯ ХРАНИЛИЩА ДАННЫХ .............. 9
Глава 1. Логическое проектирование хранилища данных ................................... 11
ЗАНЯТИЕ 1. Знакомство со схемами "звезда" и "снежинка" .................................................... 12
Проблемы формирования отчетов в нормализованной модели ........................................ 13
Схема "звезда" ........................................................................................................................ 15
Схема "снежинка" .................................................................................................................. 18
Степень гранулярности ......................................................................................................... 20
Аудит, происхождение и преобразования данных .............................................................. 21
ПРАКТИКУМ. Схема интернет-продаж из базы данных AdventureWorksDW2012 ....... 22
Задание 1. Изучение схемы базы данных AdventureWorksDW2012 ........................ 22
Задание 2. Анализ диаграммы ..................................................................................... 23
Резюме занятия ...................................................................................................................... 23
Закрепление материала.......................................................................................................... 24
VI Оглавление
ЗАНЯТИЕ 2. Проектирование измерений ................................................................................... 24
Типы столбцов в измерениях ................................................................................................ 25
Иерархии................................................................................................................................. 26
Медленно меняющиеся измерения....................................................................................... 28
ПРАКТИКУМ. Изучение измерений из базы данных AdventureWorksDW2012 ............. 31
Задание 1. Исследование измерений AdventureWorksDW2012 ................................ 32
Задание 2. Дальнейший анализ диаграммы ................................................................ 33
Резюме занятия ...................................................................................................................... 34
Закрепление материала.......................................................................................................... 34
ЗАНЯТИЕ 3. Разработка таблиц фактов ...................................................................................... 35
Типы столбцов в таблицах фактов ....................................................................................... 35
Аддитивность мер .................................................................................................................. 37
Аддитивность мер в SSAS ..................................................................................................... 38
Отношения "многие-ко-многим" .......................................................................................... 39
ПРАКТИКУМ. Изучение таблиц фактов из базы данных AdventureWorksDW2012 ....... 40
Задание 1. Создание диаграммы для таблицы фактов
из AdventureWorksDW2012.......................................................................................... 41
Задание 2. Анализ столбцов таблицы фактов ............................................................. 41
Резюме занятия ...................................................................................................................... 42
Закрепление материала.......................................................................................................... 42
УПРАЖНЕНИЯ ............................................................................................................................. 43
Упражнение 1. Краткосрочный пробный проект ................................................................ 43
Упражнение 2. Расширение краткосрочного пробного проекта ....................................... 43
Результаты опроса ........................................................................................................ 43
Вопросы ......................................................................................................................... 43
Рекомендуемые упражнения ................................................................................................. 43
Тщательно изучите базу данных AdventureWorksDW2012 ....................................... 44
Найдите SCD и сведения о жизненном пути данных в базе данных
AdventureWorksDW2012 .............................................................................................. 44
Глава 2. Реализация хранилища данных ................................................................. 45
ЗАНЯТИЕ 1. Реализация измерений и таблиц фактов ............................................................... 46
Создание базы данных хранилища ....................................................................................... 46
Реализация измерений ........................................................................................................... 49
Реализация таблиц фактов .................................................................................................... 51
ПРАКТИКУМ. Реализация таблиц измерений и фактов .................................................... 52
Задание 1. Создание базы данных хранилища данных и последовательности........ 52
Задание 2. Создание измерений ................................................................................... 53
Задание 3. Создание таблицы фактов.......................................................................... 57
Резюме занятия ...................................................................................................................... 58
Закрепление материала.......................................................................................................... 59
ЗАНЯТИЕ 2. Управление производительностью хранилища данных ...................................... 60
Индексирование измерений и таблиц фактов ..................................................................... 60
Индексированные представления ......................................................................................... 63
Правильные приемы написания запроса.............................................................................. 65
Сжатие данных ....................................................................................................................... 66
Индексы columnstore и пакетная обработка ........................................................................ 67
ПРАКТИКУМ. Загрузка данных, применение сжатия данных и индексы columnstore ...... 70
Задание 1. Загрузка вашего хранилища данных ......................................................... 70
Задание 2. Применение сжатия данных и создание индекса columnstore ................ 74
Оглавление VII
Резюме занятия ...................................................................................................................... 75
Закрепление материала.......................................................................................................... 75
ЗАНЯТИЕ 3. Загрузка и аудит загрузок ...................................................................................... 76
Применение секций ............................................................................................................... 76
Жизненный путь данных ....................................................................................................... 79
ПРАКТИКУМ. Секционирование таблицы ......................................................................... 80
Задание 1. Подготовка таблицы фактов к секционированию ................................... 80
Задание 2. Загрузка данных с минимальным протоколированием
в секционированную таблицу ...................................................................................... 82
Резюме занятия ...................................................................................................................... 84
Закрепление материала.......................................................................................................... 84
УПРАЖНЕНИЯ ............................................................................................................................. 85
Упражнение 1. Медленные отчеты хранилища данных ..................................................... 85
Упражнение 2. Проблемы администрирования хранилища данных ................................. 85
Рекомендуемые упражнения ................................................................................................. 86
Протестируйте разные методы индексирования ........................................................ 86
Протестируйте секционирование таблицы ................................................................. 86
ЧАСТЬ II. РАЗРАБОТКА ПАКЕТОВ SSIS .............................................................. 87
Глава 3. Создание пакетов SSIS ................................................................................. 89
ЗАНЯТИЕ 1. Применение SQL Server Import and Export Wizard .............................................. 91
Планирование простого перемещения данных ................................................................... 91
ПРАКТИКУМ. Простое перемещение данных ................................................................... 92
Задание 1. Извлечение данных из представления и загрузка их в таблицу ............. 93
Задание 2. Просмотр файлов пакета SSIS................................................................. 100
Резюме занятия .................................................................................................................... 100
Закрепление материала........................................................................................................ 101
ЗАНЯТИЕ 2. Разработка пакетов SSIS в SSDT ......................................................................... 102
Введение в SSDT ................................................................................................................. 103
ПРАКТИКУМ. Начало работы в SSDT ............................................................................. 104
Задание 1. Создание нового проекта SSIS ................................................................ 104
Задание 2. Изучение проектирования потока управления SSIS .............................. 106
Резюме занятия .................................................................................................................... 108
Закрепление материала........................................................................................................ 108
ЗАНЯТИЕ 3. Знакомство с потоком управления, потоком данных и диспетчерами
соединений ................................................................................................................................... 109
Введение в разработку SSIS ................................................................................................ 110
Знакомство с развертыванием проекта SSIS ..................................................................... 111
ПРАКТИКУМ. Изменение имеющегося перемещения данных ...................................... 112
Задание 1. Вставка имеющегося пакета SSIS в проект SSIS ................................... 113
Задание 2. Редактирование пакета SSIS, созданного мастером SQL Server
Import and Export Wizard ............................................................................................ 114
Задание 3. Настройка соединений и запуск пакета SSIS в режиме отладки .......... 120
Резюме занятия .................................................................................................................... 123
Закрепление материала........................................................................................................ 123
УПРАЖНЕНИЯ ........................................................................................................................... 124
Упражнение 1. Копирование производственных данных в среду разработки ............... 124
Упражнение 2. Параметризация диспетчеров соединений .............................................. 125
VIII Оглавление
Рекомендуемые упражнения ............................................................................................... 125
Применяйте правильные средства ............................................................................. 125
Выявление и учет отличий между рабочей средой и средой разработки .............. 125
Глава 4. Проектирование и реализация потока управления ............................. 127
ЗАНЯТИЕ 1. Диспетчеры соединений....................................................................................... 129
Область видимости диспетчеров соединений ................................................................... 132
32- и 64-разрядные поставщики данных ............................................................................ 133
Параметризация ................................................................................................................... 133
ПРАКТИКУМ. Создание диспетчера соединений ............................................................ 134
Задание 1. Создание и настройка диспетчера соединений Flat File ....................... 134
Задание 2. Создание и настройка диспетчера соединений OLE DB....................... 136
Резюме занятия .................................................................................................................... 140
Закрепление материала........................................................................................................ 140
ЗАНЯТИЕ 2. Задачи потока управления и контейнеры ........................................................... 141
Планирование сложного перемещения данных ................................................................ 141
Задачи ................................................................................................................................... 143
Задачи подготовки данных......................................................................................... 144
Задачи рабочего процесса .......................................................................................... 144
Задачи перемещения данных ..................................................................................... 146
Задачи администрирования SQL Server .................................................................... 147
Задачи обслуживания SQL Server .............................................................................. 148
Задачи служб Analysis Services .................................................................................. 149
Задача Script Task ........................................................................................................ 150
Пользовательские задачи ........................................................................................... 151
Контейнеры .......................................................................................................................... 151
ПРАКТИКУМ. Определение потока управления ............................................................. 153
Задание 1. Применение пакета SSIS для обработки файлов ................................... 153
Задание 2. Динамическое присваивание значений свойствам ................................ 156
Задание 3. Подготовка и проверка выполнения пакета SSIS .................................. 158
Резюме занятия .................................................................................................................... 159
Закрепление материала........................................................................................................ 159
ЗАНЯТИЕ 3. Элементы управления очередностью .................................................................. 161
ПРАКТИКУМ. Определение элементов управления очередностью............................... 163
Задание 1. Применение элементов управления очередностью ............................... 163
Задание 2. Перенаправление выполнения задач с помощью элементов
управления очередностью со значением failure ....................................................... 164
Резюме занятия .................................................................................................................... 166
Закрепление материала........................................................................................................ 166
УПРАЖНЕНИЯ ........................................................................................................................... 167
Упражнение 1. Разработка процесса очистки ................................................................... 167
Упражнение 2. Интеграция внешних процессов ............................................................... 168
Рекомендуемые упражнения ............................................................................................... 168
Полное решение управления данными ..................................................................... 168
Глава 5. Проектирование и реализация потока данных ..................................... 170
ЗАНЯТИЕ 1. Определение источников данных и мест назначения ........................................ 170
Создание задачи потока данных ......................................................................................... 171
Оглавление IX
Определение адаптеров источников потока данных ........................................................ 173
Добавление адаптера источника потока данных с помощью Source Assistant ...... 174
Настройка адаптера источника потока данных ........................................................ 175
Определение адаптеров назначения потока данных ......................................................... 176
Настройка адаптера назначения потока данных ...................................................... 178
Типы данных служб SSIS .................................................................................................... 180
Использование быстрого синтаксического анализа ......................................................... 182
ПРАКТИКУМ. Создание простых потоков данных ......................................................... 183
Задание 1. Создание потока данных для размещения таблицы Person.Person ...... 183
Задание 2. Применение адаптера источника ODBC
для размещения таблицы Sales.Customer .................................................................. 185
Задание 3. Импорт данных из неструктурированных файлов ................................. 187
Резюме занятия .................................................................................................................... 191
Закрепление материала........................................................................................................ 191
ЗАНЯТИЕ 2. Работа с преобразованиями потока данных ....................................................... 192
Выбор преобразований ........................................................................................................ 192
Преобразования уровня строки ................................................................................. 193
Преобразования с несколькими входами и выходами ............................................. 194
Преобразования набора строк ................................................................................... 196
Дополнительные преобразования для подготовки данных ..................................... 198
Применение преобразований .............................................................................................. 199
Разрешение ссылок на столбцы ................................................................................. 201
ПРАКТИКУМ. Применение преобразования потока данных ......................................... 202
Задание 1. Подготовка таблицы измерений dbo.Customers к загрузке
в хранилище данных ................................................................................................... 202
Задание 2. Загрузка таблицы измерений dbo.Customers в хранилище данных ...... 205
Резюме занятия .................................................................................................................... 209
Закрепление материала........................................................................................................ 209
ЗАНЯТИЕ 3. Выбор подходящих стратегии ETL и инструментов ......................................... 210
Стратегия ETL ...................................................................................................................... 211
Архитектура ETL ........................................................................................................ 211
Преобразование Lookup ...................................................................................................... 212
Применение преобразования Lookup ........................................................................ 212
Применение преобразования Cache Transform с преобразованием Lookup .......... 216
Сортировка данных.............................................................................................................. 218
Обновления на основе наборов .......................................................................................... 219
ПРАКТИКУМ. Усовершенствование преобразований потока данных .......................... 220
Задание 1. Соединение и сортировка таблиц в промежуточной области .............. 221
Задание 2. Создание эффективных уточняющих запросов ..................................... 222
Задание 3. Обновление таблицы измерений Customer ............................................ 223
Резюме занятия .................................................................................................................... 225
Закрепление материала........................................................................................................ 225
УПРАЖНЕНИЯ ........................................................................................................................... 226
Упражнение. Система с новым источником...................................................................... 226
Рекомендуемые упражнения ............................................................................................... 227
Создайте и загрузите дополнительные таблицы ...................................................... 227
X Оглавление
ЧАСТЬ III. УСОВЕРШЕНСТВОВАНИЕ ПАКЕТОВ SSIS ................................ 229
Глава 6. Усовершенствование потока управления .............................................. 231
ЗАНЯТИЕ 1. Переменные SSIS .................................................................................................. 233
Системные и пользовательские переменные ..................................................................... 234
Типы данных переменных .................................................................................................. 236
Область действия переменных ........................................................................................... 240
Параметризация свойств ..................................................................................................... 242
ПРАКТИКУМ. Создание пользовательской переменной и параметризация задачи ..... 243
Задание 1. Подготовка среды ..................................................................................... 243
Задание 2. Создание пользовательских переменных ............................................... 243
Задание 3. Параметризация задач потока управления с помощью переменных ...... 244
Резюме занятия .................................................................................................................... 244
Закрепление материала........................................................................................................ 244
ЗАНЯТИЕ 2. Диспетчеры соединений, задачи и выражения элементов управления
очередностью ............................................................................................................................... 246
Выражения ........................................................................................................................... 247
Выражения свойств ............................................................................................................. 250
Выражения в элементах управления очередностью ......................................................... 251
ПРАКТИКУМ. Использование выражений для параметризации объектов
служб SSIS ............................................................................................................................ 253
Задание 1. Использование выражения для присваивания значения переменной .. 253
Задание 2. Применение выражений для управления поведением потока данных 254
Резюме занятия .................................................................................................................... 256
Закрепление материала........................................................................................................ 256
ЗАНЯТИЕ 3. Применение главного пакета в усовершенствованном потоке управления .... 257
Разделение рабочих нагрузок, целей и задач..................................................................... 260
Согласование рабочей нагрузки и конфигурации ............................................................. 260
Задача Execute Package Task ............................................................................................... 262
Задача Execute SQL Server Agent Job Task ......................................................................... 262
Задача Execute Process Task ................................................................................................ 263
ПРАКТИКУМ. Создание и настройка главного пакета ................................................... 263
Задание 1. Подготовка среды ..................................................................................... 264
Задание 2. Создание главного пакета ........................................................................ 265
Задание 3. Настройка главного пакета ...................................................................... 267
Резюме занятия .................................................................................................................... 268
Закрепление материала........................................................................................................ 269
УПРАЖНЕНИЯ ........................................................................................................................... 269
Упражнение 1. Полные решения ........................................................................................ 269
Упражнение 2. Выполнение, управляемое данными ........................................................ 270
Рекомендуемые упражнения ............................................................................................... 271
Проанализируйте варианты применения главного пакета ...................................... 271
Глава 7. Усовершенствование потока данных ...................................................... 272
ЗАНЯТИЕ 1. Медленно изменяющиеся измерения .................................................................. 273
Определение типов атрибутов ............................................................................................ 273
Выводимые элементы измерения ....................................................................................... 274
Применение задачи Slowly Changing Dimension ............................................................... 274
Эффективно обновляющиеся измерения ........................................................................... 279
Оглавление XI
Проверка изменений атрибутов .......................................................................................... 280
Алгоритм обновления на основе наборов данных ............................................................ 281
ПРАКТИКУМ. Реализация алгоритма обработки медленно изменяющегося
измерения ............................................................................................................................. 283
Задание 1. Загрузка измерения Customer с помощью преобразования Slowly
Changing Dimension..................................................................................................... 283
Задание 2. Модификация пакета для вставки процесса обновления
на основе наборов данных ......................................................................................... 285
Резюме занятия .................................................................................................................... 287
Закрепление материала........................................................................................................ 287
ЗАНЯТИЕ 2. Подготовка пакета к добавочной загрузке ......................................................... 288
Применение динамического SQL для чтения данных ...................................................... 289
Использование адаптера источника OLE DB ........................................................... 289
Использование адаптеров источника ODBC или ADO.NET ................................... 291
Реализация CDC с помощью служб SSIS .......................................................................... 293
Включение CDC в базе данных ................................................................................. 293
Компоненты CDC в службах SSIS............................................................................. 294
Стратегия ETL для поэтапной загрузки таблиц фактов ................................................... 297
ПРАКТИКУМ. Реализация механизма отслеживания измененных данных (CDC)
средствами SSIS ................................................................................................................... 297
Задание 1. Создание пакета начальной загрузки ...................................................... 298
Задание 2. Создание пакета добавочной загрузки ................................................... 301
Резюме занятия .................................................................................................................... 305
Закрепление материала........................................................................................................ 306
ЗАНЯТИЕ 3. Поток ошибок ....................................................................................................... 306
Применение потоков ошибок ............................................................................................. 307
ПРАКТИКУМ. Использование потока ошибок ................................................................ 309
Задание. Добавление путей потока ошибок ............................................................. 309
Резюме занятия .................................................................................................................... 311
Закрепление материала........................................................................................................ 311
УПРАЖНЕНИЯ ........................................................................................................................... 312
Упражнение. Загрузка больших таблиц измерений и фактов .......................................... 312
Рекомендуемые упражнения ............................................................................................... 312
Загрузка добавочных измерений ............................................................................... 312
Глава 8. Создание надежного перезапускаемого пакета ..................................... 313
ЗАНЯТИЕ 1. Транзакции пакета ................................................................................................ 314
Определение параметров транзакции пакета и задачи ..................................................... 314
Уровни изоляции транзакции ............................................................................................. 317
Транзакции, обрабатываемые вручную ............................................................................. 318
ПРАКТИКУМ. Реализация транзакций ............................................................................. 319
Задание. Включение поддержки транзакций и наблюдение за откатом
транзакции ................................................................................................................... 319
Резюме занятия .................................................................................................................... 321
Закрепление материала........................................................................................................ 321
ЗАНЯТИЕ 2. Контрольные точки .............................................................................................. 322
Создание контрольных точек для перезапуска пакета ..................................................... 322
ПРАКТИКУМ. Установка и просмотр контрольных точек в пакете .............................. 325
Задание. Просмотр контрольных точек .................................................................... 325
XII Оглавление
Резюме занятия .................................................................................................................... 326
Закрепление материала........................................................................................................ 327
ЗАНЯТИЕ 3. Обработчики событий .......................................................................................... 327
Применение обработчиков событий .................................................................................. 328
ПРАКТИКУМ. Создание обработчиков событий ............................................................. 330
Задание. Применение обработчиков событий .......................................................... 330
Резюме занятия .................................................................................................................... 332
Закрепление материала........................................................................................................ 332
УПРАЖНЕНИЯ ........................................................................................................................... 333
Упражнение. Аудит и уведомления в пакетах служб SSIS .............................................. 333
Рекомендуемые упражнения ............................................................................................... 333
Применение транзакций и обработчиков событий .................................................. 334
Глава 9. Создание динамических пакетов ............................................................. 335
ЗАНЯТИЕ 1. Параметры и диспетчеры соединений уровней пакета и проекта .................... 336
Применение диспетчеров соединений уровня проекта .................................................... 336
Параметры ............................................................................................................................ 337
Использование параметров ........................................................................................ 338
Определение параметров ........................................................................................... 338
Конфигурации построения в службах SQL Server 2012 Integration Services .................. 340
Создание конфигураций построения......................................................................... 341
Применение конфигураций построения ................................................................... 342
Выражения свойств ............................................................................................................. 343
ПРАКТИКУМ. Применение параметров ........................................................................... 345
Задание 1. Задание параметра для строки соединения ............................................ 345
Задание 2. Использование параметра в задаче потока данных ............................... 346
Задание 3. Использование конфигураций построения ............................................ 347
Резюме занятия .................................................................................................................... 349
Закрепление материала........................................................................................................ 349
ЗАНЯТИЕ 2. Конфигурации пакета ........................................................................................... 350
Работа с конфигурациями пакета ....................................................................................... 350
Создание конфигурации ............................................................................................. 351
Создание XML-файла конфигурации ........................................................................ 353
Создание конфигурации SQL Server ......................................................................... 354
Вставка свойств в вашу конфигурацию .................................................................... 355
Совместное использование, упорядочивание и редактирование конфигураций ...... 356
ПРАКТИКУМ. Использование конфигураций пакета ..................................................... 357
Задание. Создание XML-файла конфигурации ........................................................ 357
Резюме занятия .................................................................................................................... 359
Закрепление материала........................................................................................................ 359
УПРАЖНЕНИЯ ........................................................................................................................... 359
Упражнение. Превращение пакетов SSIS в динамические .............................................. 360
Рекомендуемые упражнения ............................................................................................... 360
Использование параметра в добавочной загрузке таблицы фактов ....................... 360
Глава 10. Аудит и ведение журналов ...................................................................... 361
ЗАНЯТИЕ 1. Ведение журналов пакетов .................................................................................. 363
Регистраторы или поставщики журналов .......................................................................... 363
Выбор регистратора ................................................................................................... 364
Оглавление XIII
Настройка ведения журналов.............................................................................................. 366
Наследование настроек журнала ............................................................................... 368
Шаблоны настроек журналов .................................................................................... 368
ПРАКТИКУМ. Настройка ведения журналов SSIS .......................................................... 369
Задание 1. Подготовка среды ..................................................................................... 369
Задание 2. Настройка контейнера SSIS для ведения журнала событий ................. 369
Задание 3. Создание шаблона настроек журнала ..................................................... 372
Резюме занятия .................................................................................................................... 374
Закрепление материала........................................................................................................ 374
ЗАНЯТИЕ 2. Выполнение аудита и фиксация жизненного пути данных ............................... 375
Методы аудита ..................................................................................................................... 376
Компонент преобразований потока данных Row Count .......................................... 380
Компонент преобразований потока данных Aggregate ............................................ 380
Компонент преобразований потока данных Audit ................................................... 381
Корреляция данных аудита и журналов SSIS .................................................................... 381
Сохранение .................................................................................................................. 382
ПРАКТИКУМ. Реализация базового аудита ..................................................................... 383
Задание 1. Подготовка среды ..................................................................................... 383
Задание 2. Реализация аудита уровня строки
с помощью преобразования Audit ............................................................................. 383
Резюме занятия .................................................................................................................... 385
Закрепление материала........................................................................................................ 386
ЗАНЯТИЕ 3. Подготовка шаблонов пакета .............................................................................. 386
Шаблоны пакетов SSIS ........................................................................................................ 387
Создание шаблона пакета SSIS .................................................................................. 388
Применение шаблона пакета SSIS ............................................................................ 388
ПРАКТИКУМ. Создание и использование шаблона пакета SSIS ................................... 389
Задание 1. Создание шаблона пакета SSIS ............................................................... 389
Задание 2. Создание нового пакета SSIS с помощью шаблона пакета SSIS ......... 390
Резюме занятия .................................................................................................................... 391
Закрепление материала........................................................................................................ 391
УПРАЖНЕНИЯ ........................................................................................................................... 391
Упражнение 1. Реализация ведения журналов SSIS на нескольких уровнях иерархии
объектов служб SSIS............................................................................................................ 392
Упражнение 2. Реализация аудита SSIS на разных уровнях иерархии объектов
служб SSIS ............................................................................................................................ 392
Рекомендуемые упражнения ............................................................................................... 392
Вставка аудита в операцию обновления имеющейся задачи Execute SQL Task .... 393
Создание шаблона пакета SSIS в вашей собственной среде ................................... 393
ЧАСТЬ IV. УПРАВЛЕНИЕ И ОБСЛУЖИВАНИЕ ПАКЕТОВ SSIS ............... 395
Глава 11. Установка служб SSIS и развертывание пакетов ............................... 397
ЗАНЯТИЕ 1. Установка компонентов служб SSIS ................................................................... 399
Подготовка установки SSIS ................................................................................................ 400
Разработка или эксплуатация ..................................................................................... 400
Аппаратные и программные требования .................................................................. 401
Рекомендации по безопасности ................................................................................. 401
Сравнение 64- и 32-разрядных сред .......................................................................... 403
XIV Оглавление
Установка SSIS .................................................................................................................... 404
Обновление служб SSIS ............................................................................................. 405
Средства служб SSIS .................................................................................................. 406
ПРАКТИКУМ. Установка служб SSIS .............................................................................. 408
Задание 1. Установка служб SSIS на имеющийся экземпляр SQL Server.............. 408
Задание 2. Проверка установки служб SSIS ............................................................. 411
Резюме занятия .................................................................................................................... 412
Закрепление материала........................................................................................................ 413
ЗАНЯТИЕ 2. Развертывание пакетов SSIS ................................................................................ 413
Каталог SSISDB ................................................................................................................... 414
Настройка SSISDB ...................................................................................................... 415
Объекты SSISDB .................................................................................................................. 416
Папки ........................................................................................................................... 416
Проекты и пакеты ....................................................................................................... 417
Параметры ................................................................................................................... 417
Серверные среды, серверные переменные и ссылки на серверную среду ............ 417
Операции ..................................................................................................................... 418
Развертывание проекта ........................................................................................................ 418
ПРАКТИКУМ. Развертывание проектов SSIS .................................................................. 420
Задание 1. Создание и настройка SSISDB ................................................................ 420
Задание 2. Подготовка среды ..................................................................................... 422
Задание 3. Развертывание проекта SSIS в среде SSDT с помощью Deployment
Wizard .......................................................................................................................... 422
Задание 4. Развертывание проекта SSIS с использованием SQL Server
Management Studio ...................................................................................................... 424
Задание 5. Просмотр метаданных пакета SSIS в каталоге SSISDB ........................ 425
Резюме занятия .................................................................................................................... 425
Закрепление материала........................................................................................................ 426
УПРАЖНЕНИЯ ........................................................................................................................... 426
Упражнение 1. Применение строго структурированных развертываний ....................... 427
Упражнение 2. Установка сервера SSIS ............................................................................ 427
Рекомендуемые упражнения ............................................................................................... 427
Обновление имеющихся решений SSIS .................................................................... 427
Глава 12. Выполнение и безопасность пакетов ..................................................... 428
ЗАНЯТИЕ 1. Выполнение пакетов SSIS .................................................................................... 429
Выполнение SSIS по требованию ....................................................................................... 430
Среда SQL Server Management Studio ....................................................................... 430
DTExecUI ..................................................................................................................... 430
Transact-SQL, Windows PowerShell, SSIS Managed API и DTExec ......................... 431
Автоматическое выполнение SSIS ..................................................................................... 435
SQL Server Agent ......................................................................................................... 435
Мониторинг выполнения SSIS ........................................................................................... 438
Операции ..................................................................................................................... 438
Проверки...................................................................................................................... 439
Выполнения ................................................................................................................. 440
Ведение журналов ....................................................................................................... 441
Мониторинг SSIS в SQL Server Management Studio ................................................ 442
Оглавление XV
ПРАКТИКУМ. Запуск и мониторинг процессов SSIS ..................................................... 443
Задание 1. Проверка проектов и пакетов SSIS с помощью SSMS .......................... 444
Задание 2. Выполнение и мониторинг пакета SSIS в среде SSMS ......................... 446
Задание 3. Выполнение пакета SSIS с помощью DTExec ....................................... 447
Задание 4. Выполнение пакета SSIS с использованием Windows PowerShell ....... 448
Задание 5. Создание, настройка расписания и выполнение пакета SSIS
с помощью SQL Server Agent .................................................................................... 448
Резюме занятия .................................................................................................................... 452
Закрепление материала........................................................................................................ 453
ЗАНЯТИЕ 2. Безопасность пакетов SSIS .................................................................................. 453
Безопасность SSISDB .......................................................................................................... 454
Участники .................................................................................................................... 455
Защищаемые объекты ................................................................................................ 455
Разрешения .................................................................................................................. 455
ПРАКТИКУМ. Управление разрешениями SSISDB ........................................................ 457
Задание 1. Создание пользователей SSISDB ............................................................ 458
Задание 2. Создание и защита сред SSISDB ............................................................. 458
Задание 3. Настройка проекта SSISDB ..................................................................... 460
Задание 4. Управление разрешениями проекта SSIS и их проверка ...................... 462
Резюме занятия .................................................................................................................... 463
Закрепление материала........................................................................................................ 463
УПРАЖНЕНИЯ ........................................................................................................................... 464
Упражнение 1. Развертывание пакетов SSIS в нескольких средах ................................. 464
Упражнение 2. Удаленные выполнения............................................................................. 464
Рекомендуемые упражнения ............................................................................................... 465
Расширение возможности многократного использования решения SSIS ............. 465
Глава 13. Устранение неисправностей и настройка производительности ...... 466
ЗАНЯТИЕ 1. Обнаружение и устранение проблем при выполнении пакетов ....................... 467
Устранение неполадок времени разработки ...................................................................... 467
Отладка потока управления с помощью точек останова ......................................... 469
Применение средств просмотра данных в потоке данных ...................................... 471
Применение других методов для отладки ................................................................ 473
Устранение неисправностей в процессе эксплуатации .................................................... 474
Устранение неисправностей с помощью каталога SSISDB .................................... 474
Использование отводов данных ................................................................................ 476
ПРАКТИКУМ. Устранение неисправностей пакетов ...................................................... 477
Задание 1. Исправление ошибки усечения ............................................................... 477
Задание 2. Вставка отвода данных ............................................................................ 478
Резюме занятия .................................................................................................................... 479
Закрепление материала........................................................................................................ 480
ЗАНЯТИЕ 2. Настройка производительности .......................................................................... 480
Подсистема обработки потока данных SSIS ..................................................................... 481
Структура буфера данных .......................................................................................... 481
Типы преобразований ................................................................................................. 481
Деревья выполнения ................................................................................................... 482
Механизм замедленной обратной реакции ............................................................... 483
Варианты настройки потока данных .................................................................................. 483
Оптимизация буфера .................................................................................................. 484
Рекомендации по повышению производительности потока данных ..................... 485
XVI Оглавление
Параллельное выполнение в службах SSIS ....................................................................... 486
Устранение неисправностей и контрольное тестирование производительности ........... 487
Применение каталога SSISDB для контрольного тестирования
производительности пакета ....................................................................................... 487
Мониторинг производительности SSIS с помощью счетчиков
производительности ................................................................................................... 489
ПРАКТИКУМ. Отслеживание выполнения пакета .......................................................... 489
Задание 1. Отображение дерева выполнения ........................................................... 490
Задание 2. Отслеживание выполнения пакета .......................................................... 490
Резюме занятия .................................................................................................................... 492
Закрепление материала........................................................................................................ 492
УПРАЖНЕНИЯ ........................................................................................................................... 492
Упражнение. Настройка пакета SSIS ................................................................................. 493
Рекомендуемые упражнения ............................................................................................... 493
Изучите, как следует представления каталога SSISDB ........................................... 493
ЧАСТЬ V. ПОСТРОЕНИЕ РЕШЕНИЙ DATA QUALITY .................................. 495
Глава 14. Установка и поддержка Data Quality Services ..................................... 497
ЗАНЯТИЕ 1. Проблемы качества данных и роли ..................................................................... 498
Показатели качества данных ............................................................................................... 499
Полнота ........................................................................................................................ 499
Корректность ............................................................................................................... 500
Информативность ....................................................................................................... 501
Непротиворечивость ................................................................................................... 501
Косвенные показатели ................................................................................................ 501
Показатели качества схемы данных .......................................................................... 502
Действия по обеспечению качества данных и роли .......................................................... 503
ПРАКТИКУМ. Поиск проблем качества данных ............................................................. 507
Задание 1. Поиск проблем качества данных в AdventureWorksDW2012 ............... 507
Задание 2. Обзор потенциальных проблем качества данных в рабочей системе ..... 508
Резюме занятия .................................................................................................................... 508
Закрепление материала........................................................................................................ 508
ЗАНЯТИЕ 2. Установка служб Data Quality Services ............................................................... 509
Структура служб DQS ......................................................................................................... 509
Установка DQS ........................................................................................................... 511
ПРАКТИКУМ. Установка служб Data Quality Services .................................................... 513
Задание 1. Запуск SQL Server Setup .......................................................................... 513
Задание 2. Выполнение послеустановочных задач DQS ......................................... 515
Резюме занятия .................................................................................................................... 517
Закрепление материала........................................................................................................ 517
ЗАНЯТИЕ 3. Поддержка и безопасность Data Quality Services ............................................... 518
Выполнение административных операций с помощью Data Quality Client .................... 518
Выполнение административных операций с помощью других средств ......................... 523
ПРАКТИКУМ. Мониторинг операций DQS ..................................................................... 524
Задание 1. Создание вашего первого проекта DQS ................................................. 524
Задание 2. Мониторинг операций DQS .................................................................... 527
Резюме занятия .................................................................................................................... 528
Закрепление материала........................................................................................................ 528
Оглавление XVII
УПРАЖНЕНИЯ ........................................................................................................................... 529
Упражнение. Неиспользуемое хранилище данных ........................................................... 529
Упражнения для самостоятельной работы ........................................................................ 529
Анализ базы данных AdventureWorksDW2012 ........................................................ 529
Знакомство со средствами профилирования данных .............................................. 530
Глава 15. Реализация Master Data Services ............................................................ 531
ЗАНЯТИЕ 1. Определение основных данных ........................................................................... 531
Что такое основные данные? .............................................................................................. 532
Управление основными данными....................................................................................... 535
Трудности MDM .................................................................................................................. 539
ПРАКТИКУМ. Определение основных данных ............................................................... 540
Задание 1. Определение основных данных в базе данных
AdventureWorksDW2012 ............................................................................................ 540
Задание 2. Определение основных данных в пользовательской
рабочей системе .......................................................................................................... 541
Резюме занятия .................................................................................................................... 541
Закрепление материала........................................................................................................ 541
ЗАНЯТИЕ 2. Установка Master Data Services ........................................................................... 542
Структура служб Master Data Services ............................................................................... 542
Установка MDS .................................................................................................................... 544
ПРАКТИКУМ. Установка служб Data Quality Services .................................................... 546
Задание 1. Выполнение предустановочных задач .................................................... 546
Задание 2. Выполнение операций установки MDS .................................................. 548
Задание 3. Выполнение послеустановочных задач MDS ........................................ 549
Резюме занятия .................................................................................................................... 554
Закрепление материала........................................................................................................ 554
ЗАНЯТИЕ 3. Создание модели Master Data Services ................................................................ 555
Модели MDS и объекты в моделях .................................................................................... 555
Объекты MDS....................................................................................................................... 556
ПРАКТИКУМ. Создание модели MDS ............................................................................. 560
Задание 1. Создание модели и базовых объектов .................................................... 560
Задание 2. Заполнение сущностей ............................................................................. 564
Резюме занятия .................................................................................................................... 566
Закрепление материала........................................................................................................ 567
УПРАЖНЕНИЯ ........................................................................................................................... 568
Упражнение 1. Ввод в действие решения MDM ............................................................... 568
Упражнение 2. Расширение пилотного проекта ............................................................... 568
Результаты опроса ...................................................................................................... 568
Вопросы ....................................................................................................................... 569
Рекомендуемые упражнения ............................................................................................... 569
Анализ базы данных AdventureWorksDW2012 ........................................................ 569
Расширение модели MDS .......................................................................................... 569
Глава 16. Управление основными данными ......................................................... 570
ЗАНЯТИЕ 1. Импорт и экспорт основных данных .................................................................. 571
Создание и развертывание пакетов MDS .......................................................................... 571
Импорт пакетов данных ...................................................................................................... 572
Экспорт данных ................................................................................................................... 574
XVIII Оглавление
ПРАКТИКУМ. Импорт и экспорт основных данных ....................................................... 575
Задание 1. Создание пакета развертывания модели и развертывание пакета ....... 575
Задание 2. Импорт данных и создание представлений подписки ........................... 577
Резюме занятия .................................................................................................................... 580
Закрепление материала........................................................................................................ 580
ЗАНЯТИЕ 2. Установка системы безопасности основных данных ........................................ 581
Пользователи и разрешения ................................................................................................ 581
Перекрывающиеся разрешения .......................................................................................... 584
ПРАКТИКУМ. Установка системы безопасности MDS .................................................. 585
Задание 1. Назначение разрешений ........................................................................... 585
Задание 2. Тестирование разрешений ....................................................................... 588
Резюме занятия .................................................................................................................... 589
Закрепление материала........................................................................................................ 589
ЗАНЯТИЕ 3. Использование надстройки Master Data Services для Excel .............................. 590
Редактирование данных MDS в Excel ................................................................................ 590
Создание объектов MDS в Excel ........................................................................................ 592
ПРАКТИКУМ. Применение надстройки MDS для Excel ................................................ 594
Задание 1. Загрузка данных MDS в программу Excel .............................................. 594
Задание 2. Изменение данных MDS в программе Excel .......................................... 595
Резюме занятия .................................................................................................................... 597
Закрепление материала........................................................................................................ 597
УПРАЖНЕНИЯ ........................................................................................................................... 598
Упражнение. Редактирование пакетов данных MDS ........................................................ 598
Рекомендуемые упражнения ............................................................................................... 598
Анализ промежуточных таблиц ................................................................................. 599
Проверка безопасности .............................................................................................. 599
Глава 17. Создание проекта качества данных для очистки данных ................ 600
ЗАНЯТИЕ 1. Создание и обслуживание базы знаний .............................................................. 600
Построение базы знаний DQS ............................................................................................ 601
Управление доменом ........................................................................................................... 602
ПРАКТИКУМ. Создание базы знаний ............................................................................... 604
Задание 1. Применение обнаружения знаний........................................................... 604
Задание 2. Редактирование доменов ......................................................................... 607
Резюме занятия .................................................................................................................... 609
Закрепление материала........................................................................................................ 609
ЗАНЯТИЕ 2. Создание проекта качества данных ..................................................................... 609
Проекты DQS ....................................................................................................................... 610
Очистка данных ................................................................................................................... 611
ПРАКТИКУМ. Создание проекта DQS ............................................................................. 613
Задание 1. Создание представления для очистки ..................................................... 613
Задание 2. Очистка данных с помощью проекта DQS............................................. 614
Резюме занятия .................................................................................................................... 617
Закрепление материала........................................................................................................ 617
ЗАНЯТИЕ 3. Профилирование данных и повышение качества данных ................................. 618
Применение запросов для профилирования данных ........................................................ 618
Задача SSIS Data Profiling Task .......................................................................................... 621
ПРАКТИКУМ. Применение задачи SSIS Data Profiling Task ......................................... 622
Задание 1. Анализ представления TK463CustomersDirty ........................................ 622
Задание 2. Просмотр результатов профилирования ................................................ 624
Оглавление XIX
Резюме занятия .................................................................................................................... 624
Закрепление материала........................................................................................................ 624
УПРАЖНЕНИЯ ........................................................................................................................... 625
Упражнение. Повышение качества данных ....................................................................... 625
Рекомендуемые упражнения ............................................................................................... 625
Создание дополнительных базы знаний и проекта .................................................. 626
ЧАСТЬ VI. ДОПОЛНИТЕЛЬНЫЕ СВЕДЕНИЯ О SSIS
И DATA QUALITY ...................................................................................................... 627
Глава 18. Службы SSIS и интеллектуальный анализ данных ........................... 629
ЗАНЯТИЕ 1. Задача и преобразование интеллектуального анализа данных ......................... 630
Что такое интеллектуальный анализ данных? ................................................................... 630
Алгоритмы интеллектуального анализа в службах SSAS ................................................ 632
Применение прогнозов интеллектуального анализа данных в службах SSIS ................ 634
ПРАКТИКУМ. Применение прогнозов интеллектуального анализа данных
в службах SSIS ..................................................................................................................... 635
Задание 1. Создание модели на основе дерева принятия решений ........................ 635
Задание 2. Применение модели интеллектуального анализа
в потоке данных SSIS ................................................................................................. 639
Резюме занятия .................................................................................................................... 643
Закрепление материала........................................................................................................ 643
ЗАНЯТИЕ 2. Интеллектуальный анализ текста ........................................................................ 644
Извлечение терминов .......................................................................................................... 644
Уточняющий запрос термина ............................................................................................. 645
ПРАКТИКУМ. Выполнение интеллектуального анализа текста .................................... 647
Задание 1. Применение преобразования Term Extraction ........................................ 647
Задание 2. Использование преобразования Term Lookup ....................................... 648
Резюме занятия .................................................................................................................... 651
Закрепление материала........................................................................................................ 651
ЗАНЯТИЕ 3. Подготовка данных для интеллектуального анализа ......................................... 652
Подготовка данных .............................................................................................................. 652
Выборки SSIS ....................................................................................................................... 654
ПРАКТИКУМ. Формирование случайной выборки ......................................................... 655
Задание 1. Создание обучающего и проверочного наборов ................................... 655
Задание 2. Тестирование разделения ........................................................................ 657
Резюме занятия .................................................................................................................... 658
Закрепление материала........................................................................................................ 658
УПРАЖНЕНИЯ ........................................................................................................................... 659
Упражнение. Подготовка данных для интеллектуального анализа ................................. 659
Рекомендуемые упражнения ............................................................................................... 659
Протестируйте преобразования Row Sampling и Conditional Split ......................... 659
Глава 19. Применение пользовательского кода в пакетах SSIS ........................ 660
ЗАНЯТИЕ 1. Задача Script Task .................................................................................................. 661
Настройка задачи Script Task .............................................................................................. 662
Написание кода для задачи Script Task .............................................................................. 663
ПРАКТИКУМ. Применение Script Task для чтения результатов задачи
профилирования данных ..................................................................................................... 664
Задание 1. Использование задачи Data Profiling ..................................................... 665
XX Оглавление
Задание 2. Применение задачи Script Task для обработки результатов
профилирования данных ............................................................................................ 666
Резюме занятия .................................................................................................................... 668
Закрепление материала........................................................................................................ 668
ЗАНЯТИЕ 2. Компонент Script Component ............................................................................... 669
Настройка компонента Script Component .......................................................................... 669
Кодирование компонента Script Component ...................................................................... 671
ПРАКТИКУМ. Использование результатов профилирования данных
для обработки строк потока данных .................................................................................. 673
Задание 1. Подготовка среды ..................................................................................... 673
Задание 2. Использование компонента Script Component ....................................... 674
Резюме занятия .................................................................................................................... 677
Закрепление материала........................................................................................................ 677
ЗАНЯТИЕ 3. Реализация пользовательских компонентов ....................................................... 677
Планирование пользовательского компонента ................................................................. 678
Разработка пользовательского компонента ....................................................................... 680
Время разработки и время выполнения ............................................................................. 681
Методы времени разработки ..................................................................................... 681
Методы времени выполнения .................................................................................... 683
ПРАКТИКУМ. Разработка, развертывание и применение пользовательского
компонента потока данных ................................................................................................. 687
Задание 1. Подготовка среды ..................................................................................... 687
Задание 2. Разработка пользовательского преобразования потока данных .......... 687
Задание 3. Развертывание пользовательского компонента потока данных ........... 689
Задание 4. Настройка и применение пользовательского компонента потока
данных ......................................................................................................................... 690
Резюме занятия .................................................................................................................... 692
Закрепление материала........................................................................................................ 692
УПРАЖНЕНИЯ ........................................................................................................................... 693
Упражнение. Очистка данных ............................................................................................ 693
Рекомендуемые упражнения ............................................................................................... 693
Создайте источник Web-службы ............................................................................... 693
Глава 20. Сопоставление и устранение дублирования ........................................ 694
ЗАНЯТИЕ 1. Представление о проблеме .................................................................................. 695
Проблемы сопоставления и дедупликации ........................................................................ 695
Решение проблем ................................................................................................................. 697
ПРАКТИКУМ. Подготовка данных ................................................................................... 700
Задание 1. Подготовка чистых данных ..................................................................... 700
Задание 2. Подготовка грязных данных.................................................................... 701
Резюме занятия .................................................................................................................... 704
Закрепление материала........................................................................................................ 704
ЗАНЯТИЕ 2. Применение служб DQS и преобразования DQS Cleansing .............................. 705
Преобразование DQS Cleansing .......................................................................................... 705
Сопоставление DQS ............................................................................................................. 706
ПРАКТИКУМ. Использование преобразования DQS Cleansing
и сопоставления DQS .......................................................................................................... 707
Задание 1. Использование преобразования DQS Cleansing .................................... 708
Задание 2. Использование сопоставления DQS ....................................................... 712
Оглавление XXI
Резюме занятия .................................................................................................................... 715
Закрепление материала........................................................................................................ 715
ЗАНЯТИЕ 3. Использование нечетких преобразований SSIS ................................................. 716
Алгоритм нечетких преобразований .................................................................................. 717
Версии нечетких преобразований ...................................................................................... 718
ПРАКТИКУМ. Использование SSIS-преобразования Fuzzy Lookup
и надстройки MDS для Excel вместе с базой знаний DQS для сопоставления ............... 720
Задание 1. Применение Fuzzy Lookup ....................................................................... 720
Задание 2. Использование надстройки MDS для Excel и сопоставления DQS ..... 724
Резюме занятия .................................................................................................................... 725
Закрепление материала........................................................................................................ 725
УПРАЖНЕНИЯ ........................................................................................................................... 726
Упражнение. Повышение качества данных ....................................................................... 726
Рекомендуемые упражнения ............................................................................................... 726
Дополнительно исследуйте сопоставление .............................................................. 726
ОТВЕТЫ ....................................................................................................................... 729
Глава 1 .......................................................................................................................................... 729
Занятие 1. Закрепление материала ..................................................................................... 729
Занятие 2. Закрепление материала ..................................................................................... 730
Занятие 3. Закрепление материала ..................................................................................... 730
Упражнения .......................................................................................................................... 731
Упражнение 1. Краткосрочный пробный проект ..................................................... 731
Упражнение 2. Расширение краткосрочного пробного проекта ............................ 731
Глава 2 .......................................................................................................................................... 732
Занятие 1. Закрепление материала ..................................................................................... 732
Занятие 2. Закрепление материала ..................................................................................... 732
Занятие 3. Закрепление материала ..................................................................................... 733
Упражнения .......................................................................................................................... 734
Упражнение 1. Медленные отчеты хранилища данных .......................................... 734
Упражнение 2. Проблемы администрирования хранилища данных ...................... 734
Глава 3 .......................................................................................................................................... 735
Занятие 1. Закрепление материала ..................................................................................... 735
Занятие 2. Закрепление материала ..................................................................................... 736
Занятие 3. Закрепление материала ..................................................................................... 736
Упражнения .......................................................................................................................... 737
Упражнение 1. Копирование производственных данных в среду разработки ...... 737
Упражнение 2. Параметризация диспетчеров соединений ..................................... 738
Глава 4 .......................................................................................................................................... 738
Занятие 1. Закрепление материала ..................................................................................... 738
Занятие 2. Закрепление материала ..................................................................................... 739
Занятие 3. Закрепление материала ..................................................................................... 740
Упражнения .......................................................................................................................... 741
Упражнение 1. Разработка процесса очистки .......................................................... 741
Упражнение 2. Интеграция внешних процессов ...................................................... 741
Глава 5 .......................................................................................................................................... 742
Занятие 1. Закрепление материала ..................................................................................... 742
Занятие 2. Закрепление материала ..................................................................................... 743
Занятие 3. Закрепление материала ..................................................................................... 743
Упражнение .......................................................................................................................... 744
XXII Оглавление
Глава 6 .......................................................................................................................................... 745
Занятие 1. Закрепление материала ..................................................................................... 745
Занятие 2. Закрепление материала ..................................................................................... 746
Занятие 3. Закрепление материала ..................................................................................... 747
Упражнения .......................................................................................................................... 747
Упражнение 1 .............................................................................................................. 747
Упражнение 2 .............................................................................................................. 748
Глава 7 .......................................................................................................................................... 749
Занятие 1. Закрепление материала ..................................................................................... 749
Занятие 2. Закрепление материала ..................................................................................... 749
Занятие 3. Закрепление материала ..................................................................................... 750
Упражнение .......................................................................................................................... 751
Глава 8 .......................................................................................................................................... 751
Занятие 1. Закрепление материала ..................................................................................... 751
Занятие 2. Закрепление материала ..................................................................................... 752
Занятие 3. Закрепление материала ..................................................................................... 753
Упражнение. Аудит и уведомления в пакетах служб SSIS .............................................. 753
Глава 9 .......................................................................................................................................... 754
Занятие 1. Закрепление материала ..................................................................................... 754
Занятие 2. Закрепление материала ..................................................................................... 755
Упражнение. Превращение пакетов SSIS в динамические .............................................. 756
Глава 10 ........................................................................................................................................ 756
Занятие 1. Закрепление материала ..................................................................................... 756
Занятие 2. Закрепление материала ..................................................................................... 757
Занятие 3. Закрепление материала ..................................................................................... 758
Упражнения .......................................................................................................................... 759
Упражнение 1. Реализация ведения журналов SSIS на нескольких уровнях
иерархии объектов служб SSIS .................................................................................. 759
Упражнение 2. Реализация аудита SSIS на разных уровнях иерархии
объектов служб SSIS .................................................................................................. 759
Глава 11 ........................................................................................................................................ 760
Занятие 1. Закрепление материала ..................................................................................... 760
Занятие 2. Закрепление материала ..................................................................................... 761
Упражнения .......................................................................................................................... 762
Упражнение 1. Применение строго структурированных развертываний .............. 762
Упражнение 2. Установка сервера SSIS ................................................................... 762
Глава 12 ........................................................................................................................................ 762
Занятие 1. Закрепление материала ..................................................................................... 762
Занятие 2. Закрепление материала ..................................................................................... 763
Упражнения .......................................................................................................................... 764
Упражнение 1. Развертывание пакетов SSIS в нескольких средах ........................ 764
Упражнение 2. Удаленные выполнения ................................................................... 764
Глава 13 ........................................................................................................................................ 765
Занятие 1. Закрепление материала ..................................................................................... 765
Занятие 2. Закрепление материала ..................................................................................... 766
Упражнение. Настройка пакета SSIS ................................................................................. 766
Глава 14 ........................................................................................................................................ 767
Занятие 1. Закрепление материала ..................................................................................... 767
Оглавление XXIII
Занятие 2. Закрепление материала ..................................................................................... 768
Занятие 3. Закрепление материала ..................................................................................... 768
Упражнение. Неиспользуемое хранилище данных ........................................................... 769
Глава 15 ........................................................................................................................................ 769
Занятие 1. Закрепление материала ..................................................................................... 769
Занятие 2. Закрепление материала ..................................................................................... 770
Занятие 3. Закрепление материала ..................................................................................... 771
Упражнения .......................................................................................................................... 772
Упражнение 1. Ввод в действие решения MDM ...................................................... 772
Упражнение 2. Расширение пилотного проекта ...................................................... 772
Глава 16 ........................................................................................................................................ 772
Занятие 1. Закрепление материала ..................................................................................... 772
Занятие 2. Закрепление материала ..................................................................................... 773
Занятие 3. Закрепление материала ..................................................................................... 774
Упражнение. Редактирование пакетов данных MDS ........................................................ 775
Глава 17 ........................................................................................................................................ 775
Занятие 1. Закрепление материала ..................................................................................... 775
Занятие 2. Закрепление материала ..................................................................................... 776
Занятие 3. Закрепление материала ..................................................................................... 776
Упражнение. Повышение качества данных ....................................................................... 777
Глава 18 ........................................................................................................................................ 777
Занятие 1. Закрепление материала ..................................................................................... 777
Занятие 2. Закрепление материала ..................................................................................... 778
Занятие 3. Закрепление материала ..................................................................................... 779
Упражнение. Подготовка данных для интеллектуального анализа ................................. 780
Глава 19 ........................................................................................................................................ 780
Занятие 1. Закрепление материала ..................................................................................... 780
Занятие 2. Закрепление материала ..................................................................................... 781
Занятие 3. Закрепление материала ..................................................................................... 781
Упражнение. Очистка данных ............................................................................................ 782
Глава 20 ........................................................................................................................................ 783
Занятие 1. Закрепление материала ..................................................................................... 783
Занятие 2. Закрепление материала ..................................................................................... 784
Занятие 3. Закрепление материала ..................................................................................... 784
Упражнение. Повышение качества данных ....................................................................... 785
Предметный указатель .............................................................................................. 786
Об авторах .................................................................................................................... 792
Внимание
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.