Назначение Microsoft SQL Server

Renta доставляет данные источников в базу Microsoft SQL Server: на собственный сервер, в Azure SQL Database или в управляемый сервис вроде Amazon RDS for SQL Server.

Каждый пайплайн управляет одной таблицей. Renta создаёт её на первом запуске с колонками из выбранных полей и обновляет содержимое на каждом следующем запуске.

Требования

Подготовьте сервер до создания подключения.

1. Сетевой доступ.
   Renta подключается к порту базы данных (по умолчанию 1433) с IP-адресов Renta. Разрешите их на файрволе. Исходящий доступ серверу не нужен: Renta передаёт строки через то же подключение к базе.
2. Существующая база данных.
   Renta пишет только в базу, указанную в подключении, и не создаёт базы данных. Таблицы попадают в схему по умолчанию пользователя подключения, то есть в dbo, если вы её не меняли.
3. Права выделенного пользователя.
   Учётной записи нужно создавать, наполнять, очищать и удалять таблицы в этой базе. Точные команды собраны на странице ниже.

Подключить SQL Server как назначение

Подключение хранит адрес одной базы SQL Server и учётные данные, под которыми Renta входит на сервер.

Откройте каталогStep 1

1. В консоли Renta откройте Connections > Catalog в левом меню.
2. Раскройте категорию Data warehouse и нажмите карточку Microsoft SQL Server.

Укажите адрес сервераStep 2

Укажите параметры базы данных:

1. Server hostname.
   Имя хоста или IP-адрес сервера без префикса протокола. Для Azure SQL Database это значение вида myserver.database.windows.net.
2. Database name.
   Существующая база, в которую попадут таблицы.
3. Port.
   Порт базы данных. По умолчанию в SQL Server это 1433.

Введите учётные данныеStep 3

1. User.
   Учётная запись SQL Server, созданная для Renta.
2. Password.
   Пароль этой учётной записи.

Включите Trusted connection, если подключаетесь к серверу по SSL.

Назовите подключение и сохранитеStep 4

Укажите Destination name (название используется только в консоли Renta) и нажмите Save.

При сохранении Renta входит в базу и выполняет тестовый запрос. Неверный пароль, закрытый порт или несуществующая база вернутся ошибкой сразу, ещё до запусков пайплайна.

Проверьте подключениеStep 5

Подключение появится в списке Destinations со статусом Active и готово к использованию в пайплайнах.

Создать пайплайн в SQL Server

В шагах ниже источником выступает Display & Video 360, тот же порядок действий работает для любого источника.

Выберите источникStep 1

Нажмите New pipeline в левом меню. Оставьте активной вкладку ETL, выберите источник в секции Already connected и нажмите Next step.

Выберите подключение источникаStep 2

Выберите подключение источника, из которого выгружать данные, и нажмите Next step.

Выберите SQL Server как назначениеStep 3

На шаге Destination выберите Microsoft SQL Server в списке Already connected и нажмите Next step.

Выберите подключение назначенияStep 4

Выберите подключение SQL Server, которое примет данные, и нажмите Next step. На карточке видны имя базы и хост, это помогает, когда в воркспейсе несколько серверов.

Настройка пайплайна

Последний шаг мастера собирает все настройки пайплайна на одной странице. Сначала идут настройки источника, затем блоки, одинаковые для всех источников.

Настройки источника

Первые блоки определяют, что выгружать, поэтому их состав зависит от источника. Для Display & Video 360 это партнёр, рекламодатель и тип отчёта.

Parameters

Отметьте поля источника, которые нужно загрузить. Каждое отмеченное поле становится колонкой таблицы SQL Server, имя колонки подписано под полем.

Чтобы взять сразу все доступные поля, нажмите Select All. Всё отмеченное собрано на вкладке Selected.

Integration and table name

Следующий блок называет пайплайн и его таблицу.

1. Integration name.
   Отображаемое имя пайплайна в консоли Renta.
2. Table name.
   Таблица, которую Renta создаст в подключённой базе. Оставьте сгенерированное имя или введите своё. Давайте каждому пайплайну уникальное имя, потому что пайплайн перезаписывает свою таблицу на каждом запуске.

Date range

Диапазон дат ограничивает историю, которая загружается на первом запуске и при ручном Full refresh.

1. Date start.
   Первый день окна выгрузки.
2. Date end.
   Последний день окна: фиксированная дата или движущаяся граница вроде Today.

Overwrite period

Период перезаписи задаёт, сколько последних дней перезагружается на каждом запуске по расписанию. Он применяется к типам отчётов с колонкой даты, которые дают партиционированные таблицы.

Renta удаляет строки этого окна и вставляет их заново со свежими значениями. При Without overwrite data прошлые строки не трогаются, добавляются только новые данные.

Schedule

Расписание управляет запусками пайплайна. Всё время указывается в UTC.

Для расписания Daily выберите Update time и нажмите Create pipeline.

Новый пайплайн появится на странице Pipelines на вкладке ETL с именем таблицы, статусом запуска и количеством выгруженных строк.

Таблица назначения

Renta управляет таблицей назначения сама: создаёт её на первом запуске и перестраивает при изменении списка полей пайплайна.

Имена и типы колонок

Имена колонок повторяют имена полей из настроек пайплайна. Символы . и : в имени Renta заменяет на подчёркивание, поэтому поле fee.amount становится колонкой fee_amount.

Отсутствующее в источнике значение приходит как NULL, а не как ноль или пустая строка.

Изменения схемы

Добавление или удаление поля меняет список колонок, поэтому таблицу приходится перестраивать.

Стратегия синхронизации

Способ обновления таблицы зависит от типа отчёта источника.

Диагностика

Известные ответы SQL Server Renta приводит к сообщениям из таблицы ниже. Оба могут появиться и при сохранении подключения, и во время запуска.

Если запуск падает с сообщением, которого нет в таблице, посмотрите логи запуска на странице пайплайна и напишите в поддержку Renta.