Назначение Amazon S3

Renta записывает данные из любого подключённого источника в ваш бакет Amazon S3 в виде Parquet-объектов, раскладывает их по папке на пайплайн и обновляет на каждом запуске.

Файлы Renta загружает сама через API AWS. Ничего в бакете не нужно открывать наружу, входящий доступ к вашей инфраструктуре не задействован.

Требования

Подключению нужны учётные данные IAM, уже созданный бакет и регион, в котором этот бакет лежит.

1. Пользователь IAM с правами на бакет.
   Renta просматривает, загружает, читает и удаляет объекты внутри своих папок, а это права s3:ListBucket, s3:PutObject, s3:GetObject и s3:DeleteObject.
2. Существующий бакет.
   Renta не создаёт бакет. Она создаёт только папки внутри него.
3. Правильный регион.
   Подключение подписывает запросы для одного региона. Бакет в другом регионе отвалится так же, как при нехватке прав.

Подключение Amazon S3 в качестве назначения

Подключение хранит один бакет, один регион и ключи доступа, которыми Renta подписывает запросы.

Перейдите в каталогStep 1

1. В консоли Renta откройте Connections > Catalog в левом меню.
2. Разверните категорию Data lake и нажмите карточку Amazon S3.

Введите ключи и бакетStep 2

Заполните учётные данные пользователя IAM, которого вы подготовили:

1. AWS Access Key.
   Идентификатор ключа доступа пользователя IAM.
2. AWS Secret Access Key.
   Секрет, который показывается один раз при создании пары ключей.
3. AWS Bucket Name.
   Бакет, в который пишет Renta. Укажите голое имя без s3:// и без пути.

Выберите регионStep 3

1. AWS region.
   Начните печатать название города или идентификатор региона, чтобы сузить список.
2. Нажмите регион, которому принадлежит бакет. Под названием каждого варианта подписан его идентификатор, например eu-central-1.

Назовите подключение и сохранитеStep 4

Заполните Destination name (название используется только внутри консоли Renta) и нажмите Save.

По нажатию Save Renta проверяет, что бакет существует и отвечает на переданные ключи в выбранном регионе. Неверные ключи, чужой регион или опечатка в имени бакета вернут ошибку сразу, а не на первом запуске пайплайна.

Проверьте подключениеStep 5

Подключение появится в списке Destinations со статусом Active и будет готово к использованию в пайплайнах.

Создание пайплайна в Amazon S3

Ниже показан Stripe, но для любого другого источника порядок такой же.

Выберите источникStep 1

В левом меню нажмите New pipeline. Оставьте выбранной вкладку ETL, выберите источник в блоке Already connected и нажмите Next step.

Выберите подключение источникаStep 2

Выберите подключение, из которого нужно читать данные, и нажмите Next step.

Выберите Amazon S3 как назначениеStep 3

На шаге Destination выберите Amazon S3 в блоке Already connected и нажмите Next step.

Выберите подключение назначенияStep 4

Выберите подключение S3, в которое пойдёт запись, и нажмите Next step. На карточке показаны имя бакета и его регион, это помогает, когда в воркспейсе несколько бакетов.

Настройка пайплайна

Последний шаг мастера собирает все настройки пайплайна в одну длинную форму. Верхняя часть формы относится к источнику, остальное работает одинаково для любого назначения.

Настройки источника

Первый блок определяет, что именно извлекать. Его состав зависит от источника, у Stripe он начинается с типа отчёта.

Дальше отметьте поля, которые нужно загружать. Каждое выбранное поле станет колонкой внутри Parquet-файлов, а невыбранные поля не записываются вовсе.

Под каждым полем подписано, как будет называться его колонка. Кнопка Select All отмечает весь список сразу.

Имя интеграции и папки

Второй блок задаёт название пайплайна в Renta и имя папки в бакете.

1. Integration name.
   Отображаемое название пайплайна в консоли Renta.
2. Table name.
   Для дата-лейка это имя папки внутри бакета. Оставьте сгенерированное имя или введите своё.

Диапазон дат

Диапазон дат задаёт, сколько истории загрузит первый запуск и насколько далеко назад уйдёт ручная перезаливка.

1. Date start.
   Первый день периода выгрузки.
2. Date end.
   Последний день: фиксированная дата или подвижная граница, например Today.

Ручной запуск Full refresh со страницы пайплайна загружает весь этот период заново.

Период перезаписи

Период перезаписи определяет, насколько глубоко назад каждый плановый запуск переписывает уже загруженные данные. Настройка работает для типов отчётов, у которых есть дата и папка получается разбитой по датам.

Renta удаляет объекты выбранных дней и загружает их заново со свежими значениями. Вариант Without overwrite data не трогает загруженную историю и добавляет только дни после предыдущего запуска.

Расписание

Расписание решает, как часто Renta обновляет папку. Указанное здесь время Renta читает в UTC.

Для расписания Daily укажите Update time (точное время старта каждого запуска) и нажмите Create pipeline.

Пайплайн появится в разделе Pipelines на вкладке ETL вместе с именем папки, прогрессом запуска и количеством извлечённых строк.

Раскладка в бакете

Всё, что пишет пайплайн, лежит под его собственной папкой, а устройство внутри зависит от того, есть ли у данных дата.

Префикс с датой и делает окно перезаписи дешёвым: Renta убирает объекты только затронутых дней, а не всю папку. Такую же раскладку ожидают Athena, Glue и Spark, поэтому партиции находятся без дополнительной настройки.

Рядом с папкой Renta держит объект нулевого размера с точно таким же именем. Он помечает папку и данных не содержит.

Стратегия синхронизации

Способ обновления папки зависит от источника и от настроек пайплайна.

Отдельно стоит запуск после изменения списка полей. Папка удаляется и собирается заново, а весь период из Date Range загружается ещё раз.

Диагностика ошибок

Renta сводит ответы AWS к короткому набору сообщений в логе запуска.