Назначение Amazon S3
Renta записывает данные из любого подключённого источника в ваш бакет Amazon S3 в виде Parquet-объектов, раскладывает их по папке на пайплайн и обновляет на каждом запуске.
Файлы Renta загружает сама через API AWS. Ничего в бакете не нужно открывать наружу, входящий доступ к вашей инфраструктуре не задействован.
Требования
Подключению нужны учётные данные IAM, уже созданный бакет и регион, в котором этот бакет лежит.
- Пользователь IAM с правами на бакет.
Renta просматривает, загружает, читает и удаляет объекты внутри своих папок, а это праваs3:ListBucket,s3:PutObject,s3:GetObjectиs3:DeleteObject. - Существующий бакет.
Renta не создаёт бакет. Она создаёт только папки внутри него. - Правильный регион.
Подключение подписывает запросы для одного региона. Бакет в другом регионе отвалится так же, как при нехватке прав.
Подключение назначения
Подключ ение хранит один бакет, один регион и ключи доступа, которыми Renta подписывает запросы.
Подключение Amazon S3 в качестве назначения
Выполните эти шаги, чтобы добавить ваш бакет S3 как назначение в Renta.
- В консоли Renta откройте Connections > Catalog в левом меню.
- Разверните категорию Data lake и нажмите карточку Amazon S3.
Заполните учётные данные пользователя IAM, которого вы подготовили:
- AWS Access Key.
Идентификатор ключа доступа пользователя IAM. - AWS Secret Access Key.
Секрет, который показывается один раз при создании пары ключей. - AWS Bucket Name.
Бакет, в который пишет Renta. Укажите голое имя безs3://и без пути.
- AWS region.
Начните печатать название города или идентификатор региона, чтобы сузить список. - Нажмите регион, которому принадлежит бакет. Под названием каждого варианта подписан его идентификатор, например
eu-central-1.
Заполните Destination name (название используется только внутри консоли Renta) и нажмите Save.
Подключение появится в списке Destinations со статусом Active и будет готово к использованию в пайплайнах.
Создание пайплайна
Пайплайн связывает один источник с подключением S3. Ниже показан Stripe, но для любого другого источника порядок такой же.
Создание пайплайна в Amazon S3
Свяжите источник данных с вашим бакетом S3 и настройте пайплайн.
В левом меню нажмите New pipeline. Оставьте выбранной вкладку ETL, выберите источник в блоке Already connected и нажмите Next step.
Выберите подключение, из которого нужно читать данные, и нажмите Next step.
На шаге Destination выберите Amazon S3 в блоке Already connected и нажмите Next step.
Выберите подключение S3, в которое пойдёт запись, и нажмите Next step. На карточке показаны имя бакета и его регион, это помогает, когда в воркспейсе несколько бакетов.
Настройка пайплайна
Последний шаг мастера собирает все настройки пайплайна в одну длинную форму. Верхняя часть формы от носится к источнику, остальное работает одинаково для любого назначения.
Настройки источника
Первый блок определяет, что именно извлекать. Его состав зависит от источника, у Stripe он начинается с типа отчёта.
Дальше отметьте поля, которые нужно загружать. Каждое выбранное поле станет колонкой внутри Parquet-файлов, а невыбранные поля не записываются вовсе.
Под каждым полем подписано, как будет называться его колонка. Кнопка Select All отмечает весь список сразу.
Имя интеграции и папки
Второй блок задаёт название пайплайна в Renta и имя папки в бакете.
- Integration name.
Отображаемое название пайплайна в консоли Renta. - Table name.
Для дата-лейка это имя папки внутри бакета. Оставьте сгенерированное имя или введите своё.
Диапазон дат
Диапазон дат задаёт, сколько истории загрузит первый запуск и насколько далеко назад уйдёт ручная перезаливка.
- Date start.
Первый день периода выгрузки. - Date end.
Последний день: фиксированная дата или подвижная граница, например Today.
Ручной запуск Full refresh со страницы пайплайна загружает весь этот период заново.
Период перезаписи
Период перезаписи определяет, насколько глубоко назад каждый плановый запуск переписывает уже загруженные данные. Настройка работает для типов отчётов, у которых есть дата и папка получается разбитой по датам.
Renta удаляет объекты выбранных дней и загружает их заново со свежими значениями. Вариант Without overwrite data не трогает загруженную историю и добавляет только дни после предыдущего запуска.
Расписание
Расписание решает, как часто Renta обновляет папку. Указанное здесь время Renta читает в UTC.
| Тип расписания | Описание |
|---|---|
| Manual | Пайплайн запускается только вручную из консоли Renta или через API. |
| Daily | Пайплайн запускается раз в сутки в указанное время обновления. |
| Interval | Пайплайн запускается через заданные интервалы времени. |
| Cron Expression | Пайплайн запускается по расписанию, заданному cron-выражением. |
Для расписания Daily укажите Update time (точное время старта каждого запуска) и нажмите Create pipeline.
Пайплайн появится в разделе Pipelines на вкладке ETL вместе с именем папки, прогрессом запуска и количеством извлечённых строк.
Раскладка в бакете
Всё, что пишет пайплайн, лежит под его собственной папкой, а устройство внутри зависит от того, есть ли у данных дата.
| Данные | Ключ объекта |
|---|---|
| Типы отчётов с разбивкой по датам | <папка>/<ГГГГ-ММ-ДД>/<файл>.parquet |
| Все остальные | <папка>/<файл>.parquet |
Префикс с датой и делает окно перезаписи дешёвым: Renta убирает объекты только затронутых дней, а не всю папку. Такую же раскладку ожидают Athena, Glue и Spark, поэтому партиции находятся без дополнительной настройки.
Рядом с папкой Renta держит объект нулевого размера с точно таким же именем. Он помечает папку и данных не содержит.
Стратегия синхронизации
Способ обновления папки зависит от источника и от настроек пайплайна.
| Стратегия | Когда применяется | Описание |
|---|---|---|
| Полная перезагрузка | Типы отчётов без колонки с датой и любые пайплайны с папкой без разбивки по датам | Renta удаляет все объекты под префиксом папки и загружает полную выгрузку заново, поэтому папка повторяет состояние источника на момент запуска. |
| Инкрементальное обновление | Типы отчётов с колонкой даты и папкой, разбитой по датам | Renta удаляет объекты окна перезаписи по префиксу даты и загружает эти дни заново. Дни старше окна остаются как были. |
Отдельно стоит запуск после изменения списка полей. Папка удаляется и собирается заново, а весь период из Date Range загружается ещё раз.
Диагностика ошибок
Renta сводит ответы AWS к короткому набору сообщений в логе запуска.
| Сообщение | Причина | Что делать |
|---|---|---|
| Insufficient permissions for the current credentials to access the specified S3 bucket. Please check your server access credentials, including your AWS Region. | AWS отклонил запрос как неавторизованный. В политике IAM не хватает действия, ключи отозваны или отключены, либо подключение смотрит не в тот регион. | Сверьте политику с четырьмя правами из раздела «Требования», убедитесь, ч то пара ключей активна, и сравните AWS region с регионом бакета. |
| Invalid bucket name. Please check your server access credentials. | Значение в поле AWS Bucket Name не подходит под правила именования бакетов S3. | Укажите голое имя бакета. Уберите схему s3://, путь после имени и завершающий слеш. |
Ready to get started?
Build your data pipeline today or get a personalized demo. Start free!
Need help?
Get expert support to ensure your project succeeds. We're here to help!
Feature requests?
Help shape our product! Share your ideas for new features and integrations.