Назначение Google Cloud Storage

Renta записывает данные из любого подключённого источника в ваш бакет Google Cloud Storage в виде Parquet-объектов, раскладывает их по папке на пайплайн и обновляет на каждом запуске.

Каждый запрос к бакету Renta подписывает ключом сервисного аккаунта, который вы загружаете один раз. Ничего в бакете не нужно открывать наружу, аккаунт Google конкретного человека не задействован.

Требования

Подключению нужны ключ сервисного аккаунта, уже созданный бакет и две роли IAM для этого сервисного аккаунта.

1. Сервисный аккаунт с JSON-ключом.
   В Google Cloud Console откройте IAM & Admin > Service Accounts, создайте сервисный аккаунт или выберите существующий, затем на вкладке Keys нажмите Add key > Create new key и выберите тип JSON. Скачанный файл вы и загрузите в Renta.
2. Storage Object Admin на бакете.
   Renta просматривает, загружает и удаляет объекты внутри своих папок. Выдайте роль roles/storage.objectAdmin на бакете или на проекте, если Renta будет писать не только в этот бакет.
3. Viewer на проекте.
   Страница подключения показывает список бакетов проекта, а для этого нужно право storage.buckets.list. Его даёт предопределённая роль Viewer (roles/viewer). Без неё список бакетов остаётся пустым.
4. Существующий бакет.
   Renta не создаёт бакет. Она создаёт только папки внутри него.

Подключение Google Cloud Storage в качестве назначения

Подключение хранит один ключ сервисного аккаунта, один проект и один бакет.

Откройте каталогStep 1

1. В консоли Renta откройте Connections > Catalog в левом меню.
2. Раскройте категорию Data lake и нажмите карточку Google Cloud Storage.

Загрузите ключ сервисного аккаунтаStep 2

Нажмите Upload a Service Account JSON file и выберите ключ, скачанный из Google Cloud.

Renta сразу проверяет ключ в Google. Файл без полей ключа сервисного аккаунта или ключ, который Google отклонил, возвращает ошибку на этой же странице, и ничего не сохраняется. Рабочий ключ открывает настройки подключения.

Выберите проект и бакетStep 3

1. Destination name.
   Название, которое используется только внутри консоли Renta.
2. Google Cloud Storage project.
   Проект ключа выбран заранее. Другие проекты появляются в списке, если сервисный аккаунт их видит.
3. Google Cloud Storage bucket name.
   Выберите бакет, в который пишет Renta. В списке показаны бакеты выбранного проекта.

Нажмите Save.

При нажатии Save Renta создаёт и удаляет в бакете служебную папку вашим ключом. Ключ без права записи в бакет возвращает ошибку сразу, а не на первом запуске пайплайна.

Проверьте подключениеStep 4

Подключение появляется в списке Destinations со статусом Active и готово к пайплайнам. Подключение, у которого бакет ещё не выбран, остаётся неактивным и в мастере пайплайна не предлагается.

Замена ключа

Откройте подключение в разделе Destinations и нажмите Upload a new Service Account JSON file вверху страницы настроек. Renta проверяет новый ключ на сохранённом бакете до того, как заменить старый, поэтому ключ без права записи отклоняется, а старый остаётся на месте. Проект и бакет при этом не меняются.

Создание пайплайна в Google Cloud Storage

В шагах ниже источником служит Currency Exchange Rates, для любого другого источника последовательность та же.

Выберите источник и его подключениеStep 1

В левом меню нажмите New pipeline. Оставьте вкладку ETL, выберите источник в блоке Already connected, затем подключение, из которого читать, и нажмите Next step.

Выберите подключение Google Cloud StorageStep 2

На шаге Destination выберите Google Cloud Storage в блоке Already connected, затем нужное подключение. На карточке показаны имя бакета, email сервисного аккаунта и проект.

Задайте имя папки и создайте пайплайнStep 3

Заполните настройки источника, затем настройки пайплайна:

1. Integration name.
   Отображаемое название пайплайна в консоли Renta.
2. Table name.
   Для озера данных это имя папки внутри бакета. Оставьте сгенерированное имя или введите своё.
3. Date range, Overwrite period и Schedule работают так же, как для любого другого назначения. Типы расписаний описаны на странице расписания пайплайнов.

Нажмите Create pipeline. Пайплайн появляется в разделе Pipelines на вкладке ETL вместе с именем папки, прогрессом запуска и числом извлечённых строк.

Раскладка в бакете

Всё, что пишет пайплайн, лежит под его собственной папкой, а устройство внутри зависит от того, есть ли у данных дата.

Префикс с датой и делает окно перезаписи дешёвым: Renta убирает объекты только затронутых дней, а не всю папку. Такую же раскладку ожидают внешние таблицы BigQuery, Dataproc и Spark, поэтому партиции находятся без дополнительной настройки.

Рядом с папкой Renta держит объект нулевого размера с точно таким же именем. Он помечает папку и данных не содержит.

Стратегия синхронизации

Способ обновления папки зависит от источника и от настроек пайплайна.

Отдельно стоит запуск после изменения списка полей. Папка удаляется и собирается заново, а весь период из Date Range загружается ещё раз.

Диагностика ошибок

Большинство проблем проявляется на странице подключения, до запуска пайплайнов.