Google BigQuery destination

Узнайте, как подключить ваше хранилище данных Google BigQuery в качестве назначения (Destination) в Renta ELT.

Предварительные требования

Перед началом работы убедитесь, что у вас есть:

1. Проект Google Cloud Platform (GCP).
2. Доступ к платформе Renta ELT.

Необходимые роли

Выдайте обе роли ниже той учётной записи, которая подключается к Renta: сервисному аккаунту или аккаунту Google, через который вы входите. Выдавайте их на уровне проекта, а не на отдельный датасет.

Какой датасет использует Renta

При подключении через сервисный аккаунт Renta выбирает датасет, в который назначение загружает данные:

1. Если в проекте есть датасет с именем Renta_dataset, Renta использует его.
2. Если в проекте есть другие датасеты, Renta использует первый по имени и ничего не создаёт. Измените его в поле BigQuery dataset после создания подключения.
3. Если ключ не видит ни одного датасета, Renta создаёт Renta_dataset в выбранном расположении Data Location, чтобы в проекте было куда загружать данные.

Для создания датасета нужно право bigquery.datasets.create, а роль BigQuery Data Editor даёт его только на уровне проекта. В пустом проекте ключ с доступом на уровне датасета завершает подключение ошибкой User does not have bigquery.datasets.create permission in project <project ID>.

Доступ на уровне датасета

Если политика безопасности не допускает доступ к данным на уровне проекта, дайте сервисному аккаунту доступ только к нужным датасетам:

1. Если датасета для Renta ещё нет, создайте его в проекте, например Renta_dataset. Выберите то расположение, которое укажете в Renta.
2. Выдайте сервисному аккаунту роль BigQuery Data Editor на этот датасет.
3. Выдайте сервисному аккаунту роль BigQuery Job User на уровне проекта. Задания всегда выполняются на уровне проекта, поэтому у этой роли нет варианта на уровне датасета.

Renta использует датасет, который видит ключ, и ничего не создаёт.

Добавление назначения Google BigQuery через Service Account

Следуйте этим шагам, чтобы подключить ваш проект Google BigQuery к Renta ELT, используя Service Account.

Перейдите в раздел DestinationsStep 1

Войдите в платформу Renta ELT и перейдите в раздел Destinations в левом боковом меню. Нажмите кнопку + Add destination в правом верхнем углу.

Выберите Google BigQueryStep 2

В каталоге назначений найдите и выберите Google BigQuery из списка доступных интеграций.

Выберите Service AccountStep 3

Выберите GCP Service Account в качестве метода авторизации. Это рекомендуемый метод для рабочих сред.

В поле Data Location выберите регион или мультирегион для Renta_dataset. Renta создаст датасет там, только если в проекте ещё нет ни одного датасета. Поле необязательное.

Нажмите Upload a Service Account JSON file и выберите файл ключа JSON, который вы создали в Google Cloud Console. Renta читает ID проекта из ключа и проверяет, что ключ даёт доступ к проекту и датасету.

Настройте назначениеStep 4

После загрузки ключа ID проекта будет определен автоматически (или вам может потребоваться его подтвердить). Заполните оставшиеся детали конфигурации:

Поле	Описание
Destination name	Укажите имя для этого назначения (например, Marketing Data Warehouse).
BigQuery project	ID проекта из вашего сервисного аккаунта.
BigQuery dataset	Датасет, в который Renta загружает данные. После загрузки ключа это Renta_dataset или первый существующий датасет проекта. Выберите другой датасет, если у сервисного аккаунта есть к нему доступ.
Data Location	(Опционально) Расположение Renta_dataset. Renta создаёт датасет там, только если ключ не видит в проекте ни одного датасета.

Нажмите Save, чтобы завершить настройку.

Проверьте подключениеStep 5

Вы будете перенаправлены к списку назначений. Убедитесь, что ваше новое назначение BigQuery появилось в списке со статусом Active.

Добавление назначения Google BigQuery через OAuth

Следуйте этим шагам, чтобы подключить ваш проект Google BigQuery к Renta ELT, используя вашу учетную запись Google.

Перейдите в раздел DestinationsStep 1

Войдите в платформу Renta ELT и перейдите в раздел Destinations в левом боковом меню. Нажмите кнопку + Add destination в правом верхнем углу.

Выберите Google BigQueryStep 2

В каталоге назначений найдите и выберите Google BigQuery из списка доступных интеграций.

Авторизуйтесь через GoogleStep 3

Выберите Authenticate with Google Account в качестве метода авторизации. Этот вариант позволяет быстро подключиться, используя ваш личный доступ.

Нажмите кнопку Log in to your Google BigQuery account, чтобы продолжить.

Предоставьте доступStep 4

Появится окно авторизации Google. Выберите свой аккаунт Google и нажмите Allow (Разрешить), чтобы предоставить Renta необходимые права для управления данными в BigQuery.

Настройте назначениеStep 5

После успешной авторизации заполните форму настройки:

Поле	Описание
Destination name	Укажите имя для этого назначения (например, Marketing Data Warehouse). Оно используется только в интерфейсе Renta.
BigQuery project	Выберите проект Google Cloud, который вы хотите использовать.
BigQuery dataset	Выберите существующий датасет или создайте новый, куда будут загружаться данные.
Data Location	(Опционально) Выберите географическое расположение вашего датасета. Если в проекте нет датасетов, будет создан Renta_dataset в указанном регионе.

Нажмите Save, чтобы завершить настройку.

Проверка подключения

После сохранения назначения вы будете перенаправлены к списку назначений. Теперь вы можете использовать это подключение Google BigQuery при создании пайплайнов.

Дополнительные материалы