Google BigQuery как источник Reverse ETL

Renta читает модель данных из вашего проекта Google BigQuery и синхронизирует её строки в бизнес-инструмент через reverse-ETL пайплайн.

Модель данных это сохранённый запрос вместе с обвязкой: список колонок, уникальный ключ, по которому строка опознаётся между запусками, и описания, которые читают AI-агенты. Одна модель может питать несколько пайплайнов.

Подключение

Reverse-ETL пайплайн читает из того же подключения Google BigQuery, что и ETL-пайплайны. Коннектор BigQuery один, и он показывается на обеих вкладках каталога.

Если подключения BigQuery в воркспейсе ещё нет, создайте его. Роли сервисного аккаунта и выбор проекта с датасетом описаны на странице источника Google BigQuery.

Создание модели данных

Модели живут в разделе Tools > Data models. Список показывает, сколько всего моделей, какие из них видны AI-агентам и какие доступны reverse-ETL.

Нажмите New model, чтобы открыть мастер.

Задайте запрос

Первый шаг выбирает подключение и то, что из него читать.

1. Source.
   Подключение BigQuery, из которого читает модель. После создания модели поменять его нельзя.
2. Query type.
   SQL query для запроса, который вы пишете сами, или Table or view, чтобы синхронизировать готовый объект как есть. Вариант dbt Cloud пока недоступен.

Renta принимает один запрос только на чтение. Запрос из нескольких стейтментов или с любой операцией записи внутри отклоняется при переходе на следующий шаг.

Проверьте результат

Кнопка Run preview выполняет запрос и показывает первые строки вместе со стоимостью выполнения.

В подвале указаны обработанные байты, оплаченные байты, оценка стоимости, признак попадания в кеш и идентификатор job, поэтому дорогая модель показывает свою цену до того, как на ней построят пайплайн.

Выберите scope

Scope определяет, кому доступна модель.

Пайплайн показывает только модели со scope Reverse ETL only или AI agents & Reverse ETL, поэтому модель, оставленная на AI agents only, в списке Data model не появится.

Подтвердите колонки и ключ

Шаг схемы показывает колонки, которые возвращает запрос, с примером значения и признаком nullable для каждой.

В колонке Unique выберите поле, по которому строка опознаётся между запусками. Оно нужно Renta, чтобы отличить обновлённую строку от новой, и выбор проверяется при переходе дальше, а не принимается на веру.

NULL проверяются первыми, поэтому колонка с обеими проблемами сообщит про NULL и промолчит про дубли, пока вы их не почините.

Опишите модель

Метаданные это то, по чему модель понимают коллега и AI-агент.

1. Model name.
   Как на модель ссылаются пайплайны и инструменты агентов. Нижний регистр с подчёркиваниями.
2. Description.
   Что модель собой представляет и когда её использовать. Поддерживается markdown.
3. Column descriptions.
   Необязательные описания колонок. Кнопка Auto-generate with AI заполняет их по запросу и примерам данных.

Правая панель показывает превью tool definition, который получит агент, а счётчик токенов показывает, сколько контекста агента займёт модель.

Сохраните модель

Готовая модель появляется в списке со своим scope, количеством строк и временем последнего обновления.

Любую часть можно поменять позже на вкладках Query, Schema & key, Metadata и Measures.

Использование модели в пайплайне

Когда модель сохранена, reverse-ETL пайплайн связывает её с бизнес-инструментом.

Настройки после этого относятся к назначению. Маппинг полей и параметры синхронизации описаны на странице каждого назначения.

Что запуск оставляет в вашем проекте

Reverse-ETL запуск работает внутри вашего проекта BigQuery и не только читает из него, но и пишет в него.

Каждый запуск материализует таблицу плана с тем, что нужно отправить, и таблицу отклонений со строками, которые назначение не приняло. Обе таблицы Renta держит за текущий и предыдущий запуск, а более старые удаляет. После первой удачной синхронизации таких таблиц две, начиная со второго запуска их четыре.

Чтение модели стоит столько же, сколько стоит её запрос, и так на каждом запуске. Подвал превью это самое дешёвое место, чтобы это выяснить.