Настройка схемы данных

Renta предоставляет гибкие инструменты для определения того, какие данные и в каком виде будут загружены в ваше хранилище. Вы можете довериться нашему опыту, выбрав готовые шаблоны, или полностью контролировать процесс, настраивая каждое поле самостоятельно.

Режимы настройки схемы

При создании интеграции вам доступны два основных подхода к формированию схемы данных:

Pre-built templates (Готовые шаблоны)

Это рекомендуемый способ для быстрого старта. Шаблоны — это проверенные конфигурации, разработанные аналитиками Renta.

1. Автоматизация. Renta сама создаст необходимые пайплайны, таблицы в Data Warehouse и настроит связи между ними.

2. Best practices. Схема уже содержит все необходимые поля для построения стандартной отчетности (например, объединяет статистику объявлений с метаданными кампаний).

3. Экономия времени. Вам не нужно изучать документацию API источника, чтобы понять, какие поля нужны для отчета.

Custom schema (Ручная настройка)

Подходит для продвинутых пользователей, которым нужен полный контроль.

1. Выбор таблиц. Вы сами определяете, какие эндпоинты API или таблицы базы данных нужно выгружать.

2. Фильтрация полей. Возможность исключить ненужные колонки (PII данные, служебные поля) для оптимизации затрат на хранение.

Использование Pre-built templates

Шаблоны выбираются на этапе настройки источника данных. Рассмотрим процесс на примере интеграции, где шаблон автоматически разворачивает сложную структуру данных.

Создание пайплайна из шаблона

Использование готового шаблона для автоматического создания схемы данных.

Выберите Pre-built templatesStep 1

В мастере создания пайплайна, на этапе настройки интеграции, в поле Integration type выберите опцию Pre-built templates.

Выберите шаблонStep 2

В появившемся списке шаблонов выберите подходящий для вашей задачи (например, LinkedIn Ads Performance Report). Renta покажет описание шаблона и список таблиц, которые будут созданы.

Завершите созданиеStep 3

Нажмите Create pipeline. Система автоматически создаст и настроит все необходимые потоки данных.

Schema mapping

Независимо от того, выбрали вы шаблон или создавали интеграцию вручную, вы всегда можете изменить состав выгружаемых полей. Это позволяет адаптировать данные под изменившиеся бизнес-требования.

Обработка изменений схемы (Schema drift)

Renta автоматически обрабатывает изменения в структуре данных:

1. Добавление полей. Если вы добавили новое поле в настройках маппинга, Renta автоматически добавит соответствующую колонку в таблицу назначения при следующей загрузке (ADD COLUMN).

2. Типы данных. Renta автоматически приводит типы данных источника к типам данных хранилища (BigQuery, Snowflake и др.), обеспечивая совместимость.