Renta / Документация / Пайплайны

Планирование

Renta предоставляет гибкие и мощные возможности для автоматизации запуска ваших пайплайнов передачи данных. Вы можете настроить расписание в соответствии с вашими бизнес-требованиями — от ручных запусков до сложных расписаний с использованием cron-выражений.

Типы расписаний

Renta предлагает четыре типа расписаний для автоматизации запуска пайплайнов: Manual, Daily, Interval и Cron Expression. Каждый тип предназначен для конкретных сценариев использования и обеспечивает различные уровни автоматизации и гибкости.

Manual (Ручной запуск)

Пайплайн запускается только вручную через интерфейс или через API.

Когда использовать:

  1. Для пайплайнов, которые запускаются по требованию
  2. Для интеграции с внешними системами оркестрации данных (Airflow, Prefect и т.д.)
  3. Для тестирования и отладки пайплайнов
  4. Для разовых миграций данных

Daily (Ежедневный запуск)

Пайплайн запускается один раз в день в указанное время.

Когда использовать:

  1. Для ежедневной синхронизации данных
  2. Для обновления дашбордов и отчетов в определенное время
  3. Для ночных загрузок данных

Настройки:

ПараметрОписание
Update timeТочное время запуска пайплайна (выбирается из выпадающего списка). С 12 AM до 11 PM с шагом в 1 час. Всего 24 варианта времени (каждый час суток)

Interval (Интервальный запуск)

Пайплайн запускается с заданным временным интервалом.

Когда использовать:

  1. Для частых обновлений данных (каждые 15 минут, каждый час)
  2. Для потоковой аналитики и мониторинга
  3. Для синхронизации данных в реальном времени

Настройки:

ПараметрОписание
Set intervalЧисловое значение интервала (например, 15, 3, 1)
Time unitЕдиница измерения времени: Minute(s) — минуты (для высокочастотных обновлений), Hour(s) — часы (для обновлений несколько раз в день), Day(s) — дни (для еженедельных синхронизаций), Week(s) — недели (для редких обновлений)

Минимальный рекомендуемый интервал — 15 минут. Для более частых обновлений используйте streaming-решения.

Cron Expression (Cron-выражение)

Пайплайн запускается по расписанию, заданному с помощью cron-выражения. Это дает максимальную гибкость в настройке сложных расписаний.

Когда использовать:

  1. Для сложных расписаний (например, по определенным дням недели)
  2. Для запусков в первый день месяца
  3. Для нестандартных временных паттернов

Настройки:

ПараметрОписание
Cron expressionCron-выражение в стандартном формате

Формат cron-выражения:

* * * * *
│ │ │ │ │
│ │ │ │ └─── День недели (0-7, где 0 и 7 = воскресенье)
│ │ │ └───── Месяц (1-12)
│ │ └─────── День месяца (1-31)
│ └───────── Час (0-23)
└─────────── Минута (0-59)

Примеры cron-выражений:

ВыражениеОписание
0 /3 Каждые 3 часа (в 0:00, 3:00, 6:00 и т.д.)
0 0 /3 *Каждые 3 дня в полночь
0 9 1Каждый понедельник в 9:00
0 0 1 Первого числа каждого месяца в полночь
0 0 0Каждое воскресенье в полночь
30 14 1-5С понедельника по пятницу в 14:30
0 0 1 1 *1 января каждого года в полночь
/15 *Каждые 15 минут

Рекомендации по выбору типа расписания

Выбор правильного типа расписания зависит от ваших бизнес-требований и частоты обновления данных. В таблице ниже приведены рекомендации, которые помогут вам выбрать оптимальный тип расписания для различных сценариев использования.

ТребованиеРекомендуемый типАльтернатива
Ежедневные обновления в одно и то же времяDailyCron Expression
Обновления несколько раз в день с равными интерваламиIntervalCron Expression
Сложные расписания (определенные дни недели/месяца)Cron Expression—
Запуск по требованию или из внешней системыManual—
Очень частые обновления (каждые 15-30 минут)Interval—
Обновления в рабочие дниCron Expression—

Настройка расписания пайплайна

Следуйте этим шагам, чтобы настроить автоматический запуск вашего пайплайна.

Откройте настройки пайплайнаStep 1

В разделе Pipelines найдите нужный пайплайн в списке. Нажмите на кнопку с тремя точками (⋮) справа от пайплайна и выберите Edit из выпадающего меню.

Откройте настройки пайплайна
Настройте расписание и сохранитеStep 2

Прокрутите страницу до раздела Schedule. Выберите один из четырех типов расписания: Manual, Daily, Interval или Cron Expression. Заполните необходимые параметры (например, для типа Interval укажите интервал и единицу измерения времени). После настройки нажмите кнопку Update pipeline внизу страницы.

Настройте расписание и сохраните

Интеграция с внешними системами

Renta позволяет интегрироваться с внешними системами оркестрации данных, такими как Apache Airflow, Prefect или другими инструментами. Вы можете запускать пайплайны программно через REST API или встраивать их в существующие рабочие процессы.

Запуск через API

Если вы используете Manual режим, вы можете запускать пайплайн программно через REST API Renta:

curl --location 'https://api.eu.renta.im/v1/etl/source/{source_name}/run_integration' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_API_TOKEN' \
--data '{
    "integration_id": "your-integration-id",
    "full_refresh": false,
    "run_type": "manual"
}'

Для использования API необходимо сгенерировать API ключ. Замените YOUR_API_TOKEN на ваш реальный API ключ.

Интеграция с Airflow

Вы можете создать DAG в Apache Airflow, который будет вызывать API Renta для запуска пайплайнов:

from airflow import DAG
from airflow.operators.http_operator import SimpleHttpOperator
import json

with DAG('renta_pipeline_dag', schedule_interval='@daily') as dag:
    trigger_renta = SimpleHttpOperator(
        task_id='trigger_renta_pipeline',
        http_conn_id='renta_api',
        endpoint='/v1/etl/source/google_ads/run_integration',
        method='POST',
        headers={
            "Authorization": "Bearer YOUR_API_TOKEN",
            "Content-Type": "application/json"
        },
        data=json.dumps({
            "integration_id": "your-integration-id",
            "full_refresh": False,
            "run_type": "manual"
        })
    )
Часто задаваемые вопросы

Ready to get started?

Build your data pipeline today or get a personalized demo. Start free!

Need help?

Get expert support to ensure your project succeeds. We're here to help!

Feature requests?

Help shape our product! Share your ideas for new features and integrations.