Планирование
Renta предоставляет гибкие и мощные возможности для автоматизации запуска ваших пайплайнов передачи данных. Вы можете настроить расписание в соответствии с вашими бизнес-требованиями — от ручных запусков до сложных расписаний с использованием cron-выражений.
Типы расписаний
Renta предлагает четыре типа расписаний для автоматизации запуска пайплайнов: Manual, Daily, Interval и Cron Expression. Каждый тип предназначен для конкретных сценариев использования и обеспечивает различные уровни автоматизации и гибкости.
Manual (Ручной запуск)
Пайплайн запускается только вручную через интерфейс или через API.
Когда использовать:
- Для пайплайнов, которые запускаются по требованию
- Для интеграции с внешними системами оркестрации данных (Airflow, Prefect и т.д.)
- Для тестирования и отладки пайплайнов
- Для разовых миграций данных
Daily (Ежедневный запуск)
Пайплайн запускается один раз в день в указанное время.
Когда использовать:
- Для ежедневной синхронизации данных
- Для обновления дашбордов и отчетов в определенное время
- Для ночных загрузок данных
Настройки:
| Пара метр | Описание |
|---|---|
| Update time | Точное время запуска пайплайна (выбирается из выпадающего списка). С 12 AM до 11 PM с шагом в 1 час. Всего 24 варианта времени (каждый час суток) |
Interval (Интервальный запуск)
Пайплайн запускается с заданным временным интервалом.
Когда использовать:
- Для частых обновлений данных (каждые 15 минут, каждый час)
- Для потоковой аналитики и мониторинга
- Для синхронизации данных в реальном времени
Настройки:
| Параметр | Описание |
|---|---|
| Set interval | Числовое значение интервала (например, 15, 3, 1) |
| Time unit | Единица измерения времени: Minute(s) — минуты (для высокочастотных обновлений), Hour(s) — часы (для обновлений несколько раз в день), Day(s) — дни (для еженедельных синхронизаций), Week(s) — недели (для редких обновлений) |
Cron Expression (Cron-выражение)
Пайплайн запускается по расписанию, заданному с помощью cron-выражения. Это дает максимальную гибкость в настройке сложных расписаний.
Когда использовать:
- Для сложных расписаний (например, по определенным дням недели)
- Для запусков в первый день месяца
- Для нестандартных временных паттернов
Настройки:
| Параметр | Описание |
|---|---|
| Cron expression | Cron-выражение в стандартном формате |
Формат cron-выражения:
* * * * *
│ │ │ │ │
│ │ │ │ └─── День недели (0-7, где 0 и 7 = воскресенье)
│ │ │ └───── Месяц (1-12)
│ │ └─────── День месяца (1-31)
│ └───────── Час (0-23)
└─────────── Минута (0-59)Примеры cron-выражений:
| Выражение | Описание |
|---|---|
| 0 /3 | Каждые 3 часа (в 0:00, 3:00, 6:00 и т.д.) |
| 0 0 /3 * | Каждые 3 дня в полночь |
| 0 9 1 | Каждый понедельник в 9:00 |
| 0 0 1 | Первого числа каждого месяца в полночь |
| 0 0 0 | Каждое воскресенье в полночь |
| 30 14 1-5 | С понедельника по пятницу в 14:30 |
| 0 0 1 1 * | 1 января каждого года в полночь |
| /15 * | Каждые 15 минут |
Рекомендации по выбору типа расписания
Выбор правильного типа расписания зависит от ваших бизнес-требований и частоты обновления данных. В таблице ниже приведены рекомендации, которые помогут вам выбрать оптимальный тип расписания для различных сценариев использования.
| Требование | Рекомендуемый тип | Альтернатива |
|---|---|---|
| Ежедневные обновления в одно и то же время | Daily | Cron Expression |
| Обновления несколько раз в день с равными интервалами | Interval | Cron Expression |
| Сложные расписания (определенные дни недели/месяца) | Cron Expression | — |
| Запуск по требованию или из внешней системы | Manual | — |
| Очень частые обновления (каждые 15-30 минут) | Interval | — |
| Обновления в рабочие дни | Cron Expression | — |
Настройка расписания пайплайна
Следуйте этим шагам, чтобы настроить автоматический запуск вашего пайплайна.
В разделе Pipelines найдите нужный пайплайн в списке. Нажмите на кнопку с тремя точками (⋮) справа от пайплайна и выберите Edit из выпадающего меню.
Прокрутите страницу до раздела Schedule. Выберите один из четырех типов расписания: Manual, Daily, Interval или Cron Expression. Заполните необходимые параметры (например, для типа Interval укажите интервал и единицу измерения времени). После настройки нажмите кнопку Update pipeline внизу страницы.
Интеграция с внешними системами
Renta позволяет интегрироваться с внешними системами оркестрации данных, такими как Apache Airflow, Prefect или другими инструментами. Вы можете запускать пайплайны программно через REST API или встраивать их в существующие рабочие процессы.
Запуск через API
Если вы используете Manual режим, вы можете запускать пайплайн программно через REST API Renta:
curl --location 'https://api.eu.renta.im/v1/etl/source/{source_name}/run_integration' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_API_TOKEN' \
--data '{
"integration_id": "your-integration-id",
"full_refresh": false,
"run_type": "manual"
}'Интеграция с Airflow
Вы можете создать DAG в Apache Airflow, который будет вызывать API Renta для запуска пайплайнов:
from airflow import DAG
from airflow.operators.http_operator import SimpleHttpOperator
import json
with DAG('renta_pipeline_dag', schedule_interval='@daily') as dag:
trigger_renta = SimpleHttpOperator(
task_id='trigger_renta_pipeline',
http_conn_id='renta_api',
endpoint='/v1/etl/source/google_ads/run_integration',
method='POST',
headers={
"Authorization": "Bearer YOUR_API_TOKEN",
"Content-Type": "application/json"
},
data=json.dumps({
"integration_id": "your-integration-id",
"full_refresh": False,
"run_type": "manual"
})
)Ready to get started?
Build your data pipeline today or get a personalized demo. Start free!
Need help?
Get expert support to ensure your project succeeds. We're here to help!
Feature requests?
Help shape our product! Share your ideas for new features and integrations.