Renta / Документация / Источники / Webhooks

Webhooks

Renta загружает в ваше хранилище данных события, которые ваши системы отправляют на персональный URL вебхука: каждый принятый запрос становится одной строкой таблицы.

Аутентификация

Источнику Webhooks не нужны внешние учётные данные. Вы создаёте подключение, и Renta выдаёт URL, который принимает события.

На приём вебхуков действует SLA с гарантированной доступностью 99,9%.

Подключение источника Webhooks

Создайте подключение Webhooks и получите URL для событий.

Откройте каталогStep 1
  1. Перейдите в раздел Connections > Catalog в левом меню.
  2. Откройте категорию Event stream и нажмите карточку Webhooks с пометкой Source.

В категории две карточки Webhooks. Карточка с пометкой Destination относится к другому коннектору: он отправляет события из Renta на ваш собственный эндпоинт.

Карточка Webhooks Source в категории Event stream каталога Renta
Заполните форму подключенияStep 2
  1. В поле Source name укажите название источника. Оно используется только в интерфейсе Renta.
  2. Откройте выпадающий список Authorization type.
Страница Add a new Webhooks connection с полем Source name и выпадающим �списком Authorization type
Выберите тип авторизацииStep 3
  1. No authorization.
    URL принимает события без дополнительных учётных данных. Сам URL сложно угадать: в нём два длинных идентификатора.
  2. Custom token.
    Renta дополнительно сохраняет токен, который вы задаёте для этого подключения.
Выпадающий список Authorization type с вариантами No authorization и Custom token
Сохраните подключениеStep 4

Если вы выбрали Custom token, введите его значение в поле Custom token, которое появится под списком. Затем нажмите Save.

Форма подключения Webhooks с заполненным полем Custom token и кнопкой Save
Источник созданStep 5

Новый источник появится в списке Sources со статусом Active. Теперь можно скопировать URL и использовать подключение в пайплайнах.

Список Sources с новым источником Webhooks в статусе Active

URL вебхука

Откройте подключение в списке Sources, чтобы получить адрес, на который ваши системы будут отправлять события. Поле Webhook URL показывает персональный URL этого подключения. Скопируйте его кнопкой справа.

Карточка подключения Webhooks с полем Webhook URL и кнопкой копирования

Укажите этот URL в настройках исходящего вебхука вашей системы. URL принимает POST-запросы с телом в формате JSON:

curl -X POST "<ваш Webhook URL>" \
  -H "Content-Type: application/json" \
  -d '{"event": "order_created", "order_id": 1024, "total": 99.90}'

Renta отвечает сразу, а событие сохраняет в фоне:

{"is_success": true, "event_id": "550e8400-e29b-41d4-a716-446655440000"}

event_id из ответа совпадает со значением колонки Event ID в таблице назначения, поэтому любой запрос можно проследить до его строки.

Детали формата:

  1. Кроме JSON, URL принимает тело в формате application/x-www-form-urlencoded. Поля формы Renta преобразует в JSON перед сохранением.
  2. Если тело запроса не распознаётся как JSON или данные формы, Renta отвечает кодом 400 и не сохраняет событие.
  3. Один запрос всегда становится одной строкой. JSON-массив в теле не разворачивается в несколько строк.

Все входящие вебхуки Renta принимает на собственный приёмный сервис. Он рассчитан на высокую нагрузку и обрабатывает миллиарды событий, поэтому ограничивать отправку на вашей стороне не нужно.

Принятые события хранятся в Renta 30 дней. Если пайплайн сломался или грузил не те поля, у вас есть 30 дней, чтобы починить его и перезагрузить затронутые дни.

Создание пайплайна

Когда источник создан, соберите пайплайн, который перенесёт принятые события в ваше хранилище.

Создание пайплайна Webhooks

Свяжите источник Webhooks с назначением и настройте пайплайн.

Выберите Webhooks в качестве источникаStep 1

В левом меню нажмите New pipeline. На шаге Source выберите Webhooks в списке Already connected и нажмите Next step.

Шаг Select a source со строкой Webhooks в списке Already connected
Выберите подключение WebhooksStep 2

Выберите подключение Webhooks, созданное ранее, и нажмите Next step.

Шаг Select your Webhooks connection с карточкой подключения
Выберите назначениеStep 3

На шаге Destination выберите ваше хранилище (например, Google BigQuery) и нажмите Next step.

Шаг Select a destination с Google BigQuery в списке Already connected
Выберите подключение назначенияStep 4

Выберите подключение, куда Renta будет загружать события, и нажмите Next step.

Шаг Select your Google BigQuery connection

Настройка пайплайна

На последнем шаге выберите поля события, назовите таблицу, задайте период и расписание.

Параметры

Отметьте поля, которые станут колонками таблицы назначения.

Список параметров Webhooks с выбранными полями Event ID, Timestamp, Body и Date
ПолеОписание
Event IDУникальный идентификатор, который Renta присваивает событию при получении. Совпадает с event_id из ответа вебхука.
TimestampДата и время получения события в UTC.
BodyИсходное тело запроса строкой JSON.
DateДата получения события. Партиционирует таблицу назначения и включает инкрементальную загрузку.

Структура вашего события остаётся внутри body. Доставайте нужные ключи JSON-функциями хранилища.

Оставляйте Date выбранным. Без него Renta не сможет партиционировать таблицу назначения, и каждый запуск будет перезагружать весь диапазон дат вместо последних дней.

Название таблицы

Назовите пайплайн и таблицу назначения.

Поля Integration name и Table name пайплайна Webhooks
  1. Integration name.
    Название пайплайна. Используется только в интерфейсе Renta.
  2. Table name.
    Название таблицы назначения. Можно оставить сгенерированное имя или указать своё.

Диапазон дат

Задайте период, который покрывает пайплайн. Диапазон фильтрует события по дате их получения.

Блок Date Range с полем Date start и списком Date end со значением Today
  1. Date start.
    Первая дата периода.
  2. Date end.
    Последняя дата периода. Оставьте Today, чтобы конец периода сдвигался с каждым запуском.

История начинается с того дня, когда ваш URL вебхука принял первое событие. Принятые события Renta хранит 30 дней, поэтому запуск загружает только дни внутри этого окна.

Период перезаписи

События продолжают приходить и после завершения запуска. Окно перезаписи заставляет следующий запуск перечитать последние дни, поэтому строки, принятые между запусками, попадают в таблицу.

Список Overwrite Period со значением Last 1 day

Выберите, сколько последних дней перезагружает каждый запуск. Значение по умолчанию Last 1 day покрывает события, принятые после предыдущего ежедневного запуска.

Расписание

Выберите, как часто запускается пайплайн.

Выбор типа расписания Webhooks с отмеченным вариантом Daily
Тип расписанияОписание
ManualПайплайн запускается только вручную через интерфейс или по API.
DailyПайплайн запускается раз в день в указанное время.
IntervalПайплайн запускается через заданные интервалы времени.
Cron expressionПайплайн запускается по расписанию, заданному cron-выражением.

Для расписания Daily укажите Update time (точное время запуска) и нажмите Create pipeline.

Выбор Update time и кнопка Create pipeline

Renta также поддерживает запуск по API и интеграцию с внешними оркестраторами, такими как Apache Airflow, Dagster и Prefect. Подробности в документации по расписаниям.

Новый пайплайн появится в разделе Pipelines на вкладке ETL. Там видны его запуски, прогресс и название таблицы назначения.

Список Pipelines с новой интеграцией Webhooks в статусе Completed

Стратегия синхронизации

Стратегия загрузки зависит от того, выбран ли параметр Date.

СтратегияПоддерживаемые типы отчётовОписание
Инкрементальное обновлениеСобытия вебхуков (с выбранным параметром Date)Таблица назначения партиционирована по дате. Каждый запуск перечитывает дни внутри окна перезаписи, от даты предыдущего запуска минус период перезаписи до конца периода, и заменяет соответствующие партиции. Более ранние дни Renta не трогает.
Полная перезагрузкаСобытия вебхуков (без параметра Date)Без колонки с датой таблицу нельзя партиционировать, поэтому каждый запуск читает весь выбранный диапазон дат и заменяет содержимое таблицы.
Часто задаваемые вопросы

Ready to get started?

Build your data pipeline today or get a personalized demo. Start free!

Need help?

Get expert support to ensure your project succeeds. We're here to help!

Feature requests?

Help shape our product! Share your ideas for new features and integrations.