Yandex Metrica Logs API
Renta позволяет выгружать сырые данные Яндекс Метрики через Logs API в хранилище данных: неагрегированные записи о визитах (visits) и событиях (hits), включая источники трафика, UTM-метки, данные о кликах Яндекс Директа, атрибуты устройств и географии, цели и поля электронной торговли.
Аутентификация
Renta использует OAuth для аутентификации в Яндексе. Вы будете перенаправлены на страницу Яндекса, чтобы предоставить Renta ограниченный доступ к счётчикам Яндекс Метрики.
Подключение источника Yandex Metrica Logs API
Выполните эти шаги, чтобы добавить Yandex Metrica Logs API как источник в Renta с авторизацией через OAuth.
- Откройте раздел Connections > Catalog в левом меню.
- Выберите категорию Analytics и нажмите на карточку Yandex Metrica Logs API.
Нажмите Log in to your Yandex Metrica Logs API account. Вы будете перенаправлены на страницу Яндекса для выдачи доступа.
Яндекс показывает экран входа со списком доступов, которые запрашивает Renta, включая чтение статистики своих и доверенных счётчиков. Выберите аккаунт с доступом к нужным счётчикам Яндекс Метрики и подтвердите вход. После этого вы вернётесь в Renta.
Завершите настройку:
- Source name.
Укажите имя источника данных. Оно используется только в интерфейсе Renta. - Access granted.
Убедитесь, что аккаунт подключён успешно.
Нажмите Save, чтобы завершить.
Новый источник появляется в списке Sources со статусом Active. Теперь его можно использовать в пайплайнах.
Создание пайплайна
После подключения источника создайте пайплайн, чтобы выгружать данные Yandex Metrica Logs API в ваше назначение.
Создание пайплайна Yandex Metrica Logs API
Свяжите источник Yandex Metrica Logs API с назначением и настройте пайплайн.
В левом меню нажмите New pipeline. На шаге Source выберите Yandex Metrica Logs API в списке Already connected и нажмите Next step.
Выберите созданное ранее подключение Yandex Metrica Logs API и нажмите Next step.
На шаге Destination выберите ваше назначение (например, Google BigQuery) и нажмите Next step.
Выберите подключение назначения, в которое нужно загружать данные, и нажмите Next step.
Настройка пайплайна
На последнем шаге выберите, какие данные Яндекс Метрики выгружать и как Renta будет их загружать.
Настройка отчёта
Укажите счётчик и тип отчёта.
- Ad accounts.
Выберите счётчик Яндекс Метрики, из которого выгружать данные. В списке показаны счётчики, доступные подключённому аккаунту Яндекса. - Report Types.
Выберите тип сырых данных для выгрузки.
| Тип отчёта | Описание |
|---|---|
| Visits (визиты) | Одна строка на визит. Поля включают идентификаторы визита, дату и время, страницы входа и выхода, источники трафика и UTM-метки, данные о кликах Яндекс Директа, атрибуты устройства, браузера и географии, цели, покупки и товары электронной торговли, а также офлайн-звонки. |
| Hits (просмотры) | Одна строка на событие (просмотр страницы). Поля включают URL и заголовок страницы, реферер, UTM-метки, атрибуты устройства, браузера и экрана, географию и флаги: клики по внешним ссылкам, загрузки файлов, признаки просмотра. |
Параметры
Выберите поля Logs API, которые попадут в таблицу назначения. Схема датасета определяется выбранными здесь параметрами.
Список Parameters показывает все поля, доступные для выбранного типа отчёта: более 130 полей визитов для Visits и более 80 полей событий для Hits. Отметьте нужные поля, найдите поле по имени через поиск или нажмите Select All. Вкладка Selected показывает всё выбранное, а список Selected Parameters под пикером позволяет убрать поле.
Renta также добавляет в список датовые поля: date, а также поля года, квартала, месяца, недели и дня, которые вычисляются из даты визита или события.
Поля, зависящие от мод ели атрибуции (источник трафика, UTM-метки и данные о кликах Яндекс Директа), представлены в списке отдельными вариантами для каждой модели: последний значимый источник, первый источник, последний источник и другие. Выбирайте варианты той модели атрибуции, которую используете.
В таблице назначения имена колонок повторяют API-имена полей без префиксов ym:s: и ym:pv:: ym:s:visitID становится visitID.
Имя таблицы и диапазон дат
Назовите пайплайн и задайте исторический период загрузки.
- Integration name.
Имя пайплайна. Используется только в интерфейсе Renta. - Table name.
Имя таблицы назначения. Можно оставить автоматически сгенерированное имя или указать своё. - Date start.
Первая дата периода выгрузки. - Date end.
Последняя дата периода выгрузки. Установите значение Yesterday.
При со здании пайплайна Renta проверяет настройки через Logs API: счётчик должен быть способен подготовить лог за запрошенный период с выбранными полями. Logs API принимает периоды не длиннее одного года на запрос, а точный лимит зависит от объёма данных счётчика. Если период слишком большой, вы получите ошибку валидации: сократите диапазон дат и попробуйте снова.
Период перезаписи
Период перезаписи определяет, сколько последних дней Renta перезагружает при каждом запуске. Настройка появляется после выбора параметра Date.
При каждом запуске Renta заново запрашивает данные начиная с даты последнего успешного запуска минус период перезаписи. Затронутые дни удаляются из таблицы назначения и вставляются заново, а более старые данные остаются нетронутыми. Варианты: от Without overwrite data до Overwrite all data; значение по умолчанию Last 1 day.
Расписание
Выберите, как часто запускается пайплайн.
| Тип расписания | Описание |
|---|---|
| Manual | Пайплайн запускается только вручную через интерфейс или по API. |
| Daily | Пайплайн запускается раз в день в указанное время обновления. |
| Interval | Пайплайн запускается через заданные интервалы времени. |
| Cron Expression | Пайплайн запускается по расписанию, заданному cron-выражением. |
Для расписания Daily укажите Update time (точное время запуска), затем нажмите Create pipeline.
Новый пайплайн появляется в разделе Pipelines на вкладке ETL, где можно отслеживать запуски, прогресс и имя таблицы назначения.
Как устроена выгрузка
Данные логов готовятся на стороне Яндекса, поэтому каждый запуск проходит в несколько шагов.
- Renta создаёт лог-запрос на счётчике за окно выгрузки с выбранными полями.
- Яндекс готовит лог асинхронно. Renta ждёт обработки запроса, проверяя его статус до 60 минут.
- Renta скачивает все части подготовленного лога и загружает их в назначение.
- Renta удаляет подготовленный лог-запрос со счётчика, поэтому подготовленные логи не накапливаются и не расходуют лимит счётчика в 10 ГБ.
Стратегия синхронизации
Стратегия синхронизации зависит от того, включён ли в отчёт параметр Date.
| Стратегия | Поддерживаемые типы отчётов | Описание |
|---|---|---|
| Инкрементальное обновление | Отчёты Visits и Hits с параметром Date | Каждая строка содержит свою дату, а таблица назначения партиционируется по колонке date. При каждом запуске Renta запрашивает новый лог за окно от последнего успешного запуска минус период перезаписи до конца диапазона дат: затронутые дневные партиции удаляются и вставляются заново, а более старые партиции остаются нетронутыми. |
| Полная перезагрузка | Отчёты Visits и Hits без параметра Date | В таблице нет датовой колонки для партиционирования, поэтому Renta запрашивает лог за весь настроенный диапазон дат и заменяет датасет при каждом запуске. |
Ready to get started?
Build your data pipeline today or get a personalized demo. Start free!
Need help?
Get expert support to ensure your project succeeds. We're here to help!
Feature requests?
Help shape our product! Share your ideas for new features and integrations.