Yandex Metrica Logs API

Renta позволяет выгружать сырые данные Яндекс Метрики через Logs API в хранилище данных: неагрегированные записи о визитах (visits) и событиях (hits), включая источники трафика, UTM-метки, данные о кликах Яндекс Директа, атрибуты устройств и географии, цели и поля электронной торговли.

Аутентификация

Renta использует OAuth для аутентификации в Яндексе. Вы будете перенаправлены на страницу Яндекса, чтобы предоставить Renta ограниченный доступ к счётчикам Яндекс Метрики.

Настройка пайплайна

На последнем шаге выберите, какие данные Яндекс Метрики выгружать и как Renta будет их загружать.

Настройка отчёта

Укажите счётчик и тип отчёта.

1. Ad accounts.
   Выберите счётчик Яндекс Метрики, из которого выгружать данные. В списке показаны счётчики, доступные подключённому аккаунту Яндекса.
2. Report Types.
   Выберите тип сырых данных для выгрузки.

Параметры

Выберите поля Logs API, которые попадут в таблицу назначения. Схема датасета определяется выбранными здесь параметрами.

Список Parameters показывает все поля, доступные для выбранного типа отчёта: более 130 полей визитов для Visits и более 80 полей событий для Hits. Когда полей больше сотни, быстрее искать их через поиск. Select All отмечает весь список.

Renta также добавляет в список датовые поля: date, а также поля года, квартала, месяца, недели и дня, которые вычисляются из даты визита или события.

Поля, зависящие от модели атрибуции (источник трафика, UTM-метки и данные о кликах Яндекс Директа), представлены в списке отдельными вариантами для каждой модели: последний значимый источник, первый источник, последний источник и другие. Выбирайте варианты той модели атрибуции, которую используете.

В таблице назначения имена колонок повторяют API-имена полей без префиксов ym:s: и ym:pv:: ym:s:visitID становится visitID.

Имя таблицы и диапазон дат

Назовите пайплайн и задайте исторический период загрузки.

1. Integration name.
   Имя пайплайна. Используется только в интерфейсе Renta.
2. Table name.
   Имя таблицы назначения. Можно оставить автоматически сгенерированное имя или указать своё.
3. Date start.
   Первая дата периода выгрузки.
4. Date end.
   Последняя дата периода выгрузки. Установите значение Yesterday.

При создании пайплайна Renta проверяет настройки через Logs API: счётчик должен быть способен подготовить лог за запрошенный период с выбранными полями. Logs API принимает периоды не длиннее одного года на запрос, а точный лимит зависит от объёма данных счётчика. Если период слишком большой, вы получите ошибку валидации: сократите диапазон дат и попробуйте снова.

Период перезаписи

Период перезаписи определяет, сколько последних дней Renta перезагружает при каждом запуске. Настройка появляется после выбора параметра Date.

При каждом запуске Renta заново запрашивает данные начиная с даты последнего успешного запуска минус период перезаписи. Затронутые дни удаляются из таблицы назначения и вставляются заново, а более старые данные остаются нетронутыми. Варианты: от Without overwrite data до Overwrite all data; значение по умолчанию Last 1 day.

Расписание

Выберите, как часто запускается пайплайн.

Для расписания Daily укажите Update time (точное время запуска), затем нажмите Create pipeline.

Новый пайплайн появляется в разделе Pipelines на вкладке ETL, где можно отслеживать запуски, прогресс и имя таблицы назначения.

Как устроена выгрузка

Данные логов готовятся на стороне Яндекса, поэтому каждый запуск проходит в несколько шагов.

1. Renta создаёт лог-запрос на счётчике за окно выгрузки с выбранными полями.
2. Яндекс готовит лог асинхронно. Renta ждёт обработки запроса, проверяя его статус до 60 минут.
3. Renta скачивает все части подготовленного лога и загружает их в назначение.
4. Renta удаляет подготовленный лог-запрос со счётчика, поэтому подготовленные логи не накапливаются и не расходуют лимит счётчика в 10 ГБ.

Стратегия синхронизации

Стратегия синхронизации зависит от того, включён ли в отчёт параметр Date.