Google Analytics data streaming

Google Analytics data streaming — это независимый от API Google Analytics метод сбора данных Google Analytics. Хиты и сессии собираются в режиме реального времени в указанное вами хранилище данных.

Поддерживаемые хранилища данных:

  • Google BigQuery
  • Clickhouse

Настройка сбора данных

  1. Создайте проект
  2. Установите полученный JavaScript-код при помощи customTask в Google Tag Manager

Убедитесь, что вы подключили customTask ко всем тегам GTM. 
С этого момента все данные Google Analytics будут дублироваться в ваше хранилище данных.

Структура данных

Данные Google Analytics собираются в две таблице: хитов и сессий.
Ниже вы можете ознакомиться со структурой таблиц и описание параметров. 

Таблица хитов

Название колонки

Описание

hitId

Идентификатор хита

date

Дата хита по UTC.

dateTime

Дата и время хита по UTC.

timestamp

Является порядковым номером байта в ивентхабе. Это служебное значением для подсчета сессий.

userId

Номер userId. Содержит значение передаваемое в Google Analytics.

clientId

Идентификатор куки Google Analytics. Задается на уровне устройства.

type

Тип хита.

nonInteractionHit

Если обращение является результатом взаимодействия, это поле получает значение 1. В противном случае (если событие со взаимодействием имеет значение false) поле принимает значение null.

rentaId

В отличии от clientId является уникальным значением в рамках различных доменов. Используется для анализа пересечения аудитории, построении атрибуции между сайтами.

ydclid

Содержит Yandex Direct Click ID. Метку присваивает Renta, если в интерфейсе включен импорт расходов. 

fbclid

Содержит Facebook Click ID. Метку присваивает Renta, если в интерфейсе включен импорт расходов. 

content

Содержание utm_content

medium

Содержание utm_medium

term

Содержание utm_source

campaign

Содержание utm_term

source

Содержание utm_campain

gclid

Содержит Google Click ID, если включена авторазметка между Google Ads и Google Analytics. 

dclid

Содержит DoubleClick Click ID, если включена авторазметка между Google Ads и Google Analytics. 

dataSource

Источник данных для обращения. По умолчанию обращения от analytics.js будут иметь значение web, а обращения от мобильных SDK – значение app.

deviceBrowser

Браузер (например, Chrome или Firefox).

deviceBrowserVersion

Версия браузера.

deviceOperatingSystem

Операционная система (например, Macintosh или Windows).

deviceOperatingSystemVersion

Версия операционной системы. 

deviceIp

IP-адрес

deviceUserAgent

User Agent

deviceScreenResolution

Разрешение (ширина и высота) экрана в пикселях (например, 800×600).

deviceScreenColors

Разрядность цветов, поддерживаемая экраном (например, 8-bit, 24-bit и т. д.).

deviceViewPortSize

Размер области просмотра в браузере. Регистрируются первоначальные размеры в пикселях в формате ширина х высота, например 1920 х 960.

deviceDocEncoding

Кодировка. Например, UTF-8.

deviceJavaEnabled

Поддерживается ли Java в браузере посетителя.

deviceFlashVersion

Версия плагина Adobe Flash в браузере посетителя.

location

URL с учетом дополнительных параметров. Например: https://site.com/catalog/platya?page=2

hostname

Домен. 

Например: https://site.com/

path

Путь URL страницы. 

Например: /catalog/platya

title

Title страницы.

page

Полный путь URL. 

Например: https://site.com/catalog/platya

documentReferrer

Если поле medium имеет значение referral, здесь указывается путь источника трафика, а имя хоста содержится в поле source.

applicationName

Название приложения.

applicationId

Идентификатор приложения.

applicationVersion

Версия приложения.

applicationInstallerId

Идентификатор сервиса, из которого загружено приложение (например, Google Play). По умолчанию этот параметр определяется на основе метода PackageManager#getInstallerPackageName.

eventCategory

Категория события.

eventAction

Действие, связанное с событием.

eventLabel

Ярлык события.

eventValue

Ценность события.

transactionId

Идентификатор транзакции электронной торговли.

transactionAffiliation

Информация о партнерах, передаваемая коду отслеживания электронной торговли.

transactionRevenue

Общий доход от транзакции.

transactionTax

Общий налог с транзакции.

transactionShipping

Общая стоимость доставки по транзакции.

itemPrice

Цена товара.

itemQuantity

Количество приобретенных товаров.

itemCode

Код местной валюты, используемой в транзакции.

itemCategory

Категория товара.

productAction

События расширенной электронной торговли. Пример: detail, add, checkout, checkout_option, purchase, remove. 

couponCode

Содерижит промокупон, который применялся к  транзакции.

productActionList

Название списка, в котором был показан товар или произошел клик. Например, «Продвижение главной страницы», «Также просматривали», «Рекомендуемые товары», «Результаты поиска» и т. д.

checkoutStepOption

Это поле заполняется, если с обращением передается информация об этапе оформления покупки.

currencyCode

Код местной валюты, используемой в транзакции.

promoAction

Тип действия в рамках PROMOTION Enhanced Ecommerce. Например: clicks.

checkoutStep

Указывается шаг оформления заказа. Задается в настройках расширенной электронной торговли.

socialNetwork

Название социальной сети, которая выступает в качестве источника трафика; Например Google+, Blogger.

socialAction

Социальное действие, зарегистрированное в коде отслеживания социальной сети («Поделиться», «Отправить твит» и т. д.).

socialActionTarget

Для социальных взаимодействий здесь указывается URL (или ресурс), где получено действие в социальной сети.

timingCategory

Используется для упрощения отчетности. Все переменные пользовательского времени объединяются в логические группы.

timingVariableName

Переменная используется для гибкой визуализации пользовательского времени в отчетах.

timingLabel

Название отслеживаемого действия ресурса.

timingPageLoadTime

Общее время (в миллисекундах) от начала просмотра страницы выборки (например, нажатия на ссылку) до завершения ее загрузки в браузере.

timingDnsTime

Общее время (в миллисекундах) DNS-запросов для этой страницы для всех выборок.

timingPageDownloadTime

Общее время (в миллисекундах) загрузки страницы для всех выборок.

timingRedirectResponseTime

Общее время (в миллисекундах) ответа сервера на запрос пользователя для всех выборок, включая время реакции сети для местоположения пользователя.

timingTcpConnectTime

Среднее время (в миллисекундах), затраченное на установление TCP-соединения с этой страницей, для всех выборок.

timingServerResponseTime

Общее время (в миллисекундах) ответа сервера на запрос пользователя для всех выборок, включая время реакции сети для местоположения пользователя.

timingDomInteractiveTime

Время (в миллисекундах), включая время реакции сети для местоположения пользователя, которое браузер затрачивает на обработку документа (DOMInteractive).

timingContentLoadTime

Выборка (или количество) просмотров страниц, используемое для расчета среднего времени загрузки страницы.

timingTime

 

exceptionDescription

Количество исключений, отправленных в Аналитику.

exceptionFatal

Количество исключений, отправленных в Аналитику, для которых isFatal принимает значение true.

experimentId

Идентификатор эксперимента.

experimentVariant

Вариант или сочетание вариантов, представленных в обращении эксперимента.

customDimensions.index

Индекс специального параметра.

customDimensions.value

Значение специального параметра.

customMetrics.index

Индекс специального показателя.

customMetrics.value

Значение специального показателя.

product.index

Позиция товара.

product.id

ID товара.

product.name

Название товара.

product.brand

Бренд товара.

product.category

Категория товара.

product.variant

Вариант товара.

product.price

Стоимость товара.

product.quantity

Кол-во товара.

product.couponCode

 

product.position

Позиция товара в списке, где он показывался.

promotion.index

Индекс рекламной кампании.

promotion.id

Идентификатор рекламной кампании.

promotion.name

Название рекламной кампании.

promotion.creative

Текст или вариант объявления, связанного с рекламной кампанией.

promotion.position

Позиция рекламной кампании на сайте.

impressionList.index

Индекс списка.

impressionList.id

Идентификатор списка.

impressionList.productIndex

Позиция товара в списке.

impressionList.name

Название списка, в котором был показан товар или произошел клик. Например, «Продвижение главной страницы», «Также просматривали», «Рекомендуемые товары», «Результаты поиска» и т. д.

impressionList.brand

Название бренда, в рамках которого был показан товар.

impressionList.category

Название категории, в рамках которого был показан товар

impressionList.variant

Вариант товара, в рамках которого был показан товар.

impressionList.price

Стоимость товара в рамках которого был показан товар

impressionList.position

Позиция товара в списке, где он показывался.

impressionList.itemListName

Имя списка в котором был показан товар.

Таблица сессий

Название столбца

Описание

sessionId

Номер сессии.
Является уникальным значением.

clientId

Идентификатор куки Google Analytics. Задается на уровне устройства.

userIds

Номер userId. Содержит значение передаваемое в Google Analytics.

hitIds

Перечень хитов, которые составляют sessionId. 

totalHits

Кол-во хитов в рамках сессии

transactionIds

Идентификаторы транзакций, которые были достигнуты в рамках сессии

totalTransactions

Кол-во транзакций, которые были достигнуты в рамках сессии.

totalPageviews

Кол-во просмотренных страниц

totalEvents

Кол-во событий

timestamp

Является порядковым номером байта в ивентхабе. Это служебное значением для подсчета сессий.

dateTime

Время начала сессии по UTC. Является первым dateTime в рамках сессии.

dateTimeLast

Окончание сессии по UTC. Является последним хитом в рамках сессии.

date

Дата начала сессии по UTC.

secondsInSession

Длительность сессии в секундах.

content

Содержание utm_content

medium

Содержание utm_medium

source

Содержание utm_source

term

Содержание utm_term

campaign

Содержание utm_campain

gclid

Содержит Google Click ID, если включена авторазметка между Google Ads и Google Analytics. 

ydclid

Содержит Yandex Direct Click ID. Метку присваивает Renta, если в интерфейсе включен импорт расходов. 

fbclid

Содержит Facebook Click ID. Метку присваивает Renta, если в интерфейсе включен импорт расходов. 

mtclid

Содержит MyTarget Click ID. Метку присваивает Renta, если в интерфейсе включен импорт расходов. 

device

Тип устройства: desktop, tablet, mobile, TV. 

ip

IP устройства

city

Город

country

Страна

region

Регион

browser

Браузер

browserVersion

Версия браузера

operatingSystem

Операционная система

operatingSystemVersion

Версия операционной системы

landingPage

Страница входа на сайте. Является page первого хита.

hostname

Доменное имя. Определяется по landingPage.

checkoutSteps

Содержит номера шагов, которые были достигнуты в процессе оформления заказа. При условии, что настроена расширенная электронная торговля.

productActions

Передается информация об этапе оформления заказа.

exitPage

Страница выхода. Последняя просмотренная страница в рамках сессии. 

bounce

Возвращает единицу, если в рамках сессии был отказ. Отказ фиксируется при условии, если в сессии был только один хит.

Sign

Содержится только в интеграциях с ClickHouse. Используется для таблиц CollapsingMergeTree, как альтернатива final.

clicks

Атрибутированное кол-во кликов в рамках сессии

cost

Атрибутированные расходы в рамках сессии

impressions

Атрибутированное кол-во показов в рамках сессии

customerIdName

Идентификатор рекламного аккаунта

account

Название рекламного канала

adId

Идентификатор объявления

campaignId

Идентификатор кампании

adGroupId

Идентификатор группы объявлений

keywordId

Идентификатор ключевого слова / таргета

visitSession

Номер сеанса пользователя. 

Если это первый сеанс, полю задается значение 1.

newVisits

Если это первый визит, тогда 1. 

В остальных случаях пустое значение.

documentReferral

Доменное имя. Игнорируя utm-метки. Например, если переход был с http://convert.ua/contacts?source=test, то documentReferral = convert.ua.

DocumentReferrer

Полный адрес страницы с которой был переход на сайт.  Логика похожа на documentReferral, только возвращает полный путь url-a: http://site.com/contacts

Модели атрибуции

Модель атрибуции — это набор правил распределение ценности конверсии среди рекламных каналов с целью повышения ROAS. 

Renta поддерживает две модели атрибуции:  

  • На основании ML-модели Маркова
  • Funnel-based 

Результаты модели атрибуции выгружаются в отдельную таблицу.

Для подключение модели атрибуции обратитесь в техническую поддержку или выделенному менеджеру.

Сроки подключения составляют 24 часа.