As métricas abaixo permitem avaliar o desempenho e a confiabilidade dos modelos de MMM desenvolvidos pela Uncover. Elas servem como referência para acompanhar a precisão preditiva e a robustez estatística dos modelos ao longo do tempo.
WAPE (Weighted Absolute Percentage Error)
O WAPE é a principal métrica de precisão preditiva utilizada pela Uncover. Ele é calculado como a soma dos erros absolutos dividida pela soma dos valores reais, o que significa que os erros são ponderados pelo volume real observado.
Essa ponderação torna o WAPE mais relevante para os negócios, pois prioriza a precisão em períodos de maior impacto, como semanas de alto volume de vendas ou eventos promocionais importantes.
Exemplo:
WAPE = 10% → O modelo erra, em média, 10% do volume real do KPI target.
WAPE = 30% → O modelo apresenta baixa precisão, com erro médio próximo de um terço do valor total.
Benchmark Uncover: É esperado um WAPE de no máximo 15%. Modelos com valores acima de 15% devem ser recalibrados, ajustando variáveis ou parâmetros de entrada.
R² (Coeficiente de Determinação)
O R² mede a proporção da variância do resultado (por exemplo, vendas) que é explicada pelas variáveis de entrada do modelo.
Um valor de R² próximo de 1,0 indica que o modelo captura bem os impulsionadores subjacentes do desempenho, enquanto valores mais baixos sugerem lacunas nas variáveis ou ruído nos dados.
Exemplo:
R² = 0,85 → O modelo explica 85% da variância das vendas históricas.
R² = 0,40 → Explica apenas 40%, o que pode indicar ausência de variáveis relevantes (ex.: mídia não capturada, promoções, efeito preço, fatores externos).
O R² não mede o erro em escala absoluta, apenas o quanto da variação nos dados o modelo explica. Por isso, ele deve ser analisado em conjunto com o WAPE para uma avaliação completa da qualidade do modelo.