Sobre Mim Projetos Artigos Experiência Formação Contato
Currículo PDF Mudar para Inglês 🇺🇸
Voltar para Projetos
MACHINE LEARNING FP&A & CONTROLADORIA RETAIL ANALYTICS (CRISP-DM)

Clusterização de Lojas & Desdobramento de Metas: Substituindo a Régua Linear (+5%) por Benchmarking entre Pares com Machine Learning

Como auditei 1.017.209 registros transacionais de 1.115 lojas, tratei distorções severas de calendário e apagão de dados, elevei em 10,2x a explicação de variância de faturamento frente ao cadastro legado e construí um motor de inferência e calibragem orçamentária para o Conselho de Administração.

Out 2026 14 min de leitura Python, Scikit-Learn, K-Means, Ward, FP&A Repositório GitHub
Motor K-Means Ativo no Navegador (Seed = 42 | k = 5)

Simulador Interativo: Inferência de Novas Lojas & Calibragem FP&A

Carregar Lojas de Homologação (CSV Oficial):

Inputs Operacionais da Loja (6 Features) Transformação: log1p + Z-Score

R$ 5.200
R$ 8,10
+42,0%
26,0%
8,0%
650 m
Diagnóstico Determinístico (.predict) Ação Necessária
Cluster 0 — Padrão Bairro

Unidade de vizinhança urbana sob forte pressão competitiva local (< 840m) e compras regulares de reposição.

Benchmark P50
R$ 5.476
Gap vs. Pares
+5,32%
Meta Final (+5% Rede)
+3,97%
Distância Euclidiana no Espaço Padronizado (Menor = Vencedor):
1. Comercial (Metas)

2. Trade Marketing

3. Supply Chain

4. Expansão

Pesos Reais: StandardScaler + KMeans (k=5) Reprodutibilidade Auditada (SEED = 42)
FP&A & Machine Learning Analytics © 2026

Tech Stack & Métodos Utilizados neste Projeto

Python (Pandas & NumPy)
Scikit-Learn (K-Means & ARI)
SciPy (Ward Linkage)
Controladoria & Orçamento (FP&A)
Joblib MLOps Pipeline

1. Contexto do Negócio e o Problema da "Régua Única"

A Aurora Varejo opera uma rede nacional de varejo alimentar e conveniência com 1.115 lojas físicas heterogêneas — variando de unidades de vizinhança em bairros residenciais até flagships de altíssimo tráfego em estações e centros metropolitanos.

Historicamente, o desdobramento anual do orçamento corporativo aplicava um crescimento linear uniforme (+5,00%) sobre a receita do ano anterior para todas as filiais. Essa "régua única" produzia grave distorção gerencial: lojas próximas do teto físico ou cercadas por concorrentes a menos de 200 metros abandonavam a meta no primeiro trimestre, enquanto unidades em mercados isolados batiam o orçamento sem esforço incremental. O objetivo deste projeto foi estruturar uma solução ponta a ponta em CRISP-DM para agrupar unidades verdadeiramente comparáveis e ancorar metas, verbas de Trade Marketing, reposição de Supply Chain e enquadramento de Expansão.

2. Objetivos e os 5 Critérios de Aceitação Executiva

Em Aprendizado Não Supervisionado não existe variável-alvo (target). Para evitar agrupamentos matematicamente elegantes porém operacionalmente inúteis, o projeto foi blindado na Fase 1 por cinco requisitos auditáveis:

  • 1. Interpretabilidade & 2. Acionabilidade Multidisciplinar: Nomenclatura comercial intuitiva e garantia de que cada cluster direcione políticas distintas para Comercial, Trade Marketing, Supply Chain e Expansão (se dois grupos levam à mesma decisão, devem ser fundidos).
  • 3. Estabilidade Estatística (ARI ≥ 0,80): A meta anual de um gerente não pode mudar por variações na ordem da base ou subamostragem (remoção de 20% das lojas).
  • 4. Superioridade sobre o Baseline Cadastral & 5. Quantificação Financeira: Superar objetivamente a classificação legada (tipo_loja e sortimento) em redução de dispersão interna e variância explicada (η²), traduzindo os desvios entre pares em potencial financeiro em Reais (R$).

3. Auditoria de Dados e Engenharia de Atributos (1 Milhão de Linhas → 1.115 Lojas)

A base transacional bruta (treino.csv) continha 1.017.209 registros diários (01/01/2013 a 31/07/2015), cruzada com o cadastro estrutural (loja.csv) de 1.115 unidades. A auditoria exploratória revelou três armadilhas graves que invalidariam qualquer modelagem ingênua:

  • • Viés de Calendário Dominical e Dias Sem Venda: 1.082 lojas (97% da rede) nunca abrem aos domingos e 54 registros apresentavam loja aberta com faturamento zero. Calcular a média sobre todos os dias do calendário subestimava em 21,06% o porte real das lojas que fecham aos domingos.
  • • Apagão Sistêmico de 184 Dias em 180 Lojas: Exatamente 180 lojas não possuíam linhas registradas durante todo o 2º semestre de 2014 (01/07/2014 a 31/12/2014). O uso de soma acumulada de vendas jogava artificialmente 54,7% dessas lojas no pior quartil da rede (contra 25,4% ao usar a média por dia efetivamente operado).
  • • Distorção entre Crescimento Anual e Sazonalidade: Como a rede cresceu entre 2013 e 2015, calcular a sazonalidade agrupando diretamente os meses 1 a 12 penalizaria o 2º semestre das 180 lojas (registrado apenas em 2013). A solução foi normalizar o faturamento mensal pela média anual da própria loja antes de extrair o desvio padrão entre os meses.
Python — Engenharia de Features Unificada
# Filtro estrito de operação efetiva (844.338 transações válidas)
treino_operando = treino[(treino['aberta'] == 1) & (treino['faturamento'] > 0)].copy()

# Sazonalidade blindada contra o hiato de 6 meses em 2014 (normalização intra-ano)
treino_operando['ano'] = treino_operando['data'].dt.year
treino_operando['mes'] = treino_operando['data'].dt.month
media_loja_ano_mes = treino_operando.groupby(['loja', 'ano', 'mes'])['faturamento'].mean().reset_index(name='venda_media_mes')
media_ano_loja = media_loja_ano_mes.groupby(['loja', 'ano'])['venda_media_mes'].transform('mean')
media_loja_ano_mes['venda_relativa_mes'] = media_loja_ano_mes['venda_media_mes'] / media_ano_loja

perfil_mensal = media_loja_ano_mes.groupby(['loja', 'mes'])['venda_relativa_mes'].mean().unstack()
sazonalidade = perfil_mensal.std(axis=1).rename('sazonalidade')

Após análise da matriz de correlação pós-log1p, descartamos variáveis redundantes (clientes_medios_dia tinha r = 0,82 com venda_media_dia) e variáveis quase-binárias com inflação de zeros (prop_domingos_abertos com assimetria de 5,97), consolidando as 6 features contínuas oficiais escalonadas via StandardScaler: venda_media_dia, ticket_medio, efeito_promo, volatilidade, sazonalidade e distancia_concorrente (imputada pela mediana de 2.330 m nas 3 lojas nulas).

4. Modelagem, Validação Cruzada (Ward) e Escolha de k = 5

Em dados reais de varejo, as lojas formam um contínuo multidimensional sem fronteiras vazias. O coeficiente de Silhueta atingiu seu ponto máximo local em k = 5 (0,2042), enquanto o dendrograma hierárquico aglomerativo (Método de Ward) confirmou um salto estrutural de distância na transição de k = 6 (22,93) para k = 5 (26,33) e k = 3 (30,94).

O desempate definitivo entre os candidatos k ∈ {2, 3, 5, 8} deu-se pelos critérios de negócio: k = 2 (ARI = 0,745) e k = 8 (ARI = 0,630) falharam no teste de estabilidade, enquanto k = 5 mais que dobrou a redução do desvio padrão intra-cluster frente ao baseline cadastral (-14,1%, caindo de R$ 2.353,74 para R$ 2.021,85) e preservou alta estabilidade em 10 repetições de subamostragem de 80% (ARI médio = 0,9092).

Perspectivas Integradas

5. Descoberta de Arquétipos e Superioridade sobre o Cadastro

A classificação legada da companhia (tipo_loja) mostrou-se cega para a operação real: explicava míseros 2,78% da variância do faturamento diário e 2,01% da volatilidade (ARI = 0,1176).

Os 5 clusters gerados pelo K-Means elevaram a variância explicada (ANOVA η²) para 28,33% em vendas (ganho de 10,2x), 57,77% em resposta promocional (6,9x) e 60,83% em volatilidade (30,3x). Além disso, sem receber nenhuma coluna categórica, o algoritmo isolou organicamente 76,5% das lojas de altíssimo giro do tipo_loja b no Cluster 4 (Flagship / Alto Fluxo) e 76,1% das lojas de compra abastecedora (tipo_loja d) no Cluster 1 (Destino & Isolada).

6. Perspectiva de Controladoria e Calibragem Orçamentária

Na etapa de Deployment para a Diretoria Comercial, aplicou-se a regra de meta relativa: 2,00% de manutenção para as 557 lojas acima da mediana do seu cluster e 2,00% + 25% do gap relativo para as 558 lojas abaixo da mediana.

A auditoria de sanidade financeira revelou uma armadilha clássica de FP&A: embora a média aritmética simples das metas fosse de +5,15%, o crescimento ponderado da receita da rede atingia apenas +4,20% (pois as Flagships de maior faturamento estavam no topo de seus grupos). Aplicando o fator multiplicativo de calibragem ponderada de 1,1916, garantimos exatamente os +5,00% de expansão de receita prometidos ao Conselho (com piso calibrado de 2,38% e média simples de 6,13%).

7. Governança de Modelos, Riscos Operacionais e Limitações Analíticas

O uso de algoritmos não supervisionados para remuneração variável e metas exige travas de governança explícitas:

  • • Associação vs. Causalidade Promocional: A variável efeito_promo mede o lift observacional bruto em dias com promoção. Como campanhas não foram randomizadas, decisões de realocação massiva de verba de Trade Marketing devem ser precedidas de testes pilotos controlando calendário e margem líquida pós-desconto.
  • • Trava de Teto e Restrições Físicas: Na simulação calibrada, lojas no extremo inferior de seus clusters receberam metas de até 37,70%. Antes da homologação executiva, supervisores regionais devem auditar se a defasagem decorre de gestão ineficiente ou de barreiras físicas intransponíveis (obras viárias, área de venda restrita ou falta de estacionamento).
  • • Inferência Determinística Sem Retreino: Para evitar que a inauguração de novas lojas desloque os centroides e altere metas vigentes no meio do exercício fiscal, o pacote de produção (modelo_clusterizacao_varejo.joblib) executa estritamente .transform() e .predict(), congelando a taxonomia durante o ciclo anual.

8. Pipeline de Produção para Novas Lojas (MLOps)

Para permitir que a área de Expansão enquadre novas inaugurações sem retreinar o algoritmo, o pipeline vencedor foi serializado com joblib contendo o StandardScaler ajustado, o modelo KMeans (k = 5), a lista ordenada de features e o dicionário de personas comerciais:

Python — Inferência em Produção Sem Retreino
import joblib
import numpy as np
import pandas as pd

# 1. Carregar artefato serializado do pipeline vencedor
pipeline = joblib.load("modelo_clusterizacao_varejo.joblib")
escalador = pipeline["escalador"]
kmeans = pipeline["modelo_kmeans"]
colunas = pipeline["colunas_modelo"]
nomes = pipeline["nomes_clusters"]

# 2. Transformar novas lojas com log1p + .transform() e predizer com .predict()
df_novas = pd.read_csv("lojas_novas_exemplo.csv")
matriz_novas = escalador.transform(np.log1p(df_novas[colunas]))

df_novas["cluster_predito"] = kmeans.predict(matriz_novas)
df_novas["nome_cluster_predito"] = df_novas["cluster_predito"].map(nomes)

9. Impacto e Entregáveis Executivos

10,2x Mais Poder Explicativo

Substituição do cadastro estático (2,78%) por 5 clusters que explicam 28,33% da variância de vendas e 60,83% da volatilidade operacional.

Orçamento Cravado em +5,00%

Calibragem ponderada (fator 1,1916) eliminando o déficit de -0,80 p.p. da média simples e gerando a planilha executiva para 1.115 lojas.

Cenário de R$ 50,9 Mi / Ano

Mapeamento de R$ 203,75 milhões em gap anual bruto nas lojas abaixo do P50, projetando R$ 50,94 milhões/ano sob captura moderada de 25%.

10. Conclusão

Este estudo demonstra como o Aprendizado Não Supervisionado só atinge maturidade executiva quando submetido à rigorosa auditoria de integridade de dados e engenharia financeira de Controladoria. Sem o tratamento do hiato temporal de 2014, da assimetria espacial e da ponderação de receita na etapa de deploy, o algoritmo produziria metas injustas e um orçamento deficitário perante o Conselho.

Gostou da profundidade analítica deste projeto?

Compartilhe este case de Machine Learning e Controladoria Estratégica com sua rede profissional.

Sua organização precisa alinhar Ciência de Dados, Controladoria e Planejamento Comercial?

Falar com Darlan