1. Contexto do Negócio e o Problema da "Régua Única"
A Aurora Varejo opera uma rede nacional de varejo alimentar e conveniência com 1.115 lojas físicas heterogêneas — variando de unidades de vizinhança em bairros residenciais até flagships de altíssimo tráfego em estações e centros metropolitanos.
Historicamente, o desdobramento anual do orçamento corporativo aplicava um crescimento linear uniforme (+5,00%) sobre a receita do ano anterior para todas as filiais. Essa "régua única" produzia grave distorção gerencial: lojas próximas do teto físico ou cercadas por concorrentes a menos de 200 metros abandonavam a meta no primeiro trimestre, enquanto unidades em mercados isolados batiam o orçamento sem esforço incremental. O objetivo deste projeto foi estruturar uma solução ponta a ponta em CRISP-DM para agrupar unidades verdadeiramente comparáveis e ancorar metas, verbas de Trade Marketing, reposição de Supply Chain e enquadramento de Expansão.
2. Objetivos e os 5 Critérios de Aceitação Executiva
Em Aprendizado Não Supervisionado não existe variável-alvo (target). Para evitar agrupamentos matematicamente elegantes porém operacionalmente inúteis, o projeto foi blindado na Fase 1 por cinco requisitos auditáveis:
- 1. Interpretabilidade & 2. Acionabilidade Multidisciplinar: Nomenclatura comercial intuitiva e garantia de que cada cluster direcione políticas distintas para Comercial, Trade Marketing, Supply Chain e Expansão (se dois grupos levam à mesma decisão, devem ser fundidos).
- 3. Estabilidade Estatística (ARI ≥ 0,80): A meta anual de um gerente não pode mudar por variações na ordem da base ou subamostragem (remoção de 20% das lojas).
-
4. Superioridade sobre o Baseline Cadastral
& 5. Quantificação Financeira: Superar objetivamente a classificação legada
(
tipo_lojaesortimento) em redução de dispersão interna e variância explicada (η²), traduzindo os desvios entre pares em potencial financeiro em Reais (R$).
3. Auditoria de Dados e Engenharia de Atributos (1 Milhão de Linhas → 1.115 Lojas)
A base transacional bruta (treino.csv) continha 1.017.209 registros diários (01/01/2013 a 31/07/2015),
cruzada com o cadastro estrutural (loja.csv) de 1.115 unidades. A auditoria exploratória
revelou três armadilhas graves que invalidariam qualquer modelagem ingênua:
- • Viés de Calendário Dominical e Dias Sem Venda: 1.082 lojas (97% da rede) nunca abrem aos domingos e 54 registros apresentavam loja aberta com faturamento zero. Calcular a média sobre todos os dias do calendário subestimava em 21,06% o porte real das lojas que fecham aos domingos.
- • Apagão Sistêmico de 184 Dias em 180 Lojas: Exatamente 180 lojas não possuíam linhas registradas durante todo o 2º semestre de 2014 (01/07/2014 a 31/12/2014). O uso de soma acumulada de vendas jogava artificialmente 54,7% dessas lojas no pior quartil da rede (contra 25,4% ao usar a média por dia efetivamente operado).
- • Distorção entre Crescimento Anual e Sazonalidade: Como a rede cresceu entre 2013 e 2015, calcular a sazonalidade agrupando diretamente os meses 1 a 12 penalizaria o 2º semestre das 180 lojas (registrado apenas em 2013). A solução foi normalizar o faturamento mensal pela média anual da própria loja antes de extrair o desvio padrão entre os meses.
# Filtro estrito de operação efetiva (844.338 transações válidas)
treino_operando = treino[(treino['aberta'] == 1) & (treino['faturamento'] > 0)].copy()
# Sazonalidade blindada contra o hiato de 6 meses em 2014 (normalização intra-ano)
treino_operando['ano'] = treino_operando['data'].dt.year
treino_operando['mes'] = treino_operando['data'].dt.month
media_loja_ano_mes = treino_operando.groupby(['loja', 'ano', 'mes'])['faturamento'].mean().reset_index(name='venda_media_mes')
media_ano_loja = media_loja_ano_mes.groupby(['loja', 'ano'])['venda_media_mes'].transform('mean')
media_loja_ano_mes['venda_relativa_mes'] = media_loja_ano_mes['venda_media_mes'] / media_ano_loja
perfil_mensal = media_loja_ano_mes.groupby(['loja', 'mes'])['venda_relativa_mes'].mean().unstack()
sazonalidade = perfil_mensal.std(axis=1).rename('sazonalidade')
Após análise da matriz de correlação pós-log1p, descartamos variáveis redundantes
(clientes_medios_dia tinha r = 0,82 com venda_media_dia) e variáveis
quase-binárias com inflação de zeros (prop_domingos_abertos com assimetria de 5,97),
consolidando as 6 features contínuas oficiais escalonadas via
StandardScaler: venda_media_dia, ticket_medio,
efeito_promo, volatilidade, sazonalidade e
distancia_concorrente (imputada pela mediana de 2.330 m nas 3 lojas nulas).
4. Modelagem, Validação Cruzada (Ward) e Escolha de k = 5
Em dados reais de varejo, as lojas formam um contínuo multidimensional sem fronteiras vazias. O coeficiente de Silhueta atingiu seu ponto máximo local em k = 5 (0,2042), enquanto o dendrograma hierárquico aglomerativo (Método de Ward) confirmou um salto estrutural de distância na transição de k = 6 (22,93) para k = 5 (26,33) e k = 3 (30,94).
O desempate definitivo entre os candidatos k ∈ {2, 3, 5, 8} deu-se pelos critérios de negócio: k = 2 (ARI = 0,745) e k = 8 (ARI = 0,630) falharam no teste de estabilidade, enquanto k = 5 mais que dobrou a redução do desvio padrão intra-cluster frente ao baseline cadastral (-14,1%, caindo de R$ 2.353,74 para R$ 2.021,85) e preservou alta estabilidade em 10 repetições de subamostragem de 80% (ARI médio = 0,9092).
Perspectivas Integradas
5. Descoberta de Arquétipos e Superioridade sobre o Cadastro
A classificação legada da companhia (tipo_loja) mostrou-se cega para a operação
real: explicava míseros 2,78% da variância do faturamento diário e
2,01% da volatilidade (ARI = 0,1176).
Os 5 clusters gerados pelo K-Means elevaram a variância explicada (ANOVA η²) para
28,33% em vendas (ganho de 10,2x), 57,77% em resposta promocional
(6,9x) e 60,83% em volatilidade (30,3x). Além disso, sem
receber nenhuma coluna categórica, o algoritmo isolou organicamente 76,5% das lojas de
altíssimo giro do tipo_loja b no Cluster 4 (Flagship / Alto Fluxo) e
76,1% das lojas de compra abastecedora (tipo_loja d) no Cluster 1
(Destino & Isolada).
6. Perspectiva de Controladoria e Calibragem Orçamentária
Na etapa de Deployment para a Diretoria Comercial, aplicou-se a regra de meta relativa: 2,00% de manutenção para as 557 lojas acima da mediana do seu cluster e 2,00% + 25% do gap relativo para as 558 lojas abaixo da mediana.
A auditoria de sanidade financeira revelou uma armadilha clássica de FP&A: embora a média aritmética simples das metas fosse de +5,15%, o crescimento ponderado da receita da rede atingia apenas +4,20% (pois as Flagships de maior faturamento estavam no topo de seus grupos). Aplicando o fator multiplicativo de calibragem ponderada de 1,1916, garantimos exatamente os +5,00% de expansão de receita prometidos ao Conselho (com piso calibrado de 2,38% e média simples de 6,13%).
7. Governança de Modelos, Riscos Operacionais e Limitações Analíticas
O uso de algoritmos não supervisionados para remuneração variável e metas exige travas de governança explícitas:
- • Associação vs. Causalidade Promocional: A variável
efeito_promomede o lift observacional bruto em dias com promoção. Como campanhas não foram randomizadas, decisões de realocação massiva de verba de Trade Marketing devem ser precedidas de testes pilotos controlando calendário e margem líquida pós-desconto. - • Trava de Teto e Restrições Físicas: Na simulação calibrada, lojas no extremo inferior de seus clusters receberam metas de até 37,70%. Antes da homologação executiva, supervisores regionais devem auditar se a defasagem decorre de gestão ineficiente ou de barreiras físicas intransponíveis (obras viárias, área de venda restrita ou falta de estacionamento).
- • Inferência Determinística Sem Retreino: Para evitar que a inauguração
de novas lojas desloque os centroides e altere metas vigentes no meio do exercício
fiscal, o pacote de produção (
modelo_clusterizacao_varejo.joblib) executa estritamente.transform()e.predict(), congelando a taxonomia durante o ciclo anual.
8. Pipeline de Produção para Novas Lojas (MLOps)
Para permitir que a área de Expansão enquadre novas inaugurações sem retreinar o algoritmo, o
pipeline vencedor foi serializado com joblib contendo o StandardScaler
ajustado, o modelo KMeans (k = 5), a lista ordenada de features e o dicionário de
personas comerciais:
import joblib
import numpy as np
import pandas as pd
# 1. Carregar artefato serializado do pipeline vencedor
pipeline = joblib.load("modelo_clusterizacao_varejo.joblib")
escalador = pipeline["escalador"]
kmeans = pipeline["modelo_kmeans"]
colunas = pipeline["colunas_modelo"]
nomes = pipeline["nomes_clusters"]
# 2. Transformar novas lojas com log1p + .transform() e predizer com .predict()
df_novas = pd.read_csv("lojas_novas_exemplo.csv")
matriz_novas = escalador.transform(np.log1p(df_novas[colunas]))
df_novas["cluster_predito"] = kmeans.predict(matriz_novas)
df_novas["nome_cluster_predito"] = df_novas["cluster_predito"].map(nomes)
9. Impacto e Entregáveis Executivos
10,2x Mais Poder Explicativo
Substituição do cadastro estático (2,78%) por 5 clusters que explicam 28,33% da variância de vendas e 60,83% da volatilidade operacional.
Orçamento Cravado em +5,00%
Calibragem ponderada (fator 1,1916) eliminando o déficit de -0,80 p.p. da média simples e gerando a planilha executiva para 1.115 lojas.
Cenário de R$ 50,9 Mi / Ano
Mapeamento de R$ 203,75 milhões em gap anual bruto nas lojas abaixo do P50, projetando R$ 50,94 milhões/ano sob captura moderada de 25%.
10. Conclusão
Este estudo demonstra como o Aprendizado Não Supervisionado só atinge maturidade executiva quando submetido à rigorosa auditoria de integridade de dados e engenharia financeira de Controladoria. Sem o tratamento do hiato temporal de 2014, da assimetria espacial e da ponderação de receita na etapa de deploy, o algoritmo produziria metas injustas e um orçamento deficitário perante o Conselho.