fbpx

Arquivo de categoria Machine Learning

Poradriana

As experências que nos ensinam

Bom, eu não gosto de dizer isso (porque ser humano é foda), mas eu sou bem rodada! Huahuuha

“Que isso, Dri, tá maluca?”

Não, mano… eu sou rodada mesmo… já trabalhei em consultoria e cada dia estou falando com um cliente diferente… tenho alunos que trabalham em negócios diferentes e consequentemente escuto tudo que é tipo de história… o que me enriquece muito e me permite tornar as minhas aulas ainda mais interessantes….

Se liga, eu vou contar uma história real aqui, mas sem citar nenhum nome (não seria nada ético da minha parte, certo?… eu tenho que ser tipo psicóloga… escuto tudo, tento fazer algo, mas nunca vou contar pra ninguém… fico apenas com o contexto da história para ajudar outras pessoas… como uma orientação, manja?). Então para não existir quebra de confiança, nunca nennhum nome será citado, a não ser o que for permitido!

Enfim, chega de blá blá blá… o que queria compartilhar com vocês foi uma experiência mega frustrada de implementação de modelo.

Uma empresa super grande fazia seus modelos com todo capricho e cuidados necessários… até que a moda chegou à tona e TCHARAAAAM (música alta em nossos ouvidos)… criaram uma área de Data Science, o famoso LAB Data, ou Data LAB, contrataram uma galera e começaram a executar.

“Que animal, Dri, qual problema nisso?”

Nenhum… é demais mesmo, mas o problema foi a falta de comunicação! Essa galera começou a trabalhar como se fosse o Kaggle (manja aquele site de desafios na ciência de dados?) e não se importou em entender as variáveis… saiu tacando-lhe pau e fez um algorítmo que competia com o mesmo que a galera anterior já fazia… e o que aconteceu? Eles tiveram resultados muito melhores!

“Caraca, Dri, do que você está reclamando, então?”

Vou continuar contando… Sim, fizeram um modelo que APARENTEMENTE era MUITO melhor pela métrica de comparação KS. E a empresa, super tarada por melhores resultados, viu que aquele encremento de melhoria no KS, geraria melhores retornos financeiros e nem questionou.. “vamos trocar essa porcaria anterior pelo novo dos caras novos, que chegaram aqui há 1 mês e já fazem melhor que o povo de anos…”.

Modelo foi pra rua… e como era um modelo com foco em retenção, levou 1 mês para medirem o resultado… e TCHARAAAAM (música alta, bem mais alta agora, em nossos ouvidos)… o que aconteceu?

MERDAAAAA… O MAMUTE VIROU MERDAAAA!!! (já viu esse vídeo? Hauahuahuahua – quer aprender a voar com quem?)

Triste né?

“Mas por quêêê?”

Podemos notar alguns pontos:

– Falta de interação com negócio

– Falta de entendimento dos dados disponíveis

– Variáveis vazadas (aquelas que já contém a informação da resposta!)

– Falta de teste de performance

– Falta de controle da estabilidade do modelo (pelo que me contaram, o modelo mudava drasticamente de performance no decorrrer dos meses…)

– Ansiedade

– Pressa

– Orgulho

Então, precisa de mais?

Caraca, não dá pra fazer milagre! O mais importante sempre é ser consistente!

Pense nisso…

Beeijos,

Dri

Poradriana

Vale a pena criar um modelo?

Vira e mexe me deparo refletindo sobre coisas interessantes como: DEVEMOS MESMO FAZER UM MODELO?

“Não esperava isso de você, Adriana Maria!” (imaginei alguns alunos falando alto comigo! Huauhauha)

Eu também não espero isso de mim, por isso tenho essas preocupações! Fazer modelo para não ter resultado não me parece fazer sentido…

“Caraca, Dri, você só pensa em dinheiro?”

Não, nenhum pouco… mas eu gosto! Huahuauha O grande ponto aqui é que a área de Analytics, em todas as empresas que conheci, está na fase de se provar. As áreas precisam mostrar resultado e então é importante saber em que tipo de projetos atuar, para priorizar o que tem mais retorno.

“É, minimamente faz sentido o que você está dizendo…”

Então, na minha cabeça faz muito sentido… e é nosso papel conseguir estimar isso… afinal, não é esse nosso trabalho?

“Tá, mas como se faz isso se você quer medir um retorno para priorizar projetos, ou seja, antes mesmo de modelar? Você não vai saber o retorno estimado…”

Certíssimo… mas temos alguns caminhos, não? Veja só… podemos utilizar duas coisas muito sexys:

– Simulação

Benchmarketing

“Explica melhor isso ai, mocinha…”

Como já me conhece, vou explicar com um exemplo (que vou mascarar, mas foi algo tipo isso que já fiz algumas vezes).

Como Churn está super na moda (eu já não aguento mais usar isso de exemplo… mas dado que funciona, vou continuar), vou utilizá-lo de exemplo. Vamos supor que somos donos da empresa UniWorld (acabei de inventar) e que vendemos assinaturas de itens que envolvem unicórnios (to pensando no JM agora, eu amo ele!).

É tipo uma assinatura de vinho, manja? Mas mensalmente enviamos algo de unicórnio para nossos assinantes.

Como unicórnio está na moda (todo mundo fala e quer algo deles), estamos bombando já a algum tempo… temos clientes fiéis que adoram nossos produtos criativos e que acham justíssimo nosso precinho (R$30,00 mensal).

Nosso índice de cancelamento da assinatura é baixo tipo 0,1 pessoas em cada 10 pessoas… ou seja, 1 em cada 100! (hauhauahuha), ou seja, apenas 0,1% de clientes que nos deixam.

Somos bons em retê-los… primeiro motivo porque nossos produtos são incríveis de verdade e segundo porque quando alguém pensa em desistir, nos liga para cancelar e aí nosso time de call center lhes conta uma história de unicórnio tão incrível que o cara desiste de cancelar e fica com a gente.

Reparem aí que a taxa de cancelamento é de 0,01. Que a receita desse cara é de R$30,00/mês (total de R$360/ano). Então farei uma conta de padeiro aqui, vamos lá!

Para criar esse modelo, vamos precisar do seguinte conjunto de horas de nossos profissionais sensacionais (fodas mesmo, pq o tempo foi pra gente bem ninja!):

Valores dos salários estimados a partir dessa premissa chutada e inventada (peguei idéias desse blog aqui, não sei se é a melhor referência… e o valor do salário em si eu inventei mesmo):

Além das horas que totalizaram R$ 20.000,00, temos ainda os custos de infra, que vou chutar algo como R$15.000,00 no ano (eu fiz a seguinte conta tosca: imaginei uma máquina ok de custo de R$60.000,00/mês que é utilizada pela UniWorld em todas suas tarefas, então rateando com outros projetos, teremos algo como esse chute, bem chutado!)

Total de R$35.060,00 de custo para se ter o modelo rodando bem por 1 ano (tempo da máquina e ainda sim, sem contar a ação em cima dele, caso o monitoramento mostre que ele está deixando de ser acurado).

Tá bem… agora vamos para outra parte verídica. Hoje somos uma empresa pequena e temos cerca de 100 mil assinaturas (não sei se é tão pequena… huahuahua).

O que quer dizer que (veja esse racional rápido, aqui):

Repare que se o modelo não melhorar em pelo menos 10% a taxa de churn, ele não será lucrativo…

“Uou!”

Viu só? Mas tem um ponto que não falei e nem vou contar aqui, pois é apenas para nos fazer refletir… note que contamos apenas o custo de criar e manter o modelo por 1 ano, ainda que sem nenhuma intervenção… o que faltou contar aqui é o quanto nós investiríamos para agir utilizando esse modelo.

“O que você quer dizer com isso?”

Simples… ninguém vai criar um modelo, colocar em produção e não fazer com essa informação, né? Na UniWorld (que nome animal que inventei, hem?) colocaríamos o modelo em produção e o pessoal de negócio abordaria os caras que o modelo indicará como “muito propenso a nos deixar” e enviaria, na sua próxima encomenda, um brinde extra de unicórnio, por exemplo. Ou seja, isso quer dizer que ainda teríamos um custo desse brinde, por pessoa que abordaríamos… o que aumentaria BEM aquele custo inicial…

Sendo assim, colocando essa nova informação, o modelo teria que ter um efeito de melhora na taxa maior ainda que os 10%.

“E Dri, como vou saber se meu modelo vai ser capaz disso ou não?”

Bom, aí vem uma parte complicada! Eu ainda não faço mágica (e imagino que você também não)… só consigo saber das coisas quando tenho dados para analisar… e ainda não fizemos nenhum modelo desse na UniWorld para ter uma idéia do retorno, então… caímos de novo na competência importantíssima que é a comunicação.

Você tem amigos que trabalham em negócios parecidos com o seu? Pega o what´s, manda um oi e pede pra pagar um café pra ele, que está com saudade e precisando de ajuda… dai você pergunta se ele já fez algo parecido e questiona o quanto conseguiu melhorar na taxa de churn…

Isso pode te dar uma noção.

“Mas Dri, e se eu não tenho amigos?”

Huahuahuahua escrevi isso rindo demais… que dó! Eu sei que você tem amigos… talvez só não estejam trabalhando com isso, né?

Então, se você não tem a oportunidade de fazer benchmarketing, você assume o risco e honra o salário que te pagam tomando a decisão que acredita fazer mais sentido pro seu negócio.

É por isso que eu sempre digo para os meus clientes… nehuma análise vai lhee dar a resposta EXATA, ela vai apenas mostrar caminhos.. quem tem que assumir os riscos é você, por isso estão lhe pagando. Então agora é com você… E aí, você acredita que esse é um projeto que deva ser priorizado? Você acredita que um modelo criado a partir de um evento tão raro irá gerar esse impacto na redução do Churn?

Espero ter contribuído com algumas idéias.

Apenas preciso lembrar, novamente, que este é um post totalmente imaginário (eu inventei tudo, até a empresa – que adorei, por sinal), criado em um contexto fictício! Se você for utilizar esse racional no seu mundo, deve pensar no entorno como um todo, onde poderá existir mais custos e mais retornos também. O meu aqui foi tudo feito num papel de pão… não são verídicos e, dependendo do seu negócio, pode ser que nem se aplique!

Boa sorte por aíiii…

Beeeeijos muitos,

Dri