Vista previa del material en texto
Feeback Loop - Iterando, gerenciando aprendizados e resultados. Helder Alves https://www.linkedin.com/in/helderalves-it/ Helder Alves Product Lead - Senior Manager at OLX Mini Bio https://www.linkedin.com/in/helderalves-it/ Feedback Loop 1. O que é o Feedback Loop 2. Como mitigar riscos 3. Aprofundando em cada etapa Feedback Loop O conceito de feedback loop ficou mais difundido no universo de produto com Eric Ries, a partir do livro “A Startup Enxuta”. Pesquisador da Harvard Business School e aluno de Steve Blank, o americano Eric Ries adaptou o formato para o universo das startups, trazendo conceitos de experimentação, validação e iteração contínua de forma ágil. Introdução Feedback Loop ● “Build” - Com base nos insights e aprendizados, construímos a possível solução que queremos testar com nossos usuários, com o intuito de gerar aprendizado para o nosso fluxo. ● “Measure” - Nessa etapa iremos medir o resultado gerado pelos nossos experimentos. ● “Learn” - É o que aprendemos sobre cada teste, que podem modificar nossas hipóteses e gerar novos insights para o próximo ciclo. Feedback LoopAprender Entender os usuários e as verdadeiras necessidades Priorizar Problemas X Soluções Criar Construir do jeito certo Lançar e medir Analisar os resultados e monitorar KPIs de sucesso ● Personas e motivações ● Jornada do usuário (JTBD, flows e funis de conversão) ● Análises Cohort, Análises qualitativa… ● Testes AB, Entrevistas com usuários.. ● Matriz de valor (Custo x Benefício), RICE.. ● Compartilhar as hipóteses e possíveis soluções com o time/stakeholders ● Refinar e priorizar no backlog ● Construção dos flows ● Wireframes/mockup/prototype (UI/UX) ● Testes de usabilidade ● Review com time de dev durante as etapas ● Alinhar deadlines ● Desenvolvimento & QA ● Monitorar KPIs de sucesso (Retenção, DEU, ARPU e etc..) ● Report aos times com resultados alcançados ● Next steps a partir dos aprendizados gerados Feedback Loop Feedback Loop 1. O que é o Feedback Loop 2. Como mitigar riscos 3. Aprofundando em cada etapa " " Edwin Catmull Pixar’s Co-founder and former Walt Disney CEO. Feedback Loop Erros não são um mal necessário. Eles não são maus. Eles são uma conseqüência inevitável de se fazer algo novo (...). Se você não está enfrentando falhas, está cometendo um erro muito pior: está sendo motivado pelo desejo de evitá-las. Feedback Loop Como gerente de produto, você irá sempre procurar mapear os problemas, oportunidades e possíveis soluções que irão gerar o impacto necessário para atingir os objetivos desejados. Porém, para atingir um impacto significativo, você precisará tomar alguns riscos (algumas vezes, grandes riscos). Como você pode gerenciar os riscos e continuar mantendo o apoio do seu time e stakeholders? Vamos falar um pouco sobre quais práticas você pode aplicar para reduzir esses riscos e tomar melhores decisões. Como Mitigar riscos Feedback Loop Riscos Estratégicos Riscos de execução ● Quem são nossos consumidores e usuários? ● As dores ou necessidades que estamos resolvendo são relevantes para nosso público? ● Onde queremos chegar e quando? Estamos priorizando as iniciativas corretas? ● Como são tomadas nossas decisões? Como medimos sucesso dos times ? ● Como medimos Impacto X Esforço? ● A solução é factível de ser construída no tempo disponível? ● O usuário consegue entender e utilizar a solução? ● Como quebramos nossas iniciativas e entregas? ● Como monitoramos e medimos qualidade das entregas? ● Débitos técnicos e de UX Como Mitigar riscos - 7 dicas Foco no consumidor e não em features. Entenda as necessidades dos seus usuários. Feedback Loop Como Mitigar riscos - 7 dicas Seja apaixonado por entender o verdadeiro problema, não pela solução Feedback Loop Como Mitigar riscos - 7 dicas Entenda seu mercado e concorrentes, mas foque na sua estratégia Feedback Loop Como Mitigar riscos - 7 dicas Use uma matriz de valor para priorização (Melhor ROI) Feedback Loop Rice Score - Prioritization Tool Alcance, impacto, confiança e esforço Reach: Quantos usuários iremos alcançar no período? Impact: Qual é o impacto esperado nos KRs ou KPIs? Confiança: O quão confiantes estamos nas estimativas? Effort: Qual o esforço para entregarmos? Feedback Loop Para medirmos a confiança é importante considerarmos as evidências que temos. Essas informações nos ajudam indicar o quanto estamos corretos sobre o impacto esperado ou se é apenas uma opinião. Em linhas gerais, quanto mais dados concretos e menor embasamento em opiniões, maior a confiança. Rice Score - Prioritization Tool Como medir a confiança? Feedback Loop Como Mitigar riscos - 7 dicas Defina sucesso das suas iniciativas. Qual é o resultado que deseja atingir? (Ex: Aumentar retenção em x%, DAU, ARPU, CTR e etc...) Feedback Loop Como Mitigar riscos - 7 dicas Estabeleça uma cultura orientada a dados e experimentos. Feedback Loop Feedback Loop " " William Edwards Deming Estatístico Americano Sem dados você é apenas uma outra pessoa com uma opinião. Como Mitigar riscos - 7 dicas Fail Fast, learn faster. Feedback Loop Feedback Loop 1. O que é o Feedback Loop 2. Como mitigar riscos 3. Aprofundando em cada etapa Aprofundando em cada etapa 3.1 Build 3.2 Measure 3.3 Learn Aprofundando em cada etapa Uma vez identificado o problema e oportunidade a serem endereçadas, hora de começar a construir o que será a nossa solução. Nessa etapa estamos falando de todo o processo para chegar até aqui, como por exemplo: Wireframes, mockups, protótipos, testes com usuário, desenvolvimento e QA. Build Construindo do jeito certo Aprofundando em cada etapa Build Construindo do jeito certo Aprofundando em cada etapa Aprofundando em cada etapa " " Eric Ries Author The Lean Startup Produto mínimo viável (MVP) é a versão de um novo produto que permite que uma equipe colete a quantidade máxima de aprendizado validado sobre clientes, com o mínimo de esforço. Aprofundando em cada etapa Por que construir um MVP? Construindo do jeito certo 1. Reduzir riscos 2. Gerar aprendizado rapidamente 3. Reduzir trabalho desnecessário 4. Medir progresso e evolução 5. Por à prova suas assumptions Aprofundando em cada etapa Aprofundando em cada etapa Vídeo Explicativo - Dropbox O vídeo de minutos 3 mostrou a funcionalidade do protótipo da versão beta do Dropbox, que ainda não tinha sido liberada ao público, demonstrando o problema que estavam resolvendo e sua principal proposta de valor. A ideia era validar o interesse dos usuários. Então o CEO (Drew) gravou esse vídeo, demonstrando as principais funcionalidades. Ele soltou o vídeo do MVP no “Hacker News” em 05/04/2007, como parte de sua aplicação para aceleradora Y Combinator. Após a divulgação, ele viu seu número de inscrições saltar de 5.000 para 75.000 durante uma noite https://www.youtube.com/watch?time_continue=5&v=7QmCUDHpNzE&feature=emb_logo Aprofundando em cada etapa Produto real em operação. Nos bastidores todas as funções são executadas manualmente sem o conhecimento da pessoa que está usando o produto. Podemos citar como exemplos a Zappos e os primórdios da Easy Taxi. De forma manual, existe uma pessoa por trás realizando alguns steps necessários para entrega do valor que o produto fornece. Mágico de Oz - Zappos https://www.youtube.com/watch?v=VPVec5eupTY https://www.infoq.com/br/presentations/easytaxi-escalando-um-app-e-uma-ideia-para-4-continentes/ Aprofundando em cada etapa Concierge - Airbnb Um serviço pessoal, em vez de um produto, que manualmente guia o cliente pelo processo, usando os mesmos passos propostos para resolver o problema do cliente no produto digital. O nome deriva do concierge de hotel. Podemos citar como exemplo o Airbnb, onde os sócios ofereciam camas infláveis para clientes durante a Convenção Democrática Nacional.Foque em validar a proposta de valor central com os potenciais usuários do seu produto. É ela quem dirá se você está resolvendo um problema relevante para o seu público. Aprofundando em cada etapa 6 dicas para criar um MVP Aprofundando em cada etapa Antes de testar qualquer MVP, defina o que é sucesso e saiba como medi-lo. Tenha cuidado com definições vagas, é preciso ter clareza de como será medida a tração. 6 dicas para criar um MVP Aprofundando em cada etapa Aplique o seu MVP a um contexto realista. Usar funcionários, seus amigos e família como representações do mercado costumam enviesar drasticamente os dados e podem motivar decisões equivocadas. 6 dicas para criar um MVP Aprofundando em cada etapa Em times que não possuem o mindset de aprendizado incremental e contínuo, é comum surgirem soluções mais complexas do que o necessário para resolução do problema ou validação de hipóteses. Como gerente de produto, é seu dever guiá-los nesse processo. 6 dicas para criar um MVP Aprofundando em cada etapa O MVP serve para testarmos a nossa proposta de valor e não é o produto final. Muitas empresas e stakeholders “entendem” MVP como a primeira versão de um produto completo, esse é um conceito errado. Se esse for o seu caso, reforce o conceito, o que está sendo validado e a importância desse aprendizado para os stakeholders. 6 dicas para criar um MVP Aprofundando em cada etapa Nem sempre é possível ter muitos dados “post-launch” a disposição para validação da demanda. Olhando apenas para poucos dados, pode-se ter um viés sobre a análise. Análises de mercado, comportamento do consumidor e benchmarkings são ferramentas que podem ajudar no primeiro momento. 6 dicas para criar um MVP Aprofundando em cada etapa 3.1 Build 3.2 Measure 3.3 Learn Aprofundando em cada etapa Nessa etapa é onde analisamos os resultados gerados pelo lançamento da nossa feature ou produto. Experimentos lean irão ajudar você a continuamente identificar se as necessidades do usuário estão sendo endereçadas e se você está no caminho correto. Capturando dados, quantitativos e qualitativos de transações ou uso do produto através de ferramentas de analytics, você irá gerar um ciclo de aprendizado contínuo. Para isso, é importante ter clareza dos seus principais KPIs, que indicarão se está no caminho correto. Measure Analisar os resultados Aprofundando em cada etapa Aprofundando em cada etapa KPIs Description NPS Medir nível de satisfação dos nossos usuários ARPPU Receita média por usuário pagante Retention % de retenção dos vendedores dentro de X dias % Successful Sellers % de vendedores que conseguiram vender dentro de X tempo Churn % de churn(saída) de vendedores dentro de X dias Paying Sellers Anunciantes que pagam por um produto ou serviço Time to conversion Tempo médio de geração do lead desde a etapa busca. Time to sell Tempo médio para geração da venda desde a publicação do anúncio Exemplo de KPIs Marketplaces - Vendedores Experimentos 4.1 Definindo Experimentos 4.2 Definindo o que é sucesso 4.3 Aprofundando em cada etapa Existem diversos tipos de experimentos Aprofundando em cada etapa A/B & Multivariate tests Testes A/B e multivariáveis são ferramentas simples e poderosas no fluxo de aprendizado. A ideia é testar em uma determinada população sua variável original (“controle”) VS uma ou mais variações. É importante destacar que, para cada variação, você pode alterar apenas um único elemento. Do contrário, não será possível determinar qual foi o motivo que gerou o resultado. Aprofundando em cada etapa A/B & Multivariate tests Exemplo de teste A/B: - Versão controle: Texto no botão “Enviar informações” - Versão A: Texto no botão “Analisar Crédito” Exemplo de KPI: - % de usuários únicos que prosseguem para próxima etapa VS Aprofundando em cada etapa A/B & Multivariate tests Exemplo de teste A/B: - Versão controle: Botão “Completar informações” que leva a próxima página de preenchimento - Versão A: Formulário já vem aberto na própria página. Exemplo de KPI: - % de usuários únicos que preenchem o formulário de análise de crédito. VS Aprofundando em cada etapa Fake Door Quando queremos validar o possível interesse de usuários no nosso produto ou serviço, uma forma prática e rápida de fazer isso é aplicando um teste fake door. Por exemplo: em um app de delivery se quisermos medir o interesse dos usuários em ter novas formas de pagamento como “Wallet” ou “Ticket refeição”, poderíamos incluir essas opções e medirmos o interesse com um fakedoor. Ao clicar o usuário pode ser informado que estamos trabalhando para adicionar novas formas de pagamento e gostaríamos de coletar seu feedback. Assim, podemos medir o interesse tanto em cliques quanto em feedbacks qualitativos desses usuários acerca dos meios de pagamento. Aprofundando em cada etapa Survey A survey, ou simplesmente pesquisa, é uma forma simples e efetiva de coleta feedback qualitativo dos seus usuários. O ideal aqui é ter o objetivo claro e não ser muito extensa. Evitar perguntas do tipo “sim” ou “não”, a não ser que sejam para filtragem de outras perguntas que serão mais abertas. Lembre-se que o intuito aqui é entender como o usuário pensa e quais dores ele está tentando resolver. Comece com cautela. A primeira pergunta geralmente é a mais importante. Fazer perguntas pessoais ou delicadas logo no início pode assustar as pessoas. Deixe esse tipo de pergunta, caso seja realmente necessária, para o fim. Aprofundando em cada etapa Landing Pages Landing Pages são boas ferramentas para utilizarmos para propósitos específicos, seja para colher feedbacks dos nossos usuários ou vender a proposta de valor de um produto/serviço. São bastante versáteis e utilizadas também para encurtar o processo para obtenção de um produto ou serviço desejado, direcionando o usuário direto para o funil. Nesse exemplo, temos uma Landing Page destinada a financiamento de automóveis, que pode ser utilizada em campanhas de performance e outras ações, redirecionando o usuário direto para o fluxo de financiamento do tipo de carro que está procurando. Feedback Loop 5 Gerenciando backlog - Overview 6 Pivotar ou Iterar? 7 Divulgando resultados Backlog - Dual track Backlog Delivery (Pronto para entrega de valor) Opportunity (Insights & ideias) Discovery (Descoberta e validação) Escopo claro e bem definido Foco na entrega Ready to work Escopo variável - Incertezas Foco no aprendizado para redução de riscos e validação de hipóteses Nem tudo vai para delivery Escopo alto nível e variável - Incertezas Foco nas oportunidades geradas a partir dos insights e necessidades Fase de ideação e estruturação Aprendizados Novas oportunidades Feedback Loop Feedback Loop 5 Gerenciando backlog de hipóteses validadas 6 Pivotar ou Iterar? 7 Divulgando resultados Feedback Loop ● Iterar: Mudança pequena do produto, na tentativa de gerar mais aprendizado ou melhorar o resultado gerado. ● Pivotar: Mudança no direcionamento do modelo de negócio, estratégia ou problema identificado, na tentativa de corrigir a direção para o caminho certo. ● Perseverar: Seus experimentos e evidências validam suas hipóteses. Essas são “green lights” sinalizando que você deve seguir em frente com o modelo atual. Tips & tricks - Acelerando o feedback loop " " Um excelente gerente de produto tem a mente de um engenheiro, o coração de um designer e o discurso de um diplomata. Deep Nishar Sócio-gerente no Softbank. Google and Linkedin former Director/VP of Product. Pivotar ou iterar Zoom-in e Zoom-out pivot Zoom-In Pivot: Transformar o que antes era apenas uma parte do seu produto ou serviço em todo o seu produto ou serviço. Zoom-Out Pivot: É o movimento contrário do primeiro item, ou seja, transformar todo o seu produto em uma funcionalidade ou partede algo novo que irá suprir a necessidade do mercado. Pivotar ou iterar Exemplo de Zoom-in pivot em Feature Antes de 2018, ações relacionadas a simulação de financiamento automotivo na OLX eram realizadas apenas através de campanhas de publicidade, via ads no site que levavam o usuário para o site do banco. Após análise da jornada do usuário e alguns testes fakedoor, devido a necessidade e interesse dos nossos usuários, identificou-se uma potencial oportunidade de tornar essa experiência de simulação integrada aos anúncios na plataforma, oferecendo o simulador de financiamento em parceria com bancos, de forma nativa e mais integrada a navegação. Pivotar ou iterar Exemplo de Zoom-in pivot em Feature Case Real Helder Alves Problema: No app do ZAP a nossa taxa de conversão em leads estava abaixo dos benchmarks. A maior parte dos nossos usuários saíam no primeiro acesso sem conseguirem realizar uma busca de sucesso e não entravam em contato com os nossos anunciantes. Muitas hipóteses: a. Nosso onboarding não é claro, o que deixa o usuário perdido no processo b. Não entendem como buscar o imóvel que eles querem c. A busca não funciona como eles esperavam d. A busca não tem os filtros que eles precisavam e. Mesmo tendo a busca e os filtros, não encontraram um anúncio que eles desejavam. Case - ZAP: App Android & iOS Mapear jornada de busca do usuário nos portais e app a. Analisar conversão do onboarding b. Analisar conversão do funil de busca. c. Analisar filtros utilizados d. UR - Entrevistas qualitativas para mapear jornada de busca Case - ZAP: App Android & iOS Possíveis Ações ZAP - Android & iOS Onboarding anterior não era segmentado por características do imóvel, tais como: Localização, Aluguel ou venda, valor, dentre outras informações básicas. Usuário sempre era redirecionado para todos os tipos de imóveis a venda em São Paulo, gerando uma grande frustração no primeiro uso do app e baixa conversão. ZAP - App Android & iOS Old onboarding - A partir de testes de usabilidade, entendimento da jornada e interações contínuas com base nos dados, re-criamos o onboarding, focando em melhorar o first-run do usuário, entregando imóveis segmentados nas preferências básicas definidas. - Preço dinâmico: Range de preço com base nos anúncios disponíveis para região. Eliminamos o problema de buscas que não retornavam imóveis dentro de range de preços que não tínhamos. ZAP - App Android & iOS New onboarding Em ZAP Android, aumentamos a conversão de onboarding to lead em ~28.3% ZAP - App Android & iOS Resultados Em ZAP iOS, aumentamos a conversão de onboarding to lead em ~26% ZAP - App Android & iOS Resultados Com os resultados obtidos nos apps do ZAP, aplicamos os aprendizados nos apps do VivaReal em alguns steps, obtendo aumento dos usuários que chegavam até o final do funil, melhorando a conversão do nosso onboarding. Exercícios Feeback Loop - Iterando, gerenciando aprendizados e resultados. Exercícios 1. Pensando no contexto da sua empresa e produto, como você gera suas oportunidades e trabalha o processo de continuous discovery? a. Todo time e stakeholders são envolvidos nesse processo? b. O time coloca em prova suas assumptions antes de assumir grandes riscos? c. O time toma decisões frequentemente baseado em evidências e menos em assumptions? d. Como é o processo de validação das hipóteses? 2. Junto com o seu time, estruture / revise o processo de continuous discovery e delivery a. Defina como será o processo e acompanhamento das atividades b. Quais são as DoR e DoD? c. Compartilhe e dê visibilidade do processo para stakeholders envolvidos 3. Analisando seu produto e contexto atual, identifique as oportunidades que possui para Iterar, Pivotar ou Perseverar. a. Utilize os métodos de priorização para ajudá-lo nessa tarefa. Anexo Feeback Loop - Iterando, gerenciando aprendizados e resultados. Ferramentas úteis Analytics Heat maps Design / Prototypes User Testing Bibliografia Feeback Loop - Iterando, gerenciando aprendizados e resultados. https://medium.com/great-business-stories/lessons-from-pixar-2-failure-is-an-ingredient-for-creativity-b54b34abaccd https://www.intercom.com/blog/analysing-abandonment-in-your-product/ https://www.jpattonassociates.com/dual-track-development/ https://medium.com/product-dr/why-were-going-dual-track-agile-5fdbddad008a https://itamargilad.com/ https://www.techstartups101.com/iterate-pivot-persevere Referências Sites e artigos https://medium.com/great-business-stories/lessons-from-pixar-2-failure-is-an-ingredient-for-creativity-b54b34abaccd https://www.intercom.com/blog/analysing-abandonment-in-your-product/ https://www.jpattonassociates.com/dual-track-development/ https://medium.com/product-dr/why-were-going-dual-track-agile-5fdbddad008a https://itamargilad.com/ https://www.techstartups101.com/iterate-pivot-persevere Referências Livros Obrigado!
