[E-book] Projeção e Análise de ROI ... by Treasy | Planejam... 188 views\nAulas de Investimentos (payback) by Adriano Bruni 91788 views\nModelo de check list cipa (nr 5) ... by Robson Peixoto 32259 views\n7 c - check list ppra (nr 9) - se... by Zacarias Junior 5913 views\n1. Alfredo Castro é autor de cinco livros: Zapp! em ação, Automotivação e Motivação, publicados pela Campus, Qualidade e energização, publicado pela Qualitymark e Motivação de equipes virtuais, publicado pela Editora Gente. É co-autor de quatro livros: Universidades corporativas, editado pela USP; Manual de T&D, publicado pela ABTD; Manual de Gestão de Pessoas, em dois volumes, publicado pela ABRH. www.motvirtual.com.br ISBN - 85-98561-03 www.abtd.com.br 9 788598 561035 Indo Além do ROI em T&D Dr. Donald Kirkpatrick Alfredo Pires de Castro “Recomendo sua leitura, principalmente porque é um livro escrito por um pesquisador e consultor que compreende as diferentes culturas deste mundo tão complexo e sabe que o conceito de avaliação deve ir muito além do que convencionamos chamar de ROI.” Alfredo Pires de Castro Indo além do em T&D Prefácio de Donald Kirkpatrick\n2. Copyright © Alfredo Pires de Castro, 2005. ABTD – Associação Brasileira de Treinamento e Desenvolvimento Rua Ana Cintra, 63 cj. 31 – Santa Cecília CEP 01201-060 – São Paulo/SP Fone: (11) 3224-8317 / Fax: (11) 221-5514 www.abtd.com.br Produção Editorial Projeto gráfico e diagramação Capa Revisão Igor Slivnik Cozzo Márcia Muniz da Mata Igor Slivnik Cozzo Ilka Santi Castro, A. Indo Além do ROI em T&D / A. Castro. – São Paulo : Associação Brasileira de Treinamento e Desenvolvimento, 2005. Bibliografia. ISBN 85-98561-03 1. Administração de pessoal - Fixação de objetivos 2. Administração por objetivos 3. Aprendizagem organizacional 4. Decisões 5. Empregados - Treinamento 6. Planejamento estratégico I. Título. CDD-658.3124 Índices para o catálogo sistemático 1. Educação Organizacional : Administração de recursos humanos 658.3124 2. Recursos humanos : Treinamento e desenvolvimento : Administração 658.3124 3. Treinamento por resultados : Administração de recursos humanos 658.3124\n3. Prefácio de Donald Kirkpatrick Conheço o autor deste livro há alguns anos. Já nos encontramos algumas vezes em diferentes países do mundo, sempre em busca do aprendizado constante, principalmente sobre o tema do ROI. Mas a ocasião mais interessante, na qual pudemos conversar e trocar idéias sobre o futuro de T&D, foi em Kuala Lumpur, capital da Malásia. Estávamos palestrando no congresso internacional asiático de recursos humanos de 2002 sobre um tema sempre recorrente: o retorno sobre o investimento em T&D. Naquela ocasião, Alfredo mostrou os originais deste livro e suas idéias sobre ROI. Recomendo sua leitura, principalmente porque é um livro escrito por um pesquisador e consultor que compreende as diferentes culturas deste mundo tão complexo e sabe que o conceito de avaliação deve ir muito além do que convencionamos chamar de ROI. Boa leitura! Dr. Donald Kirkpatrick\n4. ÍNDICE 1 - INTRODUÇÃO 7 2 - O PROCESSO TRADICIONAL DE AVALIAÇÃO DO RETORNO SOBRE O INVESTIMENTO (ROI) 11 3 - INDO ALÉM DO ROI 17 4 - METODOLOGIA DE AVALIAÇÃO - MOT 43 5 - PLANEJAMENTO 53 6 - COMO ESTABELECER O VALOR DO TREINAMENTO? 87 TEMAS AVANÇADOS 1- ALÉM DOS CINCO NÍVEIS 93 2- E-LEARNING - AVALIANDO O RETORNO SOBRE O INVESTIMENTO 95 3- GOVERNANÇA CORPORATIVA 103 4- TENDÊNCIAS A CONSIDERAR PARA IR ALÉM DO ROI 113 A COMUNIDADE VIRTUAL ASTD 121 AUTOR DO LIVRO 123 BIBLIOGRAFIA 125 SITES 127\n5. Alfredo Pires de Castro 1 - Introdução “Na nova economia todas as organizações de ponta têm investido em processos sofisticados de Treinamento e desenvolvimento para maximizar as competências de seus profissionais.” A frase é de efeito e representa o que todos os executivos desejam. Mas será que a realidade tem sido esta? Uma parte da resposta está na nossa capacidade de perceber as verdadeiras expectativas dos investidores de capital humano. Este livro é fruto de intensas pesquisas, feitas na última década, para buscar soluções e alternativas em T&D que realmente resultem em valor para as organizações - é a tentativa de propor ações possíveis e viáveis para essa questão. Como profissional, depois de ter participado da implementação de inúmeros projetos (tanto simples quanto complexos), em diferentes realidades culturais (no Brasil e no exterior), tenho uma resposta objetiva para a questão: realmente as organizações líderes, que prosperam e atingem resultados acima da média de seus segmentos, têm investido acima da média em programas de desenvolvimento. Os processos de avaliação e validação dos programas de T&D estão neste contexto: constituem-se em uma ferramenta de tomada de decisão estratégica para a alta gerência da organização, já que é essencial desenvolver e reter não apenas os melhores profissionais, mas também o conhecimento que eles possuem em função de sua longa experiência comportamental e conceitual. O modelo de retorno sobre o investimento em T&D, que utilizo em meus trabalhos e aplicações práticas, é fundamentado nos programas internacionais da ASTD, entidade que me inspira a cada ano. 7\n6. Indo além do ROI em T&D Não apenas este modelo pode ser aplicado aos programas de T&D, mas também às intervenções que impliquem o desenvolvimento de seres humanos, tais como: • programas de e-Learning, • processos de mudanças organizacionais, • processos de reestruturação organizacional, • programas de motivação, • programas de benefícios e RH, • soluções de tecnologia, • desenvolvimento organizacional, • gestão da qualidade e • programas de otimização da gestão empresarial. Ao longo do texto, para facilitar o entendimento, simplificar e possibilitar a implementação real da proposta, farei referência aos programas de T&D. Muitos dos conceitos aqui apresentados foram pesquisados em congressos internacionais e implementados em organizações nacionais e internacionais nos últimos 10 anos. Além dos livros, teses e apresentações do Dr. Donald Kirkpatrick (que é considerado mundialmente o introdutor deste modelo e fez a gentileza histórica de escrever o prefácio deste livro), também levei em consideração dois outros especialistas, autores de livros e conferencistas renomados: Dr. Jack Phillips e Dr. Scott Parry. Além da minha própria experiência, contei com a contribuição da equipe de primeira linha da qual faço parte na MOT - Mudanças Organizacionais e Treinamento, uma organização que já desenvolve soluções em T&D há mais de dez anos - o que muito me orgulha. Agradeço à minha sócia Valeria José Maria e aos companheiros de pesquisa e trabalho. 8\n7. Alfredo Pires de Castro Contei ainda com a vivência enriquecedora dos colegas da USP e da ESPM, onde sou professor de cursos de MBA e pósgraduação, e dos eternos colegas do conselho da ASTD no Brasil e da ASTD internacional. Da África do Sul à China, só tenho recebido contribuições valiosas, em se tratando de pesquisas, opiniões e vivências. No Brasil, conto com a convivência bastante motivadora dos colegas da Associação Brasileira de T&D, cujo exemplo mais relevante de vida está simbolizado na presença marcante e estimulante de Vanderlei Cozzo, nosso eterno “presidente”. Obrigado a você, leitor, por sua motivação e crença de que podemos realmente aprimorar o mundo, nem que seja com passos mais lentos do que desejamos, porém, com passos mais consistentes do que acreditamos. Boa leitura! 9\n8. Alfredo Pires de Castro 2 - O processo tradicional de avaliação do retorno sobre o investimento (ROI) Donald Kirkpatrick é considerado o introdutor do processo de análise de retorno sobre o investimento em programas de treinamento. Em seu modelo, ele teoriza que o primeiro nível deve enfocar a visão do participante sobre o programa (muitas vezes aplicado entre nós como a “avaliação de reação” de treinamento). O segundo nível está voltado para avaliação do aprendizado, geralmente quantificado por testes pré e pós-treinamento. Já o terceiro nível está relacionado a mudanças de comportamento dos participantes após as intervenções do treinamento, enquanto o quarto nível aborda o impacto em desempenho que essas mudanças trazem para a organização. Dois outros especialistas em avaliação, Jack Phillips e Scott Parry, procuraram ampliar o trabalho de avaliação, criando mecanismos que se caracterizam pelo cálculo pragmático do retorno sobre o investimento que a organização obteve com o programa de treinamento. O processo não deve ser realizado apenas após o programa de treinamento. Ele fornece dados e constatações tão importantes, que deve ser utilizado pelo grupo estratégico da organização como um mecanismo de decisão sobre os investimentos que devem ser feitos para gerar maior impacto no desempenho empresarial. 11\n9. Indo além do ROI em T&D NÍVEL QUESTÕES ü Qual foi a reação dos partici1- Reação e ação pantes ao programa? planejada ü O que planejam fazer com o que aprenderam? ü Que habilidades, conhecimen2 – Aprendizagem to ou atitudes foram mudados? Em que proporção? 3 - Aprendizado ü Os participantes aplicaram o aplicado ao que aprenderam no trabalho? trabalho e impactos ü Os novos comportamentos são comportamentais aplicados no trabalho? ü Esta aplicação produziu resultados mensuráveis? 4 - Resultados ü O impacto do programa pode ser isolado? ü Esta aplicação produziu resultados positivos? 5 - Retorno sobre o ü O valor monetário dos resultaInvestimento dos excedeu o custo do programa? Visão geral do processo - a forma tradicional O processo de avaliação do retorno sobre o investimento enobrece os processos de T&D e leva-os às pautas das reuniões de planejamento estratégico das principais organizações no mundo todo. Ele deve começar sempre com a identificação e o diagnóstico das necessidades de aprimoramento de desempenho organizacional e a escolha dos métodos de levantamento de dados que serão aplicados pré e pós-programa. É preciso considerar que o sistema de avaliação de um programa de T&D é uma ferramenta de análise e decisão estratégica. Além de mensurar a efetividade do próprio programa, o sistema promove um aprimoramento contínuo, fornecendo in12\n10. Alfredo Pires de Castro formações para melhorar cada vez mais todos os estágios dos programas de T&D. Todo esse mecanismo não deve ser visto como uma etapa única, um final de processo, mas sim como parte de um processo interativo e contínuo. O formato tradicional se baseia em conceitos aceitos mundialmente e possui ferramentas e técnicas práticas para planejar e realizar avaliações efetivas dos programas, sempre com uma visão do retorno obtido nos 12 meses subseqüentes à intervenção realizada. Exemplo de cálculo de ROI - formato tradicional Duas fórmulas comuns para se calcular o retorno sobre o investimento são a relação custo/benefício e o retorno sobre o investimento (ROI). Para se encontrar a relação custo/benefício, divide-se o total de benefícios pelos custos. No modelo ROI, os custos são subtraídos dos benefícios totais para se gerar o valor do beneficio líquido, o qual é dividido pelos custos. Por exemplo, considere um programa de treinamento que produziu benefícios de $321.600 com o custo de $38.233. A relação custo/benefício será de 8,4, o que significa que, para cada $1,00 investido, houve o retorno de $8,40 em benefícios. Os benefícios são calculados da seguinte forma: $321.600 - $38.233 = $283.367. O retorno sobre o investimento será feito com a conta: $283.367 : $38.233 x 100, o que dá o ROI de 741%. Usando a fórmula do retorno sobre o investimento, temos que para cada $1,00 investido no programa, houve um retorno de $7,40 em benefícios líquidos. 13\n11. Indo além do ROI em T&D Decidindo os níveis a avaliar Muitas organizações pretendem que 100% de seus programas de treinamento sejam avaliados no nível 1, já que é relativamente fácil aplicar os instrumentos para avaliar a reação dos participantes. O nível 2 (aprendizado) também é relativamente fácil de mensurar. O nível 3 da avaliação (aplicação no trabalho) envolve mais tempo e despesas para a condução do processo, portanto, o alvo de avaliação deve ser menor, entre 30% e 50%. Os níveis 4 e 5 (resultados e retorno sobre o investimento) requerem um aporte significativo de recursos, portanto, o percentual de programas tende a ser menor. Veja a tabela que elaborei com base em diversas pesquisas e levantamentos divulgados em diferentes congressos internacionais sobre Treinamento e Desenvolvimento. Nível de avaliação % de programas a serem avaliados 1 100 2 60 (de 40 a 70) 3 30 (de 30 a 50) 4 10 5 5 O modelo tradicional na prática Neste capítulo, faço uma apresentação resumida do processo mais aceito e tradicional de avaliação de investimentos em T&D. Na prática, não apenas utilizo este modelo com os 5 níveis, como também concordo que sua aplicação torna o processo con14\n12. Alfredo Pires de Castro sistente, técnica e financeiramente aceito por todos os executivos que não são da área de T&D, apresentando resultados com bastante impacto. Minha sugestão, baseada em inúmeras aplicações, é que ele pode e deve ser aplicado com bastante sucesso. Algumas perguntas surgem após a implementação desse modelo, como por exemplo: • Como isolar os efeitos do programa de treinamento e desenvolvimento? • Como mostrar que os benefícios alcançados estão plenamente relacionados aos resultados da organização, geralmente reportados nos balanços patrimoniais? • Como garantir que o indicador escolhido para monitorar o programa seja realmente significativo e reflita as mudanças de comportamento? • Qual é a ligação entre o diagnóstico, o levantamento de necessidades e os programas de treinamento? • Como formatar, de forma empresarial e executiva, as conclusões da avaliação? • Como apresentar a relação investimento x benefícios? • Devo avaliar todos os programas de T&D? • O que devo avaliar em meu treinamento e por quê? • Como medir o desempenho antes, durante e depois do treinamento? • Como determinar o valor do treinamento? Para responder essas e outras perguntas (você deve ter mais algumas), vamos ver nos próximos capítulos como podemos aplicar outras metodologias, técnicas e modelos que vão além do conceito tradicional do ROI, sem, no entanto, esquecer de sua objetividade e aplicabilidade. Vamos lá? 15\n13. Alfredo Pires de Castro 3 - Indo além do ROI O modelo tradicional (de 5 níveis) é o utilizado na maioria dos casos em que desejamos determinar o retorno sobre o investimento. Porém, existem avanços significativos a esse respeito, quando incluímos dois outros poderosos modelos de análise, implementação e avaliação empresarial: • o BSC - Balanced Scorecards e • o HPI - Human Performance Improvement. Vamos abordar inicialmente a aplicação dos Balanced Scorecards na avaliação de investimentos em T&D. Utilizando o BSC nos projetos de avaliação de investimentos Podemos compreender o BSC – Balanced Scorecards – como um conjunto de mapas estratégicos que relacionam e indicam as habilidades, conhecimentos, atitudes e sistemas que os colaboradores necessitarão para mudar comportamentos no local de trabalho e, com isso, gerar impactos empresariais. É recomendável a utilização do BSC quando realizamos levantamentos sobre as mudanças de comportamento necessárias para mudar o ambiente empresarial e obter resultados. Essas mudanças de comportamento, introduzidas a partir de um programa de T&D, devem afetar os indicadores empresariais, considerando as quatro dimensões do BSC: a) a perspectiva dos clientes, b) a perspectiva dos processos internos, c) a perspectiva de inovação e aprendizagem e d) a perspectiva financeira. 17\n14. Indo além do ROI em T&D O conceito de “Balanced Scorecard” (BSC) foi proposto pela primeira vez na Harvard Business Review, na edição de janeiro/fevereiro de 1992. Essa ferramenta constitui-se em um referencial para a tradução dos objetivos estratégicos de uma empresa em um conjunto coerente de indicadores de desempenho, segundo as próprias palavras de seus criadores, os professores Robert Kaplan e David Norton, da Harvard Business School, este último também presidente da Balanced Scorecard Inc. A principal contribuição da proposta desses dois autores parte da constatação de que as medidas financeiras tradicionais não captam a totalidade do esforço organizacional em busca do futuro desejado. O mais interessante é que os próprios autores, depois de vários projetos implementados, perceberam que poderiam ampliar sua perspectiva de contribuição, ao constatar que o impacto das medidas de desempenho de uma organização podem ir além da combinação de medidas financeiras e não-financeiras. Verificaram que os sistemas de mensuração organizacionais podem exercer forte inf luência sobre o comportamento dos gestores e colaboradores. Na maioria dos trabalhos que conduzi sobre ROI em T&D, utilizei o conceito de BSC para estabelecer o grau de impacto que as mudanças organizacionais tiveram sobre cada uma das 4 dimensões do BSC: a) A perspectiva dos clientes Trata-se da identificação dos parâmetros de satisfação e percepção dos clientes em relação ao posicionamento da organização quanto a prazo, qualidade, desempenho e serviços. Trata-se ainda de identificar indicadores que possam ser monitorados e se relacionem claramente com as intervenções do treinamento (por exemplo, atendimento, reclamações, índices de fidelização e retenção, etc). 18\n15. Alfredo Pires de Castro b) A perspectiva dos processos internos Envolve o levantamento de parâmetros relevantes que possam monitorar os processos internos, isto é, os subsistemas de suprimentos, políticas de comercialização, decisões estratégicas e processos de produção. É a identificação dos indicadores internos (índices de eficiência, produtividade, etc). c) A perspectiva de inovação e aprendizagem Com relação ao nosso tema, esta é a dimensão mais relevante: como os profissionais da organização estão conseguindo gerar valor, “aprender” e “multiplicar” seu conhecimento para os demais colegas da organização. Trata-se de identificar os indicadores relacionados à gestão do conhecimento e ao grau participação (índices relacionados ao número de sugestões, nível de empreendedorismo, horas de treinamento, atividades de autogestão ou times autogerenciáveis, etc). d) A perspectiva financeira Esta perspectiva contribui com os indicadores mais objetivos e mais freqüentemente utilizados para otimizar a eficácia empresarial. Trata-se de identificar índices de custos, margens de contribuição, aplicações financeiras, estratégias de financiamento e expansão (índices relacionados ao endividamento, políticas financeiras, estratégias de remuneração e ganhos financeiros, etc). Assim, os indicadores contábeis e financeiros tradicionais, como o retorno sobre o investimento e o lucro por ação, que funcionaram bem na era industrial, podem, às vezes, não refletir os sinais e evidências de melhoria contínua e grau de inovação de um determinado ambiente. As medidas financeiras não contemplam as atividades desenvolvidas pelo patrimônio, de caráter intangível e de criação de valor, tais como habilidades, competências, motivação dos colaboradores, marketing de relacionamento, processos operacionais eficientes, inovação em produtos e serviços, relacionamento e lealdade com o consumidor, valor da marca, reputação empresarial, adequação societária e governança corporativa. 19\n16. Indo além do ROI em T&D Na maioria das vezes, essas medidas estão em descompasso com as habilidades e competências que as organizações precisam dominar atualmente para atuar de forma competitiva no mercado. A necessidade de mensurar retornos intangíveis decorre do processo de evolução da empresa. Já abordamos o grande processo de mudança pelo qual as organizações estão passando. Na era industrial, as organizações e complexos econômicos criavam valor transformando matéria-prima em produtos acabados e valorizavam os ativos tangíveis (estoques e fábricas, por exemplo), colocando a eficácia organizacional nos indicadores de produtividade. Já na era da gestão do conhecimento, os recursos intangíveis (por exemplo, marca, prestígio e capital intelectual) passam a compor os ativos organizacionais e são fundamentais para a determinação do ROI de intervenções de treinamento. Por isso, o ROI, em lugar de ser um conceito complexo e de difícil implementação, é antes de tudo um enorme processo de identificação de uma nova visão sobre a eficácia organizacional. O que torna sua aplicação complexa é a dificuldade que temos de fazer uma nova leitura dos verdadeiros indicadores que afetam o desempenho empresarial. Para identificar os resultados organizacionais de uma intervenção de T&D, devemos buscar primeiramente todos os ativos (tangíveis e intangíveis) que realmente exercem um impacto relevante sobre o ambiente organizacional em questão. Apesar de sua importância, os ativos intangíveis não são recursos fáceis de se mensurar. Talvez não seja por outra razão que a mensuração desses ativos ainda não conste dos balanços empresariais. Entretanto, a estratégia organizacional e a estratégia da empresa cada vez mais se concentram nesse ativo. A proposta do BSC tem como foco os processos-chave gerenciais. A visão estratégica e a alocação de recursos são dimensões que fluem de “cima para baixo”. Já as dimensões de implementação, inovação e feedback fluem de “baixo para cima”. A dimensão de “aprendizagem” pode fluir nos dois sentidos. 20\n17. Alfredo Pires de Castro Dimensões do BSC aplicadas à identificação de valor Implementação, inovação e feedback Aprendizagem Organizacional Visão estratégica e alocação de recursos O BSC é um modelo que busca acompanhar a mudança nas oportunidades de criação de valor para o cliente por meio da gestão dos patrimônios tangível e intangível: relacionamento com clientes, produtos e serviços inovadores, processo operacionais sensíveis e de alta qualidade, informações tecnológicas, capacidade, habilidade e motivação das pessoas. Quando utilizamos essa visão para estabelecer e identificar os resultados organizacionais em um processo que nos levará muito além do retorno sobre o investimento, temos muito mais possibilidades de sucesso. Estudo de caso: a Fundição TUPY Juntamente com a equipe da MOT, realizei um projeto de mudança organizacional para uma das maiores empresas do segmento de fundição no Brasil: a Fundição Tupy. Baseada em Joinville, Santa Catarina, ela possui unidades de produção em outras cidades do Brasil e atividades em vários países do mundo. O desafio era o seguinte: mudar o conceito e o estilo de liderança, fazendo os colaboradores atuarem com mais criatividade, responsabilidade e inovação, por meio do projeto “Times Autogerenciáveis” ou simplesmente “TAG”. 21\n18. Indo além do ROI em T&D O programa envolveu mais de 5.000 colaboradores, em processos contínuos de treinamento e mudança de comportamento no local de trabalho. Fizemos uma avaliação com o BSC nas quatro dimensões e conseguimos detectar os impactos que as mudanças de comportamento geraram nos indicadores empresariais. Por exemplo, em seis anos, os colaboradores sugeriram e implementaram cerca de 170.000 sugestões inovadoras, que tiveram impacto direto nas perspectivas financeira e de processos internos. Isso reduziu substancialmente o desperdício, promovendo um aumento global de 17 % nas vendas, exercendo impacto sobre as perspectivas de aprendizagem e dos clientes. Calculamos inúmeras vezes o retorno sobre o investimento para várias ações de T&D e para o novo posicionamento cultural (autogerenciável), atingindo patamares de 70 a 400% de ROI nos primeiros 12 meses após as intervenções. O modelo BSC deverá ser utilizado tanto na fase preliminar, antes da definição de qual intervenção será aplicada, quanto na fase posterior à implementação do programa, quando serão verificados os benefícios realmente obtidos. Devemos seguir alguns princípios para traduzir e vincular as ações implementadas aos seus efeitos na organização. O BSC é particularmente uma ferramenta com a qual faremos: • uma divulgação adequada da estratégia de toda a empresa; • o monitoramento e a atualização do plano estratégico; • o alinhamento das metas das diferentes unidades de negócio e dos indivíduos com a estratégia global; 22\n19. Alfredo Pires de Castro • a identificação de necessidades e carências organizacionais • a condução de processos de avaliação periódica para verificar como as intervenções estão afetando a eficácia organizacional. Para atingir os objetivos, as três etapas descritas a seguir devem ser seguidas: 1) Traduzir a estratégia em termos operacionais. Criar uma matriz de relevância e relacionamento entre os macro- objetivos estratégicos da organização e os indicadoreschave, que poderão ser monitorados. 2) Alinhar a organização à estratégia. Verificar e relacionar as ações e os programas que devem ser implementados, tendo como foco o alinhamento dos objetivos de diferentes áreas (e suas ações) aos objetivos centrais da estratégia. Deve-se tomar cuidado para não inverter o fluxo dessa etapa: é a estratégia global que deve orientar o objetivo da área e não o contrário. Portanto, os indicadores estabelecidos devem seguir esse fluxo. 3) Transformar a estratégia em uma atividade diária. Construir um “mapa” estratégico para cada unidade de negócio ou área, em sintonia com os objetivos macro-estratégicos, buscando a contribuição de cada um no seu dia-a-dia para esses objetivos, dentro das quatro perspectivas: financeira, de inovação e aprendizagem, de processos internos e dos clientes. 23\n20. Indo além do ROI em T&D Exemplo de atividades constantes em um mapa estratégico BSC: Perspectiva financeira Estratégias Sobreviver Crescer Indicadores Fluxo de caixa Crescimento trimestral das vendas Lucro operacional por divisão Prosperar 24 Aumento da participação no mercado Retorno sobre o patrimônio líquido\n21. Alfredo Pires de Castro Perspectiva de processos internos Estratégias Indicadores Duração dos ciclos de produção Custos unitários Excelência Rendimento em qualidade Margem de contribuição Número ou % de não conformidades Capacidade tecnológica Percentual de investimentos em inovações em relação aos concorrentes Percentual de investimentos em inovações em relação ao custo global de produção Lançamento Percentual de lançamentos de de novos novos produtos em relação aos produtos produtos atuais 25\n22. Indo além do ROI em T&D Perspectiva de inovação e aprendizagem Estratégias Indicadores Número de sugestões ou soluções inovadoras Horas de treinamento ministrado por facilitador Novo modelo interno de liderança Número de reuniões de feedback e orientação Pesquisas de clima organizacional (vários indicadores) Programas inovadores e de formação básica disponíveis na universidade corporativa Capital intelectual Economias obtidas com a implementação de sugestões e programas surgidos como parte de programas de T&D e educação empresarial Rotatividade do quadro Reciclagem e retenção de Índices de motivação levantados em pesquisa de talentos clima organizacional 26\n23. Alfredo Pires de Castro Perspectiva dos clientes Estratégias Indicadores Percentual de novos clientes Novos clientes conquistados sobre a base atual de clientes Novos produtos Percentual de novos produtos no portifólio comercial Percentual de inovação e lançamentos em relação ao mesmo segmento de mercado Redução dos índices de migração de clientes para concorrentes Recorrência de produtos e Fidelização de serviços adquiridos pelos clientes clientes atuais Relação entre os níveis de relacionamento atual e potencial O BSC contribui para tornar transparente o desempenho dessas quatro dimensões e processos gerenciais que, isoladamente ou em conjunto, contribuem para a conexão da estratégia com os objetivos de curto prazo ou metas setoriais. Avaliar programas de T&D é verificar como cada dimensão contribui para a consecução da estratégia global. 27\n24. Indo além do ROI em T&D Perspectiva dos Perspectiva de 28 Inovação e Aprendizagem Processos Internos Perspectiva do Cliente Perspectiva Finaceira Caso real: a Nazca Cosméticos Juntamente com a equipe da MOT, realizei ao longo de três anos alguns projetos de eficácia gerencial para diversas equipes da Nazca Cosméticos: diretores, gerentes, supervisores e colaboradores. Para fornecer uma visão de como o BSC foi fundamental na articulação, planejamento e avaliação de cada projeto, mostrarei um dos mapas estratégicos que norteou os programas. Mapa estratégico: Aumentar o retorno sobre o capital Gerenciar risco financeiro Aumentar as margens Otimizar os recursos disponíveis gerindo a liquidez Aumentar a participação de mercado Desenvolvimento de novos mercados Otimizar recursos de Marketing Desenvolver novos processos produtivos Desenvolver e lançar novos produtos Adquirir e internalizar novos conhecimentos Multiplicação de novas técnicas Desenvolver programas de T&D, mudar o modelo de liderança Tornar a empresa um ótimo lugar para se trabalhar Atrair e reter talentos Gerenciar por competências (seleção, feedback, reconhecimento e promoção)\n25. Alfredo Pires de Castro Utilizando o HPI nos processos de avaliação O modelo de aumento do desempenho e da gestão empresarial conhecido como HPI é amplamente conhecido no Primeiro Mundo e em algumas organizações no Brasil. A sigla HPI vem do inglês ”Human Performance Improvement”, cuja tradução literal seria “Aumento do desempenho humano”. Muito mais do que uma sigla, o HPI significa um conjunto de técnicas e conceitos que deve ser aplicado em um determinado ambiente organizacional para identificar uma necessidade ou problema de desempenho, diagnosticar uma ou mais causas principais dessa necessidade e propor a melhor intervenção para resolver o problema, com isso, ampliando a “performance” ou desempenho de uma determinada pessoa ou grupo de trabalho. O HPI vem sendo divulgado desde 1962 pelo ISPI - International Society for Performance Improvement (www.ispi.org), que, em uma tradução literal da ASTD (www.astd.org), seria a associação internacional pelo aumento de desempenho. Existem seminários de formação e qualificação em todo o mundo, principalmente nos Estados Unidos e na Europa. Como exemplo, temos a contribuição de Neusa Hirota, uma das executivas brasileiras qualificadas neste tema em seminários internacionais da ASTD, que ministra seminários públicos desde 2003. Ela ocupa uma das cadeiras do Conselho da ASTD no Brasil, entidade que presido desde 2001. Recomendo fortemente a aplicação de alguns conceitos do HPI para dar mais consistência e credibilidade aos processos de avaliação de T&D. Além da utilização dos mapas estratégicos do BSC, é importante utilizar uma metodologia que garanta uma visão estratégica e tática dos fenômenos organizacionais. Com o HPI, conseguimos detectar que elementos ou fatores estão influenciando o desempenho dos profissionais, quais as causas da 29\n26. Indo além do ROI em T&D queda de desempenho e que intervenções podemos implementar para uma determinada situação ambiental. Visão do HPI sobre desempenho Variáveis de Desempenho Organização Processos I l vidu ndi a Estratégia, Objetivos, Estrutura, Medição e Gerenciamento Processos e relações entre eles. Vínculo entre indivíduos e o desempenho organizacional Componentes do desempenho individual Para objetivar essa aplicação é importante conceituar o que é comportamento, de acordo com o HPI, e sua aplicação na etapa de identificação de resultados organizacionais. Comportamento São as ações identificadas pelo meio ambiente não necessariamente relacionadas ao desempenho. Um exemplo bem simples: servir um café para um colega de reunião, em uma organização de engenharia, é um comportamento que não está relacionado ao desempenho. Já o comportamento de servir um café implicará em desempenho, no caso de o agente da ação ser encarregado de fazer isso. Comportamento voltado para o desempenho É toda a ação em um contexto que gera resultados. O comportamento voltado para o desempenho é a qualidade ou o 30\n27. Alfredo Pires de Castro fato de um colaborador ter de ser produtivo, é a capacidade de produzir algo mediante uma expectativa. Pode-se definir esse comportamento como as “ações que geram valor” na cadeia de produção. Comportamentos Comportamentos voltados para desempenho Dica - Quando estamos determinando o programa de treinamento a implementar, devemos nos fixar nos comportamentos que geram desempenho e não nos comportamentos genéricos - essa é a base do HPI. Fases do HPI aplicadas à avaliação de programas em T&D O HPI possui um conjunto de etapas interligadas. Cada uma das etapas ou fases do processo deve fornecer informações que alimentem diretamente a fase seguinte. Cada fase deve ser concluída antes de se passar para a seguinte. A figura a seguir ilustra as etapas do processo e a ligação entre cada fase. 31\n28. Indo além do ROI em T&D Figura. Fases do processo de avaliação e validação Análise Projeto Desenvolvimento Implementação Avaliação Fase 1: Análise Nos ambientes organizacionais modernos, comprometidos com o desenvolvimento de uma cultura de gestão do conhecimento, a avaliação e validação do treinamento ganham uma importância peculiar: trata-se de uma abordagem sistemática para analisar, planejar, desenvolver, implementar e analisar os processos existentes, verificando ainda os comportamentos que podem afetá-los. A etapa inicial de análise buscará as implicações e a matriz de relacionamentos entre o desempenho (indicadores-chave) e os comportamentos. A análise será fundamental para estabelecer tais indicadores, já que as outras fases determinam que tipo de intervenção será feita, a que custo e com que impactos (benefícios). Se a fase de análise é bem feita, facilita-se muito a tarefa de verificar qual foi o retorno do investimento. Para a maioria das organizações a questão não é investir ou não em treinamento, mas como investir. A fase analítica é, algumas vezes, referida como uma análise inicial, uma avaliação ou uma pesquisa das necessidades. A análise eficaz das necessidades responderá às seguintes perguntas: 32\n29. Alfredo Pires de Castro - Qual é o problema? - O treinamento será uma resposta para o problema? - Que conhecimentos e habilidades devem ser incluídos no curso de treinamento? - Quem precisa ser treinado? Identificação de causas - Perguntas-chave ETAPAS PERGUNTAS Como se planeja atingir os objetivos? Qual é o desempenho desejado? ANÁLISE DE Como foi ou tem sido determinado o nível de DESEMPENHO desempenho? Qual é o desempenho real? Quais foram os gaps identificados? Como se diagnosticou o tipo de problema? Que tipo de dado ou informação foi analisado ou medido? ANÁLISE DA Como os dados ou informações foram obtidos e organizados? CAUSA Quais são as causas reais do problema? (Informação, recursos físicos, conhecimento, estrutura/processo, motivação) Que intervenções podem se aplicar ao problema? Qual será o investimento associado à implementação escolhida? SELEÇÃO DA NTERVENÇÃO Quanto tempo levará para sua implementação? Que tipos de obstáculos ou barreiras pode haver? Que resultados serão indicadores de sucesso? O que pode ser feito para garantir o apoio do solicitante/patrocinador? IMPLEMENTAÇÃO O que deve ser feito para monitorar o progresso DA INTERVENÇÃO da implementação? Que questões culturais podem surgir? O que medir? Quais são os indicadores mensuráveis, que refletem a mudança de comportamento? AVALIAÇÀO Por quanto tempo vamos medir o impacto de DOS uma ou mais intervenções? RESULTADOS O quanto a intervenção atingiu seus objetivos? Que recomendações surgiram a partir da avaliação? 33\n30. Indo além do ROI em T&D Nesta etapa, identificamos as possíveis causas que estão afetando o desempenho no local de trabalho. As causas são divididas em seis grandes grupos, com duas origens principais: as causas individuais e as causas ambientais. As causas individuais são os problemas gerados internamente no indivíduo, como por exemplo, a motivação, o bem-estar e o conhecimento. As causas ambientais são os problemas gerados externamente ao indivíduo, isto é, aqueles gerados pelo ambiente, como por exemplo, o nível atual de informação, os recursos utilizados e a estrutura do ambiente. mp Dese Informação Recursos Ambientais Estrutura Conhecimento Bem-Estar Motivação Individuais enho Representamos as causas individuais e ambientais como uma gangorra, onde o desempenho, em termos simbólicos, será afetado por cada uma delas ou por um conjunto delas. Se for verificado na fase de análise que as causas são essencialmente de conhecimento, a melhor intervenção a fazer é solicitar um programa de T&D (por qualquer mídia, seja presencial, à distância ou e-Learning, etc). Mas, não raro, na maioria das situações, encontramos problemas de desempenho onde as demais causas são mais re34\n31. Alfredo Pires de Castro levantes do que o conhecimento do indivíduo. Nesses casos, devemos verificar que outras intervenções podemos aplicar, principalmente no ambiente. Colocando de outra forma: é preciso não criar expectativas com um programa de T&D, quando a causa principal do problema de desempenho for ambiental (informação, recursos ou estrutura). Fatores Externos R. FISICOS Ferramentas Materiais Equipamentos Tecnologia Iluminação Suprimentos Orçamentos ESTRUTURA / PROCESSO Apoio de Gestão Relações de subordinação Passos lógicos a seguir Políticas realistas Definição de papéis e responsabilidades Fatores Internos MOTIVAÇÃO BEM-ESTAR Capacitação Materiais de apoio Coaching Mentoring Treinamento on the job Participação nos lucros Remuneração por desempenho Prestígio Reconhecimento INFORMAÇÃO Feedback sobre o desempenho Padrões Claros Informações Confiáveis Clareza de missão, valores e visão CONHECIMENTO Exercícios físicos Melhor plano de saúde Alimentação Gerenciamento de stress Depois de completarmos a etapa inicial de análise, vamos prosseguir para a fase 2. Mais à frente neste livro, mostrarei como utilizar instrumentos de diagnóstico e ampliar a eficácia desta etapa. Fase 2: Projeto 35\n32. Indo além do ROI em T&D Depois que os problemas foram definidos e os treinandos e os resultados do programa foram determinados, é hora de começar a fase de projeto. Nessa fase, vamos buscar qual é a melhor intervenção para o problema de desempenho. Para isso, desenvolve-se um fluxo estratégico do programa que inclui: - objetivos de aprendizado, - esboço do conteúdo, - estrutura do curso e - métodos e meios de aprendizagem. Nessa etapa, devemos verificar se os indicadores escolhidos para monitorar a melhoria do desempenho são práticos, mensuráveis, factíveis, realistas e aceitos pela direção. Fase 3: Desenvolvimento A fase seguinte do processo é o desenvolvimento do programa ou intervenção de treinamento. As etapas dessa fase são: - Etapa 1: Desenvolver um conjunto de materiais de treinamento. - Etapa 2: Fazer um teste-piloto dos materiais de treinamento com o público-alvo e proceder às revisões necessárias. - Etapa 3: Finalizar os materiais de treinamento. Fase 4: Implementação A fase de implementação envolve realizar o programa de treinamento e completar quaisquer atividades de acompanhamento (“follow-up”) relacionadas, para assegurar a transferência do aprendizado para o ambiente de trabalho. Nesta etapa, aplicamos os níveis 1 e 2 de avaliação - reação e aprendizagem. Fase 5: Avaliação 36\n33. Alfredo Pires de Castro A fase final do processo é determinar se o treinamento foi bem sucedido. Utilizamos para isso o modelo mais aceito nos ambientes internacionais, derivado do modelo proposto originalmente por Donald Kirkpatrick e ampliado por Jack Philips, que consolida a utilização dos cinco níveis: • Nível 3 - aplicabilidade dos comportamentos no trabalho; • Nível 4 - impactos e resultados obtidos através dos indicadores de desempenho estabelecidos nas etapas 1 e 2; • Nível 5 - retorno do investimento. O método a ser utilizado dependerá dos propósitos, instrumentos, níveis de mensuração, planejamento e custo da coleta de dados para avaliação. Em geral, os benefícios são anualizados, considerando-se a quantia economizada ou ganha no ano posterior ao treinamento. Os benefícios podem continuar após o primeiro ano, mas o efeito começa a diminuir. Seguindo uma abordagem conservadora, os benefícios a longo prazo são omitidos dos cálculos, considerando-se somente aqueles obtidos nos 12 meses subseqüentes. No custo total de um programa, o custo de desenvolvimento é dimensionado e pró-rateado durante o primeiro ano de implementação. Pode-se também pró-ratear os custos de desenvolvimento pela vida projetada do programa. Em função das necessidades diagnosticadas, a organização deverá decidir qual será o nível de profundidade do processo de validação e avaliação, utilizando o modelo dos quatro níveis, ou mesmo o de cinco, como preferem alguns. Fatores de sucesso O sucesso da avaliação dos investimentos em treinamento depende de vários fatores críticos, dentre os quais se incluem: 37\n34. Indo além do ROI em T&D Análise adequada das necessidades Uma análise realmente adequada das necessidades é essencial para o sucesso da avaliação do treinamento. Mesmo a melhor avaliação não conseguirá determinar a efetividade global de um programa de treinamento, se os avaliadores não souberem a princípio o que se esperava do treinamento. Preparo organizacional A organização deve estar totalmente preparada para implementar uma avaliação de treinamento. As condições a seguir indicam o preparo organizacional ü A gerência superior apóia o esforço de avaliação e está envolvida ativamente nele. ü Todo o pessoal de treinamento está envolvido e comprometido com a avaliação, tanto quanto as demais áreas da organização. ü Os colaboradores estão inteiramente cientes do esforço de avaliação e compreendem seu papel para apoiar esse processo. ü A organização está disposta a investir o tempo, o dinheiro e recursos humanos necessários para levar a avaliação até o final, pois ela é um instrumento de decisão estratégica dos mais importantes. Competências necessárias O pessoal de treinamento da organização deve desenvolver competências e habilidades (conhecimento técnico) para fazer avaliações efetivas. Estudos têm mostrado que as competências seguintes são exigidas para se fazer avaliações de treinamento efetivas: ü Planejamento: as habilidades de planejamento envolvem a identificação e a programação das tarefas de avaliação a serem realizadas. ü Pesquisa: as habilidades de pesquisa envolvem selecionar, 38\n35. Alfredo Pires de Castro desenvolver e implementar técnicas de investigação efetivas para a coleta de dados de avaliação do treinamento. ü Coleta de dados: as habilidades de coleta de dados incluem selecionar, planejar e implementar procedimentos para reunir dados de avaliação sistematicamente. ü Solução de problemas: as habilidades para a solução de problemas envolvem a aplicação de modelos estruturados para lidar com os obstáculos encontrados durante a avaliação. ü Análise: as habilidades de análise incluem o entendimento e a interpretação das informações quantitativas e qualitativas da avaliação, organização de grandes quantidades de informações em um sumário coerente, bem como o uso da lógica para tirar dos dados de avaliação disponíveis as conclusões a respeito do treinamento. Deve-se ter uma grande capacidade para relacionar o efeito do treinamento com os comportamentos e competências observados no local de trabalho. ü Escrita: as habilidades de escrita incluem a preparação de relatórios e de documentos de avaliação que sigam regras aceitas de estilo e formato, sejam apropriados para o público-alvo, sejam criativos e cumpram o objetivo pretendido. ü Apresentação: as habilidades de apresentação envolvem fornecer de forma clara e efetiva os resultados de uma avaliação através dos meios apropriados, tais como relatórios formais ou apresentações verbais, incluindo-se ainda a capacidade de valorizar tanto os benefícios subjetivos quanto os objetivos. As avaliações de treinamento podem ajudar a empresa a atingir muitos objetivos diferentes, ao longo do ciclo de vida de um programa de treinamento. Uma razão básica para se fazer uma avaliação é determinar se os benefícios derivados de um programa de treinamento justificam os custos. A seguir, 39\n36. Indo além do ROI em T&D há mais algumas razões para se fazer uma avaliação de treinamento: § Determinar quão bem o treinamento satisfaz as necessidades dos participantes. § Determinar em que extensão os participantes dominaram o conteúdo do treinamento. § Identificar se os métodos e os meios de treinamento ajudaram os participantes a atingir os objetivos de aprendizagem. § Avaliar o quanto do conteúdo do treinamento, incluindo conhecimento e habilidades recém-adquiridos, foi transferido para os comportamentos no trabalho. § Determinar se os resultados do treinamento contribuíram para o cumprimento das metas da empresa. Quando as avaliações do treinamento não são feitas, podemos ter como resultado as seguintes conseqüências: § Os participantes podem continuar a fazer cursos em que não conseguem aprender. § As modificações do curso podem não ser basear nos dados de resultado do participante e as atividades de treinamento efetivas podem ser substituídas por atividades ineficientes. Caso real: a Amazon Realizei um programa especial de T&D, durante dois anos (entre 1999 e 2001), prestando consultoria para vários grupos virtuais do Projeto Amazon da Ford, atuando entre São Paulo, Buenos Aires, Londres e Detroit. A estratégia da Ford para a América Latina começou a mudar com a implantação do Programa “Amazon” – o mais moderno e ousado projeto de desenvolvimento de produtos da empresa americana no mundo. O objetivo era 40\n37. Alfredo Pires de Castro criar três plataformas de automóveis a serem comercializadas nos países da América Latina, Índia e Oriente. O investimento total era de US$ 1,2 bilhão em três anos. O Projeto Amazon inaugurou um conceito inteiramente novo no processo de fabricação de carros, em que montadora e fornecedores ocupam uma mesma área, exercendo uma gestão compartilhada. A idéia era instalar uma cadeia produtiva completa e as equipes trabalharem virtualmente com liderança situacional, dependendo do programa de produção que estivesse sendo realizado. A inovação do programa previa ainda um ponto interessante: equipes virtuais compostas por colaboradores de diferentes organizações. O plano de trabalho conjunto, para divulgar uma cultura específica, foi realizado juntamente com os fornecedores, também eles investidores no empreendimento. Cultura e valores diferentes deveriam ser compartilhados, com valorização da diversidade e do trabalho virtual. Os colaboradores passaram a conviver no mesmo espaço industrial e em equipes multidisciplinares e virtuais. O projeto que liderei, sobre desenvolvimento de equipes virtuais, envolveu reuniões individuais de coaching com cerca de 300 engenheiros, gerentes e diretores do programa, primeiramente em sessões realizadas em São Paulo, Brasil. Nessas sessões individuais, que levaram mais de 8 meses, entregamos a cada profissional seu perfil de dominância cerebral, de acordo com os quatro quadrantes de Ned Herramann. Esses quadrantes auxiliam o indivíduo a estabe41\n38. Indo além do ROI em T&D lecer um plano de desenvolvimento próprio e apresenta dicas práticas para o dia–a-dia em ambientes virtuais. Descobrir essas tendências ajuda no processo de interação com os demais colegas de uma equipe virtual, fazendo cada um aumentar seu auto-conhecimento e possibilita realizar interações com mais sucesso e inteligência emocional. Após as sessões individuais, realizamos programas coletivos em Detroit, no local de trabalho das equipes virtuais. Investimos cerca de 6 meses nessas sessões de treinamento grupal, nas quais promovíamos exercícios em grupo sobre os princípios de uma equipe virtual. Implementamos uma nova cultura de coaching e trabalho grupal, que valorizava as diferenças individuais, com a realização de encontros de desenvolvimento. O programa teve um ROI médio (considerando benefícios e investimentos totais) na ordem de 234%. Este é um exemplo do que veremos acontecer cada vez mais nos próximos anos. Por isso, é preciso ampliar nossa rede de intercâmbios, apostar na troca de informações, pesquisas e benchmarking. Estamos na era de um novo estilo de aprendizagem, em que todos nós devemos reaprender a aprender. 42\n39. Alfredo Pires de Castro 4 - METODOLOGIA DE AVALIAÇÃO - MOT Estabelecer o retorno sobre o investimento em treinamento (ou demais intervenções que envolvam recursos humanos) pode ser um empreendimento muito desafiador. Se não tiver os conceitos e recursos necessários para fazer um estudo abrangente do ROI, você deve identificar as dimensões empresariais que serão afetadas pela intervenção, fazer o levantamento das necessidades de treinamento em três níveis (estratégico, com a população e com os clientes da população a ser treinada) e coletar informações com tomadores de decisão sobre os benefícios e a contribuição que será dada pelo programa de treinamento. Na era industrial as organizações e complexos econômicos criavam valor, transformando matéria-prima em produto acabado. A economia era movimentada pelos ativos tangíveis, tais como estoques, terrenos, instalações, fábricas, o que permitia que a eficácia organizacional fosse amplamente focalizada nos indicadores de produtividade. A grande verdade é que o ROI não é um conceito complexo e de difícil implementação. O que torna sua aplicação complexa é a dificuldade que temos de fazer uma nova leitura dos verdadeiros indicadores que afetam o desempenho empresarial numa nova era do conhecimento! Nesta era da gestão do conhecimento, os recursos intangíveis, tais como reputação, marca, prestígio, capital intelectual, relacionamento com os clientes e inovação, passam a compor os ativos organizacionais. Para identificar os resultados organizacionais de uma intervenção de T&D, devemos buscar primeiramente todos os ativos (tangíveis e intangíveis) que realmente afetam de forma relevante aquele determinado ambiente organizacional. Os ativos intangíveis, apesar de sua importância, não são recursos fáceis de mensurar. Talvez não seja por outra razão que a mensuração desses ativos ainda não conste dos balanços empresariais. 43\n40. Indo além do ROI em T&D Quick Results Reação PROGRAMA Aprendizagem Aplicabilidade Converter dados para valores monetários ISOLAR EFEITOS DO PROGRAMA Acompanhamento Impactos Intangíveis Benefícios Líquidos Custos Tabular custos do programa 44 Impactos Mensuráveis\n41. Alfredo Pires de Castro Avaliações de treinamento abrangentes podem ser feitas por empresas, quando há um comprometimento para se fazer isso. Vejamos o exemplo a seguir. Uma companhia industrial nacional implementou um PROGRAMA DE LIDERANÇA para todos os líderes da empresa. Metodologia • Nível 0: ROI planejado Utilizando o sistema de avaliação formal por competências da organização, verificou-se uma variação nos comportamentos adequados da liderança, que afetava o estilo de liderança e, por sua vez, o desempenho dos liderados. Esse impacto foi planejado e isolado pelo nível estratégico e o ROI foi planejado em 100%. • Nível 1: Avaliação da reação Os participantes e os instrutores do programa preencheram formulários de avaliação no final do programa. Os participantes avaliaram o programa global, a efetividade dos métodos de treinamento e a efetividade dos instrutores. Os instrutores avaliaram os materiais globais do programa e forneceram informações subjetivas sobre a reação dos participantes em relação ao programa. • Nível 2: Avaliação do aprendizado Usando formulários de avaliação no final do treinamento, os participantes e os instrutores do programa forneceram dados subjetivos sobre a extensão do aprendizado que ocorreu durante o treinamento. • Nível 3: Avaliação dos comportamentos no trabalho 45\n42. Indo além do ROI em T&D Alguns participantes do programa e seus gerentes completaram um levantamento (inventário) validado, que mediu os comportamentos (competências e habilidades) antes e depois da sessão de treinamento. Além disso, foram feitas entrevistas pós-treinamento com os participantes do programa, seus gerentes e os executivos de treinamento, para reunir dados subjetivos sobre como o programa afetou o desempenho no trabalho. • Nível 4: Avaliação dos resultados organizacionais Os resultados do inventário, junto com os dados econômicos fornecidos pela companhia, foram usados para se calcular o retorno sobre o investimento potencial ganho no projeto. Verificou-se um aumento incremental da produtividade em 4% (efeito já isolado) e foi observado o impacto do grupo de controle. Porém, o benefício será mensurado de acordo com o que foi estabelecido no nível 0, através da matriz de comportamentos. • Nível 5: ROI As etapas seguintes foram concluídas para o cálculo do retorno sobre o investimento. 5.1 - Remuneração anual relacionada com o treinamento A remuneração anual média (salário e benefícios) dos participantes foi calculada como sendo R$45.705,00. Para determinar a porcentagem do trabalho relacionado com o treinamento, foi solicitado aos gerentes que indicassem a extensão em que as competências principais ensinadas no programa cobriram as 46\n43. Alfredo Pires de Castro funções de trabalho do novo líder. (Os gerentes indicaram que 81% das funções de trabalho foram cobertas pelo treinamento - fator de isolamento.) A remuneração anual média (R$ R$45.705,00) foi, então, multiplicada pela porcentagem de trabalho que estava sendo treinado (61%). O resultado (R$27.880,05) foi o valor da remuneração relacionado com o treinamento. 5.2 - Benefícios do treinamento Os gerentes completaram um inventário de habilidades de supervisão. Os resultados indicaram que, em média, o desempenho foi o seguinte: Antes do treinamento: os participantes estavam trabalhando a 77% dos níveis de competência exigidos. Após o treinamento: os participantes estavam trabalhando a 87% dos níveis de competência exigidos. O incremento - diferença entre o desempenho antes e após o treinamento - foi de 10 pontos percentuais. O ganho em desempenho foi 12% da porcentagem de remuneração relacionada com treinamento (R$27.880,05), ou R$3.345,60 em benefícios por pessoa. 5.3 - Custos do treinamento A etapa seguinte foi determinar os custos de treinamento por pessoa. Os custos incluíram honorários do instrutor, viagem e diária, bem como a remuneração dos participantes enquanto estavam em aula. O custo total de treinamento por pessoa foi calculado como sendo de R$968,00. 47\n44. Indo além do ROI em T&D 5.4 - Retorno sobre o investimento O benefício líquido por pessoa foi de R$2.377,60. Esse valor foi obtido, subtraindo-se o custo por pessoa (R$968,00) dos benefícios por pessoa (R$3.345,60). O ROI foi de 245% - maior do que o planejado (100%). A razão do retorno sobre o investimento foi igual a 3,5:1. Em outras palavras, para cada unidade monetária investida neste programa, a companhia deve esperar R$3,50 em benefícios. Dicas e recomendações importantes ü Isole os efeitos do treinamento. Um aspecto crítico do processo de avaliação é a tentativa de isolar o efeito do treinamento de outros fatores ocorridos no mesmo período, que também podem afetar o resultado do negócio. Na maioria das vezes, o treinamento pode merecer apenas parte do crédito pelas melhorias no desempenho no local de trabalho. Quando planejam mensurar o retorno sobre o investimento, as organizações devem buscar uma análise padrão dos grupos de controle, usando uma ou mais técnicas para isolar fatores extra-treinamento. ü Use métodos variados. As empresas bem-sucedidas utilizam uma grande variedade de abordagens para coletar dados para avaliação. Elas não se apegam a uma ou duas experiências unicamente. Reconhecem que cada programa, cenário e situação é diferente. Sabem que técnicas, tais como entrevistas, o enfoque em grupos e questionários, funcionam bem em certas situações e que planos de ação, contratos e monitoramento de desempenho são necessários em outras. Essas organizações usam critérios desenvolvidos internamente para conjugar um método particular de coleta de dados com um programa de treinamento. 48\n45. Alfredo Pires de Castro ü Utilize a amostragem inteligentemente. São raras as organizações que usam estatística para selecionar uma amostragem de programas de treinamento, nos quais se mede o retorno sobre o investimento. Por praticidade, muitas organizações decidem avaliar apenas uma ou duas sessões de seus mais populares programas de treinamento. Outras selecionam um programa de cada segmento. ü É recomendável que as organizações que estão calculando o retorno sobre o investimento pela primeira vez escolham apenas um curso ou programa simples para realizar uma experiência. ü Se for utilizada a amostragem, é importante que seja estatisticamente confiável. No entanto, é mais importante considerar a relação entre os recursos disponíveis e que tipo de cálculo de ROI a gerência está disposta a aceitar. Lembre-se: o principal objetivo de uma avaliação do retorno sobre o investimento é convencer a própria área de T&D de que o processo funciona, bem como mostrar para a alta administração que o treinamento pode fazer a diferença. Tendo isso em mente, é melhor ter a aprovação da alta administração para desenvolver a estratégia de amostragem. O que é estabelecer o valor do treinamento? Um programa deve ser elaborado para dar uma resposta a uma necessidade ou oportunidade em uma empresa. Como muitas empresas acham difícil quantificar os ganhos, a comparação dos ganhos com treinamento com os custos do treinamento pode ser problemática. E algumas vezes os números não contam a história toda. Por exemplo, uma empresa decidiu que o treinamento da gerência era necessário para reduzir o número de queixas registradas por funcionários. Foi idealizado e implementado um programa de treinamento. Foi feita uma avaliação de Nível 3 e foram coletados os seguintes dados: 49\n46. Indo além do ROI em T&D • Medidas pré e pós-treinamento. As taxas de queixas dos gerentes que participaram do treinamento foram comparadas nos seis meses antes do treinamento e nos seis meses após o treinamento. Uma análise desses dados apresentou uma diferença significativa nas taxas de queixas nos dois períodos. Entretanto, a redução total em número de queixas foi pequena. • Medidas de comparação. Foi estabelecido um grupo de comparação escolhido aleatoriamente. Os gerentes desse grupo não participaram do treinamento. As taxas de queixas dos gerentes que participaram do treinamento foram comparadas com as do que não participaram do treinamento, durante o mesmo período de seis meses. Uma análise desses dados descobriu que os gerentes treinados tinham significativamente menos queixas. O custo do treinamento foi, então, calculado: R$500.000,00. O avaliador determinou que tratar das queixas custou à gerência R$25.000,00 por queixa. O número total de queixas diminuiu em 15 durante os seis meses seguintes ao treinamento. A economia de custo com o treinamento (R$375.000,00) foi menor do que o custo de idealização e implementação do treinamento. O avaliador fez um resumo dos resultados e recomendou que o treinamento fosse suspenso, pois falhou em recuperar o custo total. Certo ou errado? Nesse exemplo, o avaliador pode ter deixado passar vários fatores, incluindo: • Período de retorno. O avaliador deixou de projetar os benefícios do treinamento prolongados além dos seis meses estudados. Ao se determinar o valor do treinamento, é importante considerar “acertos” futuros. • Outros benefícios. O avaliador deixou de considerar outros benefícios resultantes do treinamento. A diminuição das queixas pode resultar em melhora do estado de espírito ou mesmo em aumento da produtividade. 50\n47. Alfredo Pires de Castro No exemplo, a comparação dos gerentes treinados e dos não-treinados pode ter revelado diferenças no estado de espírito ou na produtividade do funcionário. Freqüentemente, os avaliadores vendem seu treinamento a descoberto, medindo os benefícios que são mais fáceis de quantificar (por exemplo, o número de queixas) ou deixando de medir os benefícios “inesperados”. • Custo da não-intervenção. Pode haver custos futuros, se o problema continuar. O avaliador talvez precise considerar o custo para a empresa, se as queixas continuarem aumentando. Alguns problemas tendem piorar com o tempo. • Retornos não-monetários. Pode ser errado supor que o único valor da empresa é a linha do resultado. Os tomadores de decisões podem estar dispostos a fazer um investimento para aumentar as habilidades dos gerentes. Eles podem achar que esse investimento se pagará com benefícios intangíveis, de forma não-monetária. Lembre-se: Apenas números não lhe dirão o quanto a empresa valoriza o treinamento e o quanto esse programa gerou benefícios para o ambiente organizacional. Estabelecer o valor do treinamento ajuda o nível estratégico (tomadores de decisões) a gerenciar recursos escassos. Quando o nível estratégico (tomadores de decisões) sabe o valor do treinamento, é possível fazer duas coisas importantes: • selecionar os esforços de treinamento que devem receber verbas e • justificar gastos maiores em treinamento. Quando os tomadores de decisões estão incertos sobre o valor do treinamento, acham difícil justificar os gastos com treinamento e podem ter de alocar recursos limitados para treinamento em uma abordagem do tipo “melhor palpite”. Uma avaliação de nível 4 requer a análise do valor do treinamento antes e depois de sua execução. 51\n48. Indo além do ROI em T&D • Antes do treinamento, determine o valor previsto. Durante o processo de análise das necessidades, você deve trabalhar com os tomadores de decisões para esclarecer os benefícios esperados e a quantidade de recursos que eles estão dispostos a investir para obter tais benefícios. Você pode também desejar identificar os custos previstos da não solução dos problemas que serão tratados no treinamento. • Depois do treinamento, compare o valor previsto com o valor real. Após o treinamento, é feita uma comparação entre o valor previsto e o valor real do treinamento. Neste ponto, você deve recapitular as necessidades originais da empresa e determinar se elas foram satisfeitas pelo treinamento. Em caso positivo, você pode, então, determinar se os custos foram os previstos. Os benefícios e os custos previstos devem ser identificados antes do treinamento. Se essa etapa não for feita durante a análise das necessidades de treinamento, você precisará trabalhar com os tomadores de decisões para atribuir um valor a sua comparação de benefícios e custos. 52\n49. Alfredo Pires de Castro 5 - PLANEJAMENTO O processo de avaliação dos investimentos em T&D e das intervenções em recursos humanos necessita de uma fase de planejamento. Uma avaliação de treinamento efetiva fornecerá informações úteis e econômicas para aqueles que tomam as decisões. O processo de avaliação começa pela identificação e análise da necessidade de informações de seus “clientes” de avaliação. Entender seus clientes de avaliação permite responder à seguinte pergunta: “Que níveis de avaliação devem ser utilizados?” Fazer uma avaliação dos investimentos em treinamento, realmente executiva e abrangente exige que a organização modifique sua cultura, passando a assumir um compromisso maior com a mensuração dos impactos das intervenções nos seres humanos. Muitas organizações não têm os recursos necessários para realizar uma avaliação de cinco níveis de todos os programas de treinamento. Além disso, mesmo se os recursos fossem ilimitados, realizar o mesmo tipo de avaliação de treinamento para cada programa de treinamento não seria uma maneira sensata de gerenciar os recursos. O custo da avaliação nunca pode ser maior ou igual à magnitude do investimento. O processo de avaliação deve ser sensível à necessidade de informações dos clientes da avaliação e aos seus níveis de comprometimento. Ao planejar a avaliação, devemos decidir a profundidade e o escopo necessários para satisfazer a necessidade dos clientes. Propomos e descrevemos em seguida a utilização de três etapas para tomar essa decisão: a natureza do treinamento, a natureza do problema e os custos do treinamento. § A natureza do treinamento O treinamento envolve habilidades relacionadas à segurança, tais como controle de tráfego aéreo, procedimen53\n50. Indo além do ROI em T&D tos médicos, monitoramento de usina nuclear, ou seja, projetos, programas ou intervenções que afetarão fundamentalmente o negócio e a missão principal da organização, do ponto de vista da segurança. Por exemplo, seria importante determinar se o conhecimento médico aprendido na sala de aula se reflete no desempenho no trabalho. § A natureza do problema Qual é a importância do problema tratado pelo treinamento para os tomadores de decisões, administradores de bens, grupos externos de interesse especial ou acionistas? Por exemplo, a exatidão das informações que os visitantes recebem do pessoal de apoio ao produto não é uma habilidade relacionada à segurança, mas pode ser vista como uma área crítica para a avaliação de treinamento. § Os custos do treinamento Quanto foi investido no programa de treinamento? Na maioria dos casos, você quer evitar que a avaliação do treinamento seja mais dispendiosa do que o programa em si. Por exemplo, se uma organização investe uma grande quantia de recursos em treinamento sobre liderança, envolvendo todo o grupo gerencial, pode ser importante determinar os benefícios obtidos com esse investimento. Selecionando o tipo de avaliação Para selecionar o tipo de avaliação que deve ser feita, você deve seguir estas etapas: Etapa 1: Estabelecer metas para a avaliação. Etapa 2: Considerar os benefícios e od custos potenciais. Etapa 3: Obter os comprometimentos necessários. 54\n51. Alfredo Pires de Castro Etapa 1: Estabelecer metas para a avaliação. Para estabelecer metas para a avaliação, você pode pensar em responder às seguintes perguntas: 1) Quem são os clientes do processo de avaliação? 2) Como esses clientes usarão as informações da avaliação? Identificar os clientes e entender como eles usarão as informações da avaliação o ajudará a estabelecer suas metas. Quando você sabe quem é o cliente, pode tomar decisões melhores sobre o tipo de informação a coletar. Considere os seguintes exemplos: Cliente: Passageiros de companhias aéreas e público em geral. Meta da avaliação: Garantir aos passageiros de companhias aéreas e ao público em geral que os pilotos possuem as habilidades necessárias para operar a aeronave de forma segura e eficiente. Cliente: Gerência superior Meta da avaliação: Ajudar a gerência superior a comparar a efetividade econômica de um treinamento de supervisores centralizado versus um descentralizado. Cliente: Pessoal de treinamento Meta da avaliação: Ajudar o pessoal de treinamento a determinar se o e-learning (instrução baseada em computador) é uma maneira econômica de ensinar habilidades para entrada de dados. Os clientes do processo de avaliação certamente vão influenciar o tipo de avaliação de treinamento que você deve realizar. Nos exemplos acima, a primeira meta não indica que os dados relativos ao custo de treinamento são importantes. Entretanto, a segunda meta indica que os dados de resultado e custos do treinamento seriam essenciais. A terceira meta indica ainda que pode ser necessário coletar dados sobre a efetividade de métodos de treinamento diferentes (por exemplo, sala de aula em relação à instrução baseada em computador). Lembre-se: Sempre saiba quem são seus clientes de avaliação e como eles pretendem usar os resultados da avaliação. 55\n52. Indo além do ROI em T&D Etapa 2: Considerar os benefícios e os custos potenciais. Como decidir que nível de profundidade deve ser utilizado? Veja cada um dos níveis, suas características, benefícios e custos potenciais. Determinando a necessidade de uma avaliação de reação (Nível 1): O programa de treinaSIM mento será repetido? NÃO Estes Instrutores apresentarão sessões de SIM treinamento futuras? Faça uma avaliação de reação Nível 1 NÃO É importante medir a SIM “satisfação do cliente”? NÃO Você pode não precisar realizar uma avaliação de reação Benefícios § Identifica pontos fortes e fracos no conteúdo do treinamento, materiais de treinamento utilizados, instrutores e assim por diante. § Fornece um indicador da satisfação do cliente. Custos potenciais § Tempo durante o treinamento para concluir a avaliação. 56\n53. Alfredo Pires de Castro § Tempo para analisar e relatar as descobertas. § Falta de parâmetros dos participantes para avaliar adequadamente o programa. Determinando a necessidade de uma avaliação do aprendizado (Nível 2): Estão sendo ensinadas informações críticas que SIM devem ser lembradas no trabalho? Faça uma avaliação do aprendizado baseada no conhecimento NÃO Estão sendo ensinadas habilidades críticas que devem ser realizadas SIM minimamente no trabalho? Faça uma avaliação do aprendizado baseada no desempenho NÃO Você precisará justificar o treinamento medindo SIM o aprendizado? NÃO A medição do aprendizado motivará os partiSIM cipantes? Faça uma avaliação do aprendizado baseada no desempenho ou no conhecimento NÃO Você pode não precisar realizar uma avaliação do aprendizado 57\n54. Indo além do ROI em T&D Benefícios § Identifica o conhecimento obtido como resultado do treinamento. § Identifica as habilidades adquiridas como resultado do treinamento. § Motiva os participantes do curso a continuar aprendendo. Custos potenciais § Tempo durante o treinamento para concluir os pré-testes e os pós-testes de conhecimento. § Tempo durante o treinamento para fazer testes baseados no desempenho. § Tempo para pontuar e rever os resultados dos testes com os participantes. § Problemas para garantir que os testes estejam medindo o conhecimento ou as habilidades corretas. § Investimento para treinar avaliadores, se os testes envolverem observações ou uso de escalas de classificação. 58\n55. Alfredo Pires de Castro Determinando a necessidade de uma avaliação do comportamento no trabalho (Nível 3): A avaliação do aprendizado concluiu que os NÃO objetivos foram atingidos? SIM Foram treinadas habilidades críticas? NÃO SIM O treinamento tratou NÃO de um problema crítico? Você pode não querer fazer uma avaliação dos comportamentos no trabalho SIM Há recursos para fazer uma avaliação dos comportamentos no trabalho? SIM NÃO Você pode querer fazer uma avaliação dos comportamentos no trabalho Benefícios § Identifica mudanças de comportamento que geram desempenho no trabalho. § Mostra o impacto dos programas de treinamento em termos comportamentais. Custos potenciais § Dificuldade relacionada à definição e coleta de medidas de desempenho no trabalho relacionadas aos novos comportamentos. 59\n56. Indo além do ROI em T&D § Envolvimento e apoio do pessoal de supervisão na definição e coleta de medidas de desempenho no trabalho. § Outras despesas (por exemplo, viagem) relacionadas à coleta de medidas de desempenho no trabalho. § Tempo de análise e de relato dos resultados. Determinando a necessidade de uma avaliação dos resultados organizacionais (Nível 4): A avaliação do comportamento encontrou NÃO mudanças positivas no trabalho? SIM Houve o diagnóstico adequado das NÃO necessidades antes do treinamento? SIM Foram investidos muitos recursos no treinamento? NÃO SIM O treinamento tratou NÃO de um problema crítico? SIM Há recursos para suporNÃO tar a avaliação? SIM Você pode querer fazer uma avaliação dos resultados 60 Você pode não querer fazer uma avaliação dos resultados\n57. Alfredo Pires de Castro Benefícios § Identifica o que a organização ganhou. § Determina o custo do ganho. § Permite verificar a relação entre o investimento e os benefícios obtidos. § Fornece uma avaliação empresarial para continuar o treinamento. Custos potenciais § Tempo relacionado à definição, coleta de medidas e análise dos resultados. § Envolvimento e apoio da gerência superior na determinação do valor dos resultados. § Dificuldade para isolar os efeitos específicos do programa de treinamento. 61\n58. Indo além do ROI em T&D Determinando a necessidade de uma avaliação do ROI (Nível 5): O programa é fundamental para o negógio? NÃO SIM Houve um planejamento sobre o ROI desejado NÃO antes do treinamento? SIM Foram investidos muitos recursos no treinamento? NÃO SIM Você pode não querer fazer uma avaliação do ROI Tratou-se de um problema crítico que envolve NÃO segurança ou a gestão do negócio? SIM A alta gerência entende e toma decisões com NÃO base no ROI? SIM Você pode querer fazer uma avaliação do ROI Benefícios § Estimula o processo de decisão com base no retorno sobre o investimento. 62\n59. Alfredo Pires de Castro § Mensura a importância da intervenção de T&D na gestão do negócio. § Permite identificar outras necessidades estratégicas. § Fornece uma avaliação empresarial sobre o treinamento. Custos potenciais § Variação de interpretações sobre o impacto da intervenção. § Exige o conhecimento e o envolvimento da alta gerência na determinação do valor dos resultados. § Dificuldade para isolar os efeitos específicos do programa de treinamento. Etapa 3: Obter os comprometimentos necessários. A etapa final é obter os comprometimentos necessários para garantir que o esforço de avaliação será produtivo. Primeiro, é preciso garantir que os recursos necessários (por exemplo, tempo do pessoal, disponibilidades do contrato, fundos para viagens) estarão disponíveis. Em seguida, tendo a disponibilidade dos recursos, existem outros comprometimentos que também podem precisar ser garantidos. A área de contabilidade, controle de custos ou controladoria (dependendo da estrutura da organização) será fundamental para o fornecimento de dados históricos e reconhecidos pela alta administração. Além da área usuária, há ainda outras áreas que estarão envolvidas, tais como produção, marketing, vendas, desenvolvimento de produtos e relacionamento com o cliente. Por exemplo, se a avaliação envolve funcionários sindicalizados, talvez seja necessário envolver lideranças do sindicato no início dos seus esforços de planejamento. É fundamental obter a “participação” de todos os indivíduos envolvidos na avaliação. 63\n60. Indo além do ROI em T&D Estabelecendo os benefícios O processo de avaliação e validação deve considerar os seguintes aspectos: § Resultados mensuráveis. Correspondem aos impactos quantificáveis nos indicadores operacionais. § Período de retorno. São os benefícios que se prolongam além dos 12 meses geralmente estudados. Ao se determinar o valor do treinamento, é importante considerar os “impactos” futuros. § Custo da não-intervenção. Pode haver custos futuros, se o conjunto de necessidades não for atendido. O avaliador pode precisar considerar o custo para a empresa, se os problemas identificados no diagnóstico continuarem aumentando. Alguns problemas tendem a piorar com o tempo. § Outros benefícios e retornos não-monetários. Além de resultados objetivos, advindos de indicadores, o programa também gera benefícios subjetivos e valiosos, que devem ser considerados. Um processo de avaliação que considera todos os níveis requer uma análise de valor antes e depois do treinamento. § Antes do treinamento, determine o valor previsto. Durante o processo de análise das necessidades, você deve trabalhar com os tomadores de decisões para esclarecer os benefícios esperados e a quantidade de recursos que eles estão dispostos a investir para obter esses benefícios. Você pode também desejar identificar os custos previstos da não solução dos problemas que estão sendo tratados pelo treinamento. § Depois do treinamento, compare o valor previsto com o valor real. Depois do treinamento, é feita uma comparação entre o valor previsto e o valor real do treinamento. Nesse ponto, você deve recapitular as necessidades originais da empresa e deter64\n61. Alfredo Pires de Castro minar se elas foram satisfeitas pelo treinamento. Se as necessidades foram satisfeitas, você pode em seguida determinar se os custos foram os previstos. Os benefícios e custos previstos devem ser identificados antes do treinamento. Se essa etapa não for feita durante a análise das necessidades de treinamento, você precisará trabalhar junto aos tomadores de decisões para atribuir um valor a sua comparação de benefícios e custos. Depois de determinar que o desempenho no trabalho mudou como resultado do treinamento, você pode fazer a seguinte pergunta: “Como a organização se beneficiou com as mudanças em desempenho no trabalho?” Por exemplo, se você acha que os supervisores estão utilizando as novas habilidades de comunicação que lhes foram ensinadas no treinamento, você pode supor que eles se beneficiaram do treinamento. Entretanto, nesse ponto, você não sabe como a empresa se beneficiou com a mudança nos comportamentos dos supervisores. Essa etapa traduz as mudanças em desempenho no trabalho nos seguintes tipos de benefícios organizacionais: ü Aumento de rendimento ou produtividade, ü Economia de tempo, ü Melhora da qualidade e ü Redução de erros ou otimização de custos. Após ter identificado a categoria de benefícios, você deve determinar os indicadores associados a esses tipos de benefícios. Alguns tipos comuns de indicadores estão resumidos a seguir. 65\n62. Indo além do ROI em T&D Benefícios organizacionais Indicadores Aumento de rendimento § Número de produtos ou de ou produtividade (output, serviços produzidos. volume de produção ou serviço, rendimentos) Economia de tempo § Quantidade de tempo não produtivo. § Quantidade de licença para tratamento de saúde e/ou atrasos. § Quantidade de horas extras. § Quantidade de tempo de adaptação de novos funcionários. § Tempo parado de equipamentos. Melhora da qualidade § Quantidade de “feedback” positivo versus negativo dos clientes. § Quantidade de resultados positivos versus negativos de auditorias e inspeções externas. § Volume de retrabalho requerido. § Número de soluções inovadoras ou produtos desenvolvidos. § Volume de envolvimento do funcionário na tomada de decisões. § Mudanças no estado de espírito/ motivação do colaborador. § Freqüência de comunicação dentro da empresa. § Número de queixas e outros problemas de pessoal. Redução de erros ou otimização de custos 66 § Número de processos concluídos. § Quantidade de trabalho em carteira. § Número de erros. § Número de queixas relativas à segurança de funcionários e clientes. § Número de problemas de segurança. § Número de acidentes. § Número de violações de regras/ procedimentos. § Valores previstos e realmente gastos. § Custo direto. § Margem de contribuição.\n63. Alfredo Pires de Castro Você pode fazer uma série de entrevistas ou de grupos-foco para identificar os potenciais benefícios e indicadores organizacionais. Antes de tentar determinar o valor dos benefícios, pode ser sensato determinar a percepção da empresa sobre quais benefícios foram produzidos pela mudança no desempenho no trabalho. Você pode considerar as cinco etapas a seguir para medir desempenho no trabalho: Etapa 1: Identificar os dados a coletar. Etapa 2: Identificar as fontes de dados. Etapa 3: Selecionar os métodos para coleta de dados. Etapa 4: Coletar dados de desempenho. Etapa 5: Analisar os dados de desempenho. Para medir o desempenho, você deve primeiro identificar os elementos de dados que precisará coletar. Após fazer isso, pode determinar as fontes das quais obter as informações. Várias técnicas e ferramentas estão disponíveis para se medir o desempenho no trabalho, e você deve ser capaz de selecionar o método mais apropriado para satisfazer as suas necessidades de informação. Após ter selecionado um método, você deve ser capaz de implementá-lo efetivamente, para que possa coletar os dados de desempenho dentro de suas restrições de tempo e dinheiro. Finalmente, você terá de avaliar a qualidade dos dados coletados, fazer um resumo de suas descobertas e relatá-las aos tomadores de decisões. Etapa 1: Identificar os dados a coletar. A primeira etapa é criar uma lista de dados a coletar. Para concluir esta etapa, você deve determinar os tipos de dados que o ajudarão a atingir as metas da avaliação. Por exemplo, se a meta é comparar a efetividade econômica dos treinamentos centralizado e descentralizado de supervisores, os seguintes dados de desempenho podem ser coletados: 67\n64. Indo além do ROI em T&D Dados de Qualidade Classificação de habilidades de planejamento pelos supervisores Classificação de trabalho em equipe pelos pares Classificação de habilidades de comunicação pelos subordinados Dados de Quantidade Número de queixas/ações do pessoal Taxa de conflito Quantidade de unidades de trabalho concluídas Se você medir apenas as classificações de habilidades de comunicação pelos subordinados, poderá não ter o quadro de desempenho completo. Por exemplo, embora alguns subordinados possam classificar as habilidades de comunicação de um supervisor como “excelentes”, o desempenho desse profissional pode ainda ser considerado inadequado, se ele não realizar o trabalho a tempo. Portanto, é de importância crítica identificar os dados qualitativos e quantitativos necessários para tratar de suas metas de avaliação. 68\n65. Alfredo Pires de Castro Etapa 2: Identificar as fontes de dados. Quando tiver identificado os dados a coletar, você precisa determinar as fontes das quais irá obtê-los. Fontes potenciais de dados de desempenho estão listadas abaixo: Pessoas Documentos Participantes do treinamento Grupo de controle Gerentes Supervisores Pessoal de garantia de qualidade/ auditoria Colegas de trabalho Clientes internos e externos Relatórios de acompanhamento de desempenho Relatórios de produção Relatórios de erros Classificações de desempenho Registros de atendimento Registros de queixas Amostras de trabalho Você pode desejar selecionar mais de uma fonte para cada um dos elementos de dados que pretende coletar. Coletar informações de mais de uma fonte pode ajudar a validar suas descobertas. Por exemplo, suas descobertas são mais fortes, se uma mudança na qualidade do serviço for relatada por várias partes diferentes. Você pode não ser capaz de reunir dados de todos os incluídos em um grupo ou de revisar todos os documentos relacionados ao trabalho realizado depois do treinamento. Se for esse o caso, você precisará reunir informações de uma amostra representativa das fontes selecionadas. Encontram-se a seguir dois métodos para fazer a amostragem: 69\n66. Indo além do ROI em T&D Seleção aleatória Este método envolve a escolha de uma amostra aleatória de suas fontes. Todos os membros ou itens do grupo alvo devem ter a mesma chance de serem escolhidos. Uma técnica simples para selecionar aleatoriamente as pessoas que serão incluídas em seu estudo é usar uma tabela de números aleatórios para selecionar registros de desempenho ou amostras de trabalho. Lembre-se: selecionar sempre cada quinto registro de desempenho não é uma seleção aleatória. Seleção aleatória estratificada Este método inclui a seleção aleatória, mas confere um controle maior sobre o processo de seleção. Os membros ou itens do grupo-fonte são previamente divididos em categorias e, em seguida, escolhidos aleatoriamente a partir dessas categorias. Por exemplo, se estiver selecionando participantes do treinamento para entrevistar e o tempo de experiência no trabalho for um fator importante, você pode dividir seus treinandos em duas categorias: aqueles com menos de um ano de experiência e aqueles com mais de um ano. Então, você pode selecionar aleatoriamente um número igual de treinandos de cada grupo. A utilização desse método garante uma representação igual de treinandos de ambos os níveis de experiência. Essa representação permite fazer comparações entre cada uma dessas categorias de treinandos. Quando possível, você deve utilizar a amostragem aleatória ou aleatória estratificada para selecionar os indivíduos que serão incluídos na avaliação. Além disso, se utilizar um grupo de controle, você deve se certificar de que o grupo da amostragem é similar em todas as dimensões críticas (por exemplo, experiência, nível de instrução, motivação) ao grupo que recebeu o treinamento. Se os dois grupos forem diferentes, os resultados da sua avaliação serão tendenciosos. Por exemplo, sua avaliação poderia produzir dados enganosos, se você comparasse o desempenho de pessoas que foram voluntárias para participar de um programa de treinamento novo com aquelas que optaram por não participar. Os indivíduos que foram 70\n67. Alfredo Pires de Castro voluntários para participar do treinamento podem estar mais motivados para melhorar o desempenho do que aqueles que escolheram não participar do treinamento. Lembre-se: Antes de identificar o grupo de controle, certifique-se de que os indivíduos do conjunto do qual será retirada a amostra aleatória são similares aos do grupo que recebeu o treinamento. A seguir, temos algumas diretrizes para determinar o tamanho da amostra: § Porcentagens maiores são melhores. Quanto maior o tamanho da amostra em comparação ao grupo inteiro, maior será a probabilidade de a amostra fornecer dados confiáveis. Uma pesquisa aleatória com 80% dos participantes do treinamento pode ser mais confiável do que uma pesquisa aleatória com 40% desses mesmos participantes. § Grupos menores exigem amostras maiores. Se o grupo total treinado tiver menos de 100 participantes, o tamanho da amostra deve ser de 50%. Entretanto, se você treinou 1.000 pessoas, sua amostra pode ser de aproximadamente 10%. § É melhor obter 100% de uma mostra menor. É melhor usar uma amostra menor e obter uma resposta de todos os pesquisados, do que usar a “regra dos 50%” e obter apenas algumas poucas respostas. Se você não tiver tempo ou recursos para garantir que obterá a resposta de todos em sua amostra, use uma amostra menor. Cuidado: Essas dicas são diretrizes gerais, que você pode seguir ao fazer avaliações simples. A amostragem pode exercer um grande impacto sobre a avaliação. É importante usar técnicas de amostragem adequadas, mesmo quando for difícil fazer isso. Por exemplo, fazer perguntas para conhecidos ou trabalhadores próximos pode ser conveniente, mas pode não produzir uma amostra representativa. Se você estiver fazendo uma avaliação mais complexa, pode precisar de auxílio ao selecionar sua amostra. 71\n68. Indo além do ROI em T&D Etapa 3: Selecionar os métodos para coleta de dados. Os métodos disponíveis para coletar dados de medição de desempenho no trabalho podem ser agrupados em quatro categorias principais, que estão resumidas abaixo. Esses métodos podem ser usados individualmente ou combinados entre si. Entrevista Uma interação durante a qual o entrevistador faz perguntas para um indivíduo ou grupo de indivíduos para obter informações. As informações coletadas em uma entrevista podem incluir fatos ou opiniões e podem ser coletadas pessoalmente ou pelo telefone. Pesquisa Uma avaliação escrita que busca fatos e opiniões dos participantes ou mede atitudes. Observações A técnica de observar e registrar o comportamento dos participantes antes, durante e depois do treinamento. Análise da amostra do trabalho Uma análise da qualidade/quantidade dos rendimentos de trabalho dos realizadores. Nem todos os métodos de coleta de dados são apropriados para todas as situações. Certos fatores, tais como tempo e dinheiro, influenciarão muito a escolha. 72\n69. Alfredo Pires de Castro Etapa 4: Coletar dados de desempenho. Neste ponto, você já analisou os prós e os contras de cada método de coleta de dados e selecionou um ou mais métodos que acredita que fornecerão dados de desempenho exatos e completos. Agora você deve se preparar para coletar esses dados de desempenho. Coletar dados de desempenho com sucesso, independentemente do método escolhido, exige planejamento e preparação. Se selecionar o método de entrevista, você deve decidir quem será entrevistado, preparar as perguntas antecipadamente e estabelecer uma programação de entrevistas. Se fizer uma pesquisa, você deve decidir quem será pesquisado, preparar o instrumento de pesquisa e tomar as providências para a execução. Se desejar observar uma função ou tarefa em particular, você deve obter a permissão com as autoridades necessárias, decidir o que observará no trabalho e estabelecer uma programação de horário para a observação. 73\n70. Entrevista Pesquisa 74 Observação É fácil de fazer. Permite que os resultados sejam processados rapidamente e a um custo relativamente baixo. Permite fácil quantificação e generalização de resultados devido ao instrumento padronizado. Evita o embaraço e a ansiedade de entrevistas cara-a-cara. Dá mais tempo aos respondentes para pensarem nas respostas. Garante o anonimato das respostas. Permite que o observador registre o comportamento conforme ele ocorre. Resulta em reação mínima do respondente, se o observador se tornar uma parte natural do cenário de trabalho. Pode verificar outras fontes de informação. § § § § § § § § § § § § Fornece informações mais sutis e profundas do que os outros métodos de coleta de dados. Permite flexibilidade para sondar perguntas e respostas ambíguas. Fornece informações adicionais de comportamentos. Pode verificar outras fontes de informação. § Vantagens Pode afetar o comportamento das pessoas que estão sendo observadas. Permite que as pressuposições do observador afetem as informações coletadas, se as pressuposições não forem mantidas sob controle. Envolve custo substancial e tempo considerável para registrar e processar as informações. Exige presença física na empresa durante um período de tempo prolongado. § § § § § § § § § § Pode resultar em diferenças individuais na interpretação de itens e escalas. Pode resultar em informações de validade questionável. É inflexível, pois o participante deve responder as perguntas feitas. Pode ser facilmente influenciada por predisposições próprias. Depende da palavra escrita e pode ser um problema para pessoas que se expressam melhor verbalmente. Não permite que o pesquisador esclareça respostas incompletas. Pode produzir uma baixa taxa de repostas, se enviada pelo correio. Requer habilidades complexas para entrevistar. Envolve o tempo tanto do entrevistador como do entrevistado. Envolve custo considerável. Deixa alguns entrevistados ansiosos. Pode resultar em informações difíceis de quantificar. § § § § § § Desvantagens Tabela 1. Vantagens e desvantagens dos métodos de coleta de dados Indo além do ROI em T&D\n71. Alfredo Pires de Castro Modelo 1: Entrevista 1. De que maneira você pôde usar o conhecimento e as habilidades que aprendeu na Introdução ao Curso de Supervisão? 2. Você pode descrever uma situação em que acha que o curso teve um impacto direto sobre você e/ou seus funcionários? 3. Com que freqüência você acha que usa o conhecimento e as habilidades aprendidos durante o curso? 4. Aproximadamente quantos dias após o treinamento você teve oportunidade de usar o conhecimento e as habilidades aprendidas durante o treinamento? 5. Que barreiras (se houver) existem em seu cenário de trabalho que o impedem de aplicar efetivamente o conhecimento e as habilidades aprendidas durante o treinamento? 6. Que características em seu cenário de trabalho promovem o uso do conhecimento e das habilidades aprendidos durante o treinamento? 7. Você pode descrever uma situação específica em que aplicou efetivamente algum conhecimento e habilidades aprendidas durante o treinamento para resolver um problema no trabalho? 8. Há quaisquer comentários ou questões adicionais que você gostaria de discutir? Modelo 2: Pesquisa de desempenho Instruções: Como supervisor de primeiro nível, você deve preencher este questionário três meses após seu pessoal ter concluído a parte no trabalho do Treinamento Fase 1. Suas respostas a estas perguntas são importantes. As informações que você fornecer ajudarão a melhorar os futuros cursos de Treinamento Fase 1. 75\n72. Indo além do ROI em T&D Data: ___ / ___ / ___ Departamento: ________________ Informações das circunstâncias 1. Quantos dos seus funcionários concluíram recentemente o Treinamento Fase 1? _________ participantes 2. Quantos funcionários você gerencia? _________ Áreas de Desempenho Reveja as áreas de desempenho seguintes. Ao lado de cada área, classifique como os funcionários treinados durante este ano fiscal dominaram a área. Indique também se você acha que esses indivíduos precisam receber treinamento adicional. Classificação do conhecimento de Treinamento seus funcionários... adicional? SatisfaMuito ExceRuim Bom Sim Não tório Bom lente Pesquisar. Selecionar a fonte de referência correta. Descobrir informações necessárias em fontes de referência. Informar exatamente com as próprias palavras a resposta correta de uma fonte de referência. Comunicar. Redigir corretamente informações apresentadas verbalmente. Sondar em busca de informações adicionais. Reagir apropriadamente a sentimentos. Confirmar o entendimento. Usar conhecimento técnico. Responder exatamente as perguntas dos solicitantes sobre questões técnicas. Responder a perguntas sobre formulários e publicações. Responder precisamente a perguntas sobre como obter formulários e publicações. 76\n73. Alfredo Pires de Castro Modelo 3: Pesquisa de desempenho Atitude no Trabalho § O que você acha que os seus funcionários estavam menos preparados para fazer quando concluíram o Treinamento Fase 1? § O que você acha que os seus funcionários estavam mais preparados para fazer quando concluíram o Treinamento Fase 1? § É necessário treinamento adicional para aumentar a capacidade de seus funcionários para a realização das funções de trabalho exigidas?  SIM  NÃO Se Sim . . . Que tipo de treinamento é necessário? § Qual foi, na sua percepção, o impacto no desempenho produzido pelo treinamento? (Comente e coloque também a percepção percentual.) § Você percebeu impacto nos indicadores de gestão da área? Etapa 5: Analisar os dados de desempenho. As páginas anteriores forneceram diretrizes e ferramentas para a coleta de dados de desempenho. Depois que tiver coletado os dados, você está pronto para concluir a quinta etapa no processo: a análise dos dados de desempenho. Para isso, você pode desejar concluir as subetapas seguintes: 1) verificar a qualidade dos dados de desempenho e 2) resumir os dados de desempenho. 1- Verificar a qualidade dos dados de desempenho Informações errôneas, incompletas ou antigas são inúteis para se determinar a efetividade do treinamento quanto à mu77\n74. Indo além do ROI em T&D dança de desempenho. Neste ponto, você precisa ter certeza de que seus dados de desempenho são exatos, completos e atuais. Encontram-se abaixo diretrizes para conferir os dados. Diretrizes para conferir os dados § Conferir os dados Você deve começar sua verificação da exatidão, fazendo uma avaliação subjetiva, ou seja, simplesmente “olhando” os dados. Essa avaliação garante que seus dados sejam compatíveis com dados anteriores da mesma área (talvez da análise das necessidades). Pergunte a si mesmo se os dados e eventos relatados estão próximos das suas expectativas e se há quaisquer diferenças inesperadas nos dados de desempenho coletados anteriormente. § Confirmar os dados Se encontrar discrepâncias entre os dados de desempenho ou se desejar confirmar os dados, tome as seguintes providências: • Verifique os dados de desempenho coletados em comparação com outra fonte (por exemplo, amostras de trabalho, relatórios de erro, registros de queixa, “feedback” do supervisor). • Colete novamente uma amostra dos mesmos dados para que você possa determinar o grau de exatidão e a confiabilidade dos dados de desempenho originais coletados. • Revise qualquer informação similar que possa existir sobre o cargo (por exemplo, descrições de cargo). 78\n[E-book] Projeção e Análise de ROI em Projetos