Home > Gestão

Para medir TI

Como lidar com as incertezas das análises de custo-benefício nos projetos de tecnologia

Douglas Hubbard

21/08/2007 às 10h05

money2_int.jpg
Foto:

Antes de fazer um investimento multimilionário em TI, provavelmente você faz uma análise de custo-benefício. Dentre todas as variáveis na planilha, à qual você dedica mais tempo e esforço tentando estimar? A maioria das organizações passa muito tempo estimando os custos de desenvolvimento iniciais e menos tempo estimando os benefícios, a rapidez com que as pessoas começam a usar o sistema ou a probabilidade de o projeto nunca ser concluído. Se você calcular o valor econômico da informação adicional de que necessita para obter estimativas de ROI mais exatas, verá que as prioridades de medição típicas, com freqüência, são inapropriadas. Na realidade, as variáveis mais importantes para reduzir a incerteza da estimativa de ROI raramente são representadas em planilhas de custo-benefício de TI.
Chamo este paradoxo de a “inversão da medição de TI”. Detectei este efeito quando um cliente estava implementando uma nova metodologia de tomada de decisão de TI baseada em AIE -- applied information economics, ou economia aplicada da informação. Um recurso característico desta abordagem é a inclusão de uma medida do grau de incerteza de cada variável em uma análise de ROI. Isso nos dá a base para outro dado da AIE: o valor econômico da informação.

Medindo a incerteza
Praticamente toda variável em uma análise de custo-benefício é incerta. Não sabemos exatamente quais serão os custos iniciais ou qual será a melhoria da produtividade. Porém, na análise dos investimentos em TI, geralmente cada custo ou benefício é mostrado como um número único e preciso. Isso implicaria que o número exato é conhecido, mas, na verdade, quase nunca é assim. Entretanto, é possível representar tais valores de maneira mais realista. Podemos usar "distribuições de probabilidades" para mostrar quanto sabemos de fato sobre cada número em uma análise de custo-benefício. Quantificar a incerteza é um pré-requisito para calcular o valor da informação.
Talvez você se lembre vagamente de conceitos como “intervalo de confiança de 90%" ou "desvio padrão", ouvidos nas aulas de estatística da faculdade. Suas habilidades matemáticas podem ter minguado, mas os conceitos são razoavelmente simples. Um intervalo de confiança de 90%  consiste de dois números - o limite superior e o limite inferior de uma faixa que, podemos afirmar com 90% de certeza, contém o valor certo. Para os custos de treinamento de um novo sistema, a maioria das planilhas de custo-benefício de TI usaria simplesmente um número, como US$500.000. Mas talvez possamos dizer, apenas, que temos 90% de certeza de que os custos de treinamento vão ficar entre US$300.000 e US$700.000. Ainda há 10% de chance de que o número real fique fora destes limites. Podemos usar representações estatísticas (como distribuições normais, binário discreto e assim por diante) para determinar o grau de incerteza. Aplicando uma distribuição normal (nem sempre o exemplo mais realista, porém o mais direto) ao nosso cenário, poderíamos usar o desvio padrão para expressar a incerteza. De acordo com a matemática estatística, existem 3,29 desvios padrões em um intervalo de confiança de 90%. Isso também pode ser dito de outra maneira: os custos de treinamento são um número distribuído normalmente com uma média de US$500.000 e um desvio padrão de US$121.580 – a faixa (US$400.000) dividida por 3,29. Cada número incerto na análise de ROI deve ser representado como uma distribuição para mostrar sua incerteza. Depois de quantificarmos a incerteza de cada variável, podemos começar a calcular o valor da informação adicional para cada variável.

O valor da informação
A informação tem valor porque nos conduz a decisões melhores. O método para calcular o valor da informação existe há décadas, é um desdobramento da teoria do jogo e da teoria da decisão. A grosso modo, o valor da informação é igual à probabilidade de estar errado vezes o custo de estar errado. O custo de estar errado – ou seja, o que é perdido se sua decisão não dá certo – é chamado de perda de oportunidade. Digamos que você esteja considerando investir US$1 milhão em um novo sistema. Ele promete um lucro líquido de US$3 milhões em três anos. (Para o propósito do nosso exemplo, ele será um sucesso ou um fracasso total.) Se você investir, mas o sistema fracassar, seu erro lhe custará  US$1 milhão. Se você decidir não investir, mas deveria, seu erro lhe custará US$3 milhões. Quando multiplicamos a perda de oportunidade pela probabilidade de uma perda, obtemos a perda esperada de oportunidade (PEO). Calcular o valor da informação se resume a determinar quanto ela reduzirá a PEO.
Na análise de custo-benefício, o valor econômico de uma variável, essencialmente, diz quanto a informação adicional sobre esta variável reduz a PEO para o investimento. A informação sobre uma variável que reduz muito a PEO afeta imensamente a decisão de fazer o investimento. Trata-se de uma análise sensitiva da decisão que dá um valor em dólar [??em dinheiro, econômico]  para a informação.
Mesmo em projetos com custos de desenvolvimento muito incertos, não achamos que estes custos tenham um valor de informação significativo para a decisão de investimento. Em outras palavras, a informação sobre os custos de desenvolvimento não reduziu a PEO tanto quanto a informação sobre outras variáveis. As variáveis mais importantes – aquelas com a incerteza maior e o impacto maior sobre a decisão – raramente são representadas em análises de custo-benefício.

Variáveis verdadeiramente importantes
A incógnita mais importante é se o projeto será cancelado. É um fenômeno binário – acontece ou não acontece – e, portanto, representado com uma única probabilidade percentual (não uma faixa). Se ocorre cancelamento, nenhum benefício é auferido, mas alguns custos de desenvolvimento são contabilizados.
A segunda variável mais importante é a utilização do sistema, incluindo a rapidez com que o sistema é implementado e se algumas pessoas irão, de fato, usá-lo. Como o cancelamento, a incerteza quanto à rapidez com que as pessoas começam a usar o sistema nunca aparece na maioria dos cálculos de ROI. Muitos presumem, simplesmente, que os benefícios têm início com a implementação, sem concessões para dificuldades.
Obviamente, você precisa estimar os custos de desenvolvimento ao tomar uma decisão sobre investimentos em TI. Entretanto, em geral, você não precisa reduzir a incerteza sobre estes custos para tomar uma decisão embasada. Reduzir a incerteza sobre a taxa de utilização e a probabilidade de cancelamento de um novo sistema é muito mais importante quando você está decidindo como gastará seu dinheiro.
Combatendo o paradoxo
Por que a inversão da medição de TI? Talvez nos concentremos em medir o que nos sentimos à vontade para medir, independentemente de sua importância. A indústria de TI também enfatiza os custos de desenvolvimento. Existem muitas empresas de "métricas de software" que se dedicam a medir os custos de desenvolvimento, deixando de lado outras variáveis mais importantes. Outra razão do paradoxo talvez seja mais simples: muitas pessoas não sabem que há uma fórmula para medir o valor econômico da informação.
Neutralize a inversão da medição medindo o valor da informação. Em primeiro lugar, aprenda a modelar incertezas em cálculos de ROI. Comece a fazer isso o mais cedo possível, principalmente para investimentos maiores em TI. Talvez sua organização já tenha pessoas com experiência em estatística para fazer isso.
Em segundo lugar, na decisão sobre investimento, não se dê ao trabalho de contratar serviços de métricas de software para reduzir a incerteza inicial quanto aos custos. Uma faixa de US$2 milhões a US$4 milhões para um investimento em TI, por exemplo, pode parecer muito incerta, mas provavelmente é menos incerta do que alguns dos benefícios. Talvez você precise computar pontos de função depois para gerenciar a produtividade dos programadores, mas gaste seu dinheiro e seus esforços para reduzir outras incertezas antes. E não se esqueça de levar em conta os custos de manutenção de sistemas.
Em terceiro lugar, pegue o que você desembolsaria com métricas de software e gaste para pesquisar os benefícios do sistema, a rapidez com que as pessoas vão começar a usá-lo, quanto ele será usado e qual é o risco do cancelamento.
Para tomar as melhores decisões sobre investimento, a gerência de TI tem de aprender a calcular o valor da informação e começar a modelar a utilização e o cancelamento em argumentos de custo-benefício. Quando isso for feito, as medições serão priorizadas adequadamente e a inversão da medição de TI desaparecerá.
Douglas Hubbard fundou recentemente a Hubbard Ross LLC em Glen Ellyn, Ill.

Junte-se a nós e receba nossas melhores histórias de tecnologia. Newsletter Newsletter por e-mail