Acessibilidade / Reportar erro

Utilização do valor agregado como ferramenta de gestão na construção civil: uma análise quantitativa

The use of Earned Value as a management tool in construction: a quantitative analysis

Resumo

O monitoramento do desempenho de projetos por meio de indicadores é um recurso de gestão de grande importância para as organizações, sendo amplamente utilizado o Earned Value Management (EVM). Entretanto, há poucas pesquisas quantitativas que comparam o modelo teórico do valor agregado com a utilização prática na indústria da construção civil no Brasil. Outrossim, alguns autores argumentam que a fundamentação teórica do EVM é utilizada de forma equivocada na construção civil. O presente artigo tem como objetivos principais verificar se os usuários identificam benefícios na utilização do EVM e analisar os fatores críticos de sucesso, limitações e a utilização de acordo com o perfil dos usuários por meio de uma pesquisa quantitativa. A pesquisa foi realizada por meio de questionário do tipo Survey disponibilizado pela internet, tendo tido 106 respondentes entre gerentes e técnicos de planejamento da construção civil. Foi verificado que os dados obtidos na pesquisa se mostraram satisfatórios e validados, com estatísticas adequadas de Alfa de Cronbach e testes de análise fatorial de Kaiser-Meyer-Olkin. Os resultados demonstraram que os respondentes identificaram benefícios na utilização do EVM, apesar de ainda utilizarem o valor agregado de maneira parcial.

Palavras-chave:
Indicador de valor agregado; Indicadores de desempenho; EVM; Desempenho da construção civil

Abstract

The monitoring of project performance through indicators is a highly important management tool for organizations, and Earned Value Management (EVM) is widely used for that purpose. However, few studies have been undertaken comparing the theoretical value-added model with its practical use in the civil construction industry in Brazil. In addition, some authors argue that the theoretical foundation of EVM is misused in civil construction. The main objective of this article is to verify whether users identify any benefits from the use of EVM and to analyse the critical success factors, limitations and their use according to the profile of users, through quantitative research. The research was carried out through the application of a survey-type questionnaire, made available through the Internet, with 106 respondents (managers and construction planning technicians). The data obtained in the research was satisfactory and validated, having obtained adequate statistics from Cronbach's Alpha and Kaiser-Meyer-Olkin factor analysis tests. The results showed that the users identified benefits from using EVM, even though they still use partial EVM.

Keywords:
Earned value indicator; Performance indicator; Construction performance; Earned Value Management (EVM)

Introdução

A gestão de projetos de construção enfrenta dificuldades e é comum observar orçamentos excedidos, atrasos de cronograma, baixa qualidade e baixa produtividade no processo construtivo (ARROTÉIA; AMARAL; MELHADO, 2014ARROTÉIA, A. V.; AMARAL, T. G.; MELHADO, S. B. Gestão de Projetos e Sua Interface Com o Canteiro de Obras Sob a Ótica da Preparação da Execução de Obras (PEO). Ambiente Construído, Porto Alegre, v. 14, n. 4, p. 183-200, out./dez. 2014.). Alguns autores consideram que esses fatos se devem à natureza complexa dos empreendimentos de construção (HORSTMAN; WITTEVEEN, 2013HORSTMAN, A.; WITTEVEEN, W. Performance Indicators in the Best Value Approach. Journal for the Advancement of Performance Information & Value, v. 5, n. 2, 2013.). A gestão de projetos associada a sistemas de medição de desempenho tem sido proposta por diferentes autores, em especial por meio de indicadores de desempenho (BABAR; THAHEEM; AYUB, 2016BABAR, S.; THAHEEM, M. J.; AYUB, B. Estimated Cost at Completion: integrating risk into earned value management. Journal of Construction Engineering and Management, v. 143, n. 3, p. 04016104, 2016.). Segundo Marco e Narbaev (2013)NARBAEV, T.; DE MARCO, A. Combination of Growth Model and Earned Schedule to Forecast Project Cost at Completion. Journal of Construction Engineering and Management, v. 140, n. 1, p. 04013038, 2013., os indicadores de desempenho de projetos são instrumentos de gestão essenciais nas atividades de monitoramento e avaliação, uma vez que permitem o acompanhamento e o alcance das metas, além da identificação de avanços e melhorias de qualidade.

Pesquisa desenvolvida por Netto et al. (2015a)NETTO J. T. et al.Performance Monitoring Using EVM Indicator: a study case of construction projects in the public sector in Brazil. Sistemas & Gestão, Niterói, v. 10, n. 1, p. 194-202, 2015a. destaca a utilização do Earned Value Management (EVM) para o controle de projetos na construção civil. Autores como Narbaev e De Marco (2014)NARBAEV, T.; DE MARCO, A. An Earned Schedule-Based Regression Model to Improve Cost Estimate at Completion. International Journal of Project Management, v. 32, n. 6, p. 1007-1018, 2014. mostram a utilização do valor agregado para gerenciar o escopo, o prazo e o custo na indústria da construção. Kezner (2016)KERZNER, H. Gestão de Projetos: as melhores práticas. São Paulo: Bookman, 2016. também ressalta a utilização do EVM para medir os resultados e monitorar o projeto, que significa comparar a situação atual com a planejada, verificando se seus custos e prazos estão dentro do planejado, e adotando medidas corretivas quando for necessário (MARCO; NARBAEV, 2013NARBAEV, T.; DE MARCO, A. Combination of Growth Model and Earned Schedule to Forecast Project Cost at Completion. Journal of Construction Engineering and Management, v. 140, n. 1, p. 04013038, 2013.). Assim, os índices de desempenho de projetos na área de engenharia têm especial importância por permitirem antever problemas que poderão ocorrer durante o andamento deles, de forma a possibilitar que ajustes e correções possam ser feitos para evitar desvios no planejamento.

Embora sendo notória sua utilização, a gestão da construção mediante o usoda metodologia de valor agregado não é de fácil execução. Lipke (2013)LIPKE, W. Is Something Missing From Project Management? Cross Talk, p. 17, 2013. Disponível em: <http://www.crosstalkonline.org/storage/issue-archives/2013/201307/201307-Lipke.pdf>. Acesso em: 10 jun. 2014.
http://www.crosstalkonline.org/storage/i...
alega que a utilização do valor agregado não é simples e necessita de um gerenciamento complexo. Segundo Song (2010)SONG, L. Earned Value Management: a global and cross-industry perspective on current EVM practice. Pennsylvania: Project Management Institute, 2010., o indicador de valor agregado é conhecido na indústria da construção como agregado em horas ou agregado em valores monetários. Netto et al. (2015a)NETTO J. T. et al.Performance Monitoring Using EVM Indicator: a study case of construction projects in the public sector in Brazil. Sistemas & Gestão, Niterói, v. 10, n. 1, p. 194-202, 2015a. destacam o entendimento da metodologia como um fator crítico de sucesso, sendo necessário o treinamento da equipe para sua utilização. Além da dificuldade na utilização da metodologia do EVM na construção civil, alguns autores identificaram limitações relativas a seu uso devido à pouca precisão do indicador no início e ao final do projeto (MARCO; NARBAEV, 2013NARBAEV, T.; DE MARCO, A. Combination of Growth Model and Earned Schedule to Forecast Project Cost at Completion. Journal of Construction Engineering and Management, v. 140, n. 1, p. 04013038, 2013.; SOUZA; ROCHA; SANTOS, 2015SOUZA, A. D. de; ROCHA, A. R. da C.; SANTOS, D. C. S. dos. A Proposal For the Improvement of Project's Cost Predictability Using Earned Value Management and Historical Data of Cost: an empirical study. International Journal of Software Engineering and Knowledge Engineering, v. 25, n. 1, p. 27-50, 2015.). Outros autores defendem que a metodologia deve ser utilizada em conjunto com a gestão enxuta (CÂNDIDO; LIMA; BARROS NETO, 2016CÂNDIDO, L. F.; LIMA, S. H. de O.; BARROS NETO, J. de P. Análise de Sistemas de Medição de Desempenho na Indústria da Construção. Ambiente Construído, Porto Alegre, v. 16, n. 2, p. 189-208, abr./jun. 2016.) ou mesmo com o sistema LPS (Last Planner System) de produção (MOURA; FORMOSO, 2009MOURA, C. B.; FORMOSO, C. T. Análise Quantitativa de Indicadores de Planejamento e Controle da Produção: impactos do Sistema Last Planner e fatores que afetam a sua eficácia. Ambiente Construído, Porto Alegre, v. 9, n. 3, p. 57-74, jul./set. 2009.; OLIVIERI; GRANJA; PICCHI, 2016OLIVIERI, H.; GRANJA, A. D.; PICCHI, F. A. Planejamento Tradicional, Location-Based Management System e Last Planner System: um modelo integrado. Ambiente Construído, Porto Alegre, v. 16, n. 1, p. 265-283, jan./mar. 2016.). Variações devido às incertezas do projeto e riscos foram também demonstradas por alguns autores (BABAR; THAHEEM; AYUB, 2016BABAR, S.; THAHEEM, M. J.; AYUB, B. Estimated Cost at Completion: integrating risk into earned value management. Journal of Construction Engineering and Management, v. 143, n. 3, p. 04016104, 2016.; ACEBES et al., 2013ACEBES, F. et al. Beyond Earned Value Management: a graphical framework for integrated cost, schedule and risk monitoring. Procedia - Social and Behavioral Sciences, v. 74, p. 181-189, mar. 2013.). Estudo comparativo realizado por Netto et al. (2015b)NETTO, J. T. et al. Estudo Comparativo Entre as Práticas Empresariais e a Teoria de Gerenciamento por Valor Agregado: o caso da construção civil. Ambiente Construído, Porto Alegre, v. 15, n. 3, p. 145-160, jul./set. 2015b. identificou benefícios, limitações e diferenças entre a metodologia teórica do EVM e a prática na construção civil.

Verifica-se, portanto, que a gestão de projetos com o uso do EVM poderia auxiliar na gestão de empreendimentos de construção porque utiliza indicadores que têm o foco no prazo e custo do projeto. Entretanto, a opinião sobre sua utilização na construção civil divide os autores. Este artigo procura preencher essa lacuna por meio de uma pesquisa quantitativa apoiada em hipóteses e constructores. O estudo empírico foi realizado por meio de uma pesquisa do tipo Survey que analisou as respostas de 106 entrevistados entre gerentes e técnicos de construção civil com o software IBM SPSS Statistics 21® (FIELD, 2013FIELD, A. Discovering Statistics Using IBM SPSS Statistics. Thousand Oaks: Sage, 2013.) e a aplicação de testes de análise do Alfa de Cronbach e Kaiser-Meyer-Olkin (KMO) e Esfericidade de Bartlett (HAIR et al., 2005HAIR, J. et al. Análise Multivariada de Dados. 5. ed. Porto Alegre: Bookman, 2005.). A amostra foi considerada válida, e os resultados demonstraram que os usuários identificaram benefícios em sua utilização. Entretanto, foi verificado que sua utilização ocorre, em sua maior parte, de maneira parcial e que existem fatores críticos de sucesso.

Indicador de Valor Agregado

O indicador de valor agregado avalia o desempenho do projeto em três dimensões fundamentais, o prazo, o escopo e o custo, as quais são reconhecidas pelo Project Management Institute(PMI) como o “triângulo de ferro” por sua importância e controle para a eficiência em projetos. Para a obtenção dos indicadores e da curva de valor agregado são necessários diversos processos que envolvem a gestão por valor agregado, conhecido como EVM (PROJECT..., 2013PROJECT MANAGEMENT INSTITUTE. A Guide to the Project Management Body of Knowledge. 5. ed. Newtown Square: PMI Publishing, 2013.).

Os principais indicadores de desempenho do EVM são: indicador de desempenho de custo (cost performance index - CPI) e indicador de desempenho de prazo (schedule performance index - SPI). Esses indicadores são obtidos a partir de três curvas: valor planejado (VP), valor agregado (VA) e custo real (CR) (NARBAEV; DE MARCO, 2014NARBAEV, T.; DE MARCO, A. An Earned Schedule-Based Regression Model to Improve Cost Estimate at Completion. International Journal of Project Management, v. 32, n. 6, p. 1007-1018, 2014.). As curvas podem ser observadas na Figura 1.

Figura 1
Gráfico dos indicadores de desempenho do EVM

Na Figura 1 pode-se observar aevolução da curva de valor agregado, também conhecida como curva “S”. Os indicadores de desempenho de custo (CPI) e de prazo (SPI) são calculados pelas fórmulas (Equações 1 e 2):

Eq. 1 CPI = VA CR

Eq. 2 SPI = V VP

Onde:

VA - Valor agregado;

CR - Custo real; e

VP - Valor planejado.

Os valores de VP, VA e CR são obtidos nas respectivas curvas considerando uma data de referência. O CPI fornece dados sobre o desenvolvimento do projeto e confronta esses dados com o orçamento previsto e realizado, identificado pelo valor agregado (VA) das entregas (monetário)/custo planejado (orçado) das entregas. Esse indicador lança uma luz para as situações em que o projeto venha consumindo recursos, sem que isso apresente, em contrapartida, o progresso desejado. Com o CPI é possível mensurar quanto de retorno existe para cada valor que é investido. A interpretação desse índice se desenvolve com a seguinte lógica: se o resultado da relação for igual a 1, o projeto está correndo como o previsto; se o resultado for maior do que 1, indica economia; e se o resultado for menor do que 1, indica que está fora do orçamento. O indicador SPI possibilita a compreensão acerca do desenvolvimento cronológico do projeto comparado ao cronograma preestabelecido. O cálculo de SPI é obtido aplicando-se o valor agregado (VA) das entregas, em valor monetário, sobre o valor planejado (VP) das entregas, resumido pela equação VA/VP. Sua interpretação se dará da seguinte forma: caso o valor seja igual a 1, a interpretação é a de que o projeto ocorre como foi planejado; para valores acima de 1, ficará caracterizado um estágio adiantado na execução; e no caso de resultados abaixo de 1,haverá a indicação de que existe atraso na execução. Outros indicadores são também propostos pela metodologia, como o indicador de previsão do prazo e do custo ao término do projeto. Para se obterem esses indicadores são necessários diversos processos durante a execução do projeto, os quais serão detalhados a seguir.

A gestão por valor agregado (EVM) compreende uma série de processos para a obtenção do indicador que se iniciam no planejamento do projeto até a execução dele. Os processos foram padronizados por organismos internacionais como a Ansi/EAI e o PMI. O padrão Ansi/EAI 748 define 32 processos necessários para a utilização do EVM. Segundo Fleming e Koppelman (2010)FLEMING, Q. W.; KOPPELMAN, J. M. Earned Value: project management. 4. ed. Pennsylvania: PMI, 2010., esses processos foram considerados em quantidade excessiva e muito rígida pelas empresas privadas, sendo simplificados pelo PMI por meio da segunda edição do PMI Standard EVM (2011)PROJECT MANAGEMENT INSTITUTE. A Guide to the Project Management Body of Knowledge. 5. ed. Newtown Square: PMI Publishing, 2013.. Na Figura 2 são detalhados os principais processos referentes à metodologia da utilização do EVM, adaptado pelo autor a partir do PMI Standard EVM (PRACTICE..., 2011PRACTICE STANDARD FOR EARNED VALUE MANAGEMENT. Standard EVM. 2nd. ed. Newtown Square: PMI Publishing, 2011.) e de ANSI/EAI 748 (2013)AMERICAN NATIONAL STANDARDS INSTITUTE/ELECTRONIC INDUSTRIES ASSOCIATION. Earned Value Management systems: ANSI/EIA-748. Arlington, 2013..

Figura 2
Metodologia do indicador de valor agregado

O ciclo de planejamento inicia-se com a definição dos responsáveis, o plano de contas, a divisão do escopo em pacotes de trabalho e a definição do método de medição (PRACTICE..., 2011PRACTICE STANDARD FOR EARNED VALUE MANAGEMENT. Standard EVM. 2nd. ed. Newtown Square: PMI Publishing, 2011.). A divisão em pacotes de trabalho consiste em dividir o projeto em itens de escopo comum, resultando na Estrutura Analítica de Projeto (EAP). A estrutura obtida a partir da EAP será utilizada para a obtenção do plano de contas e para o desenvolvimento do cronograma do projeto (PROJECT..., 2013PROJECT MANAGEMENT INSTITUTE. A Guide to the Project Management Body of Knowledge. 5. ed. Newtown Square: PMI Publishing, 2013.). Segundo Fleming e Koppelman (2010)FLEMING, Q. W.; KOPPELMAN, J. M. Earned Value: project management. 4. ed. Pennsylvania: PMI, 2010., o plano de contas deverá integrar os pacotes de trabalho e permitir a apropriação de custo para cada pacote. No orçamento devem ser estimados os recursos materiais e humanos para cada atividade, os custos indiretos e, ainda, os fundos de reserva. O processo de “definir o cronograma” consiste em definir as datas inicial e final de cada etapa do projeto. O cronograma final integra os custo e prazos do projeto e será utilizado para medir a linha base de desempenho (AMERICAN..., 2013AMERICAN NATIONAL STANDARDS INSTITUTE/ELECTRONIC INDUSTRIES ASSOCIATION. Earned Value Management systems: ANSI/EIA-748. Arlington, 2013.).

O ciclo de execução inicia-se com o processo referente à autorização do trabalho, que consiste em definir as atividades que serão executadas. Em seguida, a atividade de medir o desempenho consiste em verificar o percentual das atividades executadas e comparar o valor previsto no cronograma. Posteriormente, o processo de atualização do custo deve incluir os custos de material, mão de obra e demais despesas para a execução das tarefas previstas na autorização do trabalho. Na próxima etapa do processo de medir o desempenho serão obtidos os valores dos indicadores de desempenho de valor agregado, relativos ao tempo e ao custo de cada etapa, comparando-os ao valor planejado. Os indicadores principais obtidos nessa etapa são o indicador de desempenho de prazo (SPI) e o indicador de desempenho de custo (CPI). Finalmente, o processo de gerenciar o desempenho deve desenvolver ações que possam manter o projeto dentro da previsão de prazo e custo. O controle de mudança é a formalização de possíveis mudanças que possam acontecer durante o projeto (PRACTICE..., 2011PRACTICE STANDARD FOR EARNED VALUE MANAGEMENT. Standard EVM. 2nd. ed. Newtown Square: PMI Publishing, 2011.).

Dessa maneira, a metodologia é constituída de uma série de processos que se iniciam no planejamento da obra, quando, a partir do projeto do empreendimento, se definem os materiais que serão usados, a mão de obra e os custos associados. Posteriormente, durante a execução, deve-se acompanhar periodicamente o andamento do projeto comparando o custo e o prazo previamente estipulados, obtendo-se os indicadores de desempenho de prazo (IDP) e de desempenho de custo (IDC).

Devido à grande quantidade de itens que evolvem o processo de construção associada às dificuldades de se estabelecerem quantitativos de custo e prazo, o gerenciamento que utiliza o valor agregado torna-se uma atividade complexa. No aspecto do levantamento de custo, Azevedo et al. (2011)AZEVEDO, R. C. et al.Avaliação de Desempenho do Processo de Orçamento: estudo de caso em uma obra de construção civil. Ambiente Construído, v. 11, n. 1, p. 85-104, jan./mar. 2011. descrevem a falta de precisão no custo e de pontualidade, a periodicidade dilatada na atualização das informações e a falta de um foco gerencial como sendo um problema recorrente na construção civil. Arrotéia, Amaral e Melhado (2014)ARROTÉIA, A. V.; AMARAL, T. G.; MELHADO, S. B. Gestão de Projetos e Sua Interface Com o Canteiro de Obras Sob a Ótica da Preparação da Execução de Obras (PEO). Ambiente Construído, Porto Alegre, v. 14, n. 4, p. 183-200, out./dez. 2014. identificaram problemas relacionados a pessoas, tecnologias e dados envolvidos no projeto que resultam em atrasos nas obras. Na próxima seção éfeita uma revisão da literatura sobre esses tópicos.

Benefícios, limitações e fatores críticos de sucesso na utilização do EVM

Narbaev e De Marco (2014)NARBAEV, T.; DE MARCO, A. An Earned Schedule-Based Regression Model to Improve Cost Estimate at Completion. International Journal of Project Management, v. 32, n. 6, p. 1007-1018, 2014. ressaltam a importância do indicador de valor agregado para gerenciar o escopo, o prazo e o custo na indústria da construção. O PMBOK (PROJECT..., 2013PROJECT MANAGEMENT INSTITUTE. A Guide to the Project Management Body of Knowledge. 5. ed. Newtown Square: PMI Publishing, 2013.) destaca que a metodologia do EVM é conhecida como “management with the lights on” ou, em tradução livre, “gestão com as luzes acesas”, uma vez que sua aplicação ilumina, identifica claramente em que ponto se encontra um projeto por meio de indicadores e pela visualização gráfica das curvas de custo.

Na literatura internacional foram verificadas diferentes abordagens sobre os fatores críticos de sucesso para a implantação do indicador de valor agregado. Em pesquisa do tipo Survey realizada por Song (2010)SONG, L. Earned Value Management: a global and cross-industry perspective on current EVM practice. Pennsylvania: Project Management Institute, 2010. com 677 respondentes membros do PMI foram identificados diversos fatores críticos de sucesso: o suporte dos executivos da empresa, o treinamento em EVM, a cultura da organização em EVM e a maturidade da organização em gestão de projetos. Fleming e Koppelman (2010)FLEMING, Q. W.; KOPPELMAN, J. M. Earned Value: project management. 4. ed. Pennsylvania: PMI, 2010. argumentam que, para a utilização do valor agregado, é necessário que a empresa tenha maturidade em gerenciamento de projetos. Stratton (2006)STRATTON, R. W. The Earned Value Management Maturity Model. Oakland: Berret Koehler Publishers, 2006. e Solomon (2005)SOLOMON, P. J. Performance-Based Earned Value®. In: ANNUAL INTERNATIONAL SYMPOSIUM OF THE INTERNATIONAL COUNCIL ON SYSTEMS ENGINEERING, 15., Utrecht, 2005. Proceedings… Utrecht, 2005. demonstraram a necessidade de maturidade em EVM de acordo com os critérios do EVM3 (Earned Value Maturity Model). Os níveis de maturidade são crescentes até cinco níveis, iniciando-se no nível ad hoc (a organização tem pouca ou nenhuma utilização do EVM), repetitivo (a organização adota o EVM com um sistema de baixo custo, monitorando o custo total do projeto e o cronograma), definido (a organização utiliza o EVM totalmente de acordo com o padrão Ansi/EIA 748), gerenciado (a organização está fortemente comprometida com o uso do EVM) e otimizado (melhoramento contínuo no uso do EVM em projetos).

Na literatura nacional os fatores críticos de sucesso têm sido abordados por diferentes autores. Vargas (2003)VARGAS, R. V. Earned Value Analysis in the Control of Projects: success or failure?AACE International Transactions, v. 21, n. 4, p. 211-214, 2003., em pesquisa realizada em três obras em empresa da construção civil, identificou os seguintes fatores críticos: treinamento da equipe de planejamento, definição de escopo e suporte gerencial. Valle e Soares (2006)VALLE, J. A.; SOARES, C. A. P. The Use of Earned Value Analysis (EVA) in the Cost Management of Construction Projects. In: PMI GLOBAL CONGRESS EMEA, Pennsylvania, 2006. Proceedings… Pennsylvania, 2006., por meio de estudo de caso de uma obra de construção civil, identificaram alguns fatores críticos de sucesso: o apoio da alta administração, o treinamento da equipe em EVM, o escopo bem definido por meio da divisão em itens de EAP, o cronograma, o orçamento, a atribuição de responsabilidades a cada item, o fluxo de trabalho e atividades, o controle de cronograma e custo, o relatório dos indicadores, os procedimentos para análise de consistência, as lições aprendidas e o processo contínuo de aprendizagem. Costa e Formoso (2011)COSTA, D. B.; FORMOSO, C. T. Fatores-Chave de Sucesso Para Sistemas de Indicadores de Desempenho Para Benchmarking Colaborativo Entre Empresas Construtoras. Ambiente Construído, Porto Alegre, v. 11, n. 3, p. 143-159, jul./set. 2011. identificaram a necessidade de maturidade em gestão de indicadores para sua utilização.

Apesar do benefício do EVM, foram relatadas dificuldades na utilização da metodologia por diferentes autores. Lipke (2013)LIPKE, W. Is Something Missing From Project Management? Cross Talk, p. 17, 2013. Disponível em: <http://www.crosstalkonline.org/storage/issue-archives/2013/201307/201307-Lipke.pdf>. Acesso em: 10 jun. 2014.
http://www.crosstalkonline.org/storage/i...
argumenta que, apesar de o indicador de valor agregado ter sido adotado nos últimos 40 anos, sua utilização não é simples e necessita de um gerenciamento complexo, que envolve o controle de cronograma, o controle preciso de custos e o controle de valor agregado (trabalho realizado). Buyse, Vandenbussche e Vanhoucke (2009)BUYSE, P.; VANDENBUSSCHE, T.; VANHOUCKE, M. Performance Analysis of Earned Value Management in the Construction Industry. Gent, 2009. 97 f. Dissertação (Mestrado em Economia) - Escola de Economia de Bedrijfskunde, Gent, 2009., por meio de um estudo de caso em quatro empresas construtoras na Bélgica, identificaram que elas não utilizam a metodologia completa devido a fatores externos e internos para calcular o indicador de valor agregado na construção civil. Os autores citam as seguintes dificuldades: o ceticismo, o desconhecimento do controle completo em custos, o esforço administrativo e o desconhecimento da terminologia. Em relação a sua aplicação, alguns autores argumentam que pode incentivar as equipes a realizarem tarefas mais fáceis e com maior custo (KIM; BALLARD, 2001KIM, Y.-W.; BALLARD, G. Earned Value Method and Customer Earned Value. Journal of Construction Research, v. 3, n. 1, p. 55-66, 2001.).

Na literatura observam-se ainda algumas limitações na utilização do valor agregado. Alguns autores consideram que o indicador de desempenho de custo (IDC) apresenta instabilidade durante o andamento do projeto (BUYSE; VANDENBUSSCHE; VANHOUCKE, 2009BUYSE, P.; VANDENBUSSCHE, T.; VANHOUCKE, M. Performance Analysis of Earned Value Management in the Construction Industry. Gent, 2009. 97 f. Dissertação (Mestrado em Economia) - Escola de Economia de Bedrijfskunde, Gent, 2009.). Variações devido a incertezas do projeto e riscos foram demonstradas por alguns autores (ACEBES et al., 2013ACEBES, F. et al. Beyond Earned Value Management: a graphical framework for integrated cost, schedule and risk monitoring. Procedia - Social and Behavioral Sciences, v. 74, p. 181-189, mar. 2013.; BABAR; THAHEEM; AYUB, 2016BABAR, S.; THAHEEM, M. J.; AYUB, B. Estimated Cost at Completion: integrating risk into earned value management. Journal of Construction Engineering and Management, v. 143, n. 3, p. 04016104, 2016.). Já outros autores consideram que o índice de desempenho de custo (IDC) apresenta instabilidade no início e no fim do projeto (BUYSE; VANDENBUSSCHE; VANHOUCKE, 2009BUYSE, P.; VANDENBUSSCHE, T.; VANHOUCKE, M. Performance Analysis of Earned Value Management in the Construction Industry. Gent, 2009. 97 f. Dissertação (Mestrado em Economia) - Escola de Economia de Bedrijfskunde, Gent, 2009.). Alguns autores recomendam a utilização do sistema LPS (Last Planner System), que desenvolve uma abordagem baseada no planejamento da construção enxuta. Nessa abordagem o planejamento do controle da produção está dividido em três níveis: o planejamento de longo prazo, o planejamento de médio prazo e o planejamento de curto prazo. No planejamento de curto prazo a produção ocorre por meio de elaboração de planos semanais de produção, ligadas à execução dos itens no canteiro de obras (MOURA; FORMOSO, 2009MOURA, C. B.; FORMOSO, C. T. Análise Quantitativa de Indicadores de Planejamento e Controle da Produção: impactos do Sistema Last Planner e fatores que afetam a sua eficácia. Ambiente Construído, Porto Alegre, v. 9, n. 3, p. 57-74, jul./set. 2009.; KIM; BALLARD, 2001KIM, Y.-W.; BALLARD, G. Earned Value Method and Customer Earned Value. Journal of Construction Research, v. 3, n. 1, p. 55-66, 2001.; GRAU et al., 2014GRAU, D. et al. A Combined Planning and Controls Approach to Accurately Estimate, Monitor, and Stabilize Work Flow. In: COMPUTING IN CIVIL AND BUILDING ENGINEERING, Washington, 2014. Proceedings… Washington, 2014.; CÂNDIDO; LIMA; BARROS NETO, 2016CÂNDIDO, L. F.; LIMA, S. H. de O.; BARROS NETO, J. de P. Análise de Sistemas de Medição de Desempenho na Indústria da Construção. Ambiente Construído, Porto Alegre, v. 16, n. 2, p. 189-208, abr./jun. 2016.).

Netto (2015a)NETTO J. T. et al.Performance Monitoring Using EVM Indicator: a study case of construction projects in the public sector in Brazil. Sistemas & Gestão, Niterói, v. 10, n. 1, p. 194-202, 2015a., em um estudo de caso do tipo exploratório que pesquisou cinco projetos de construção civil, por meio de entrevistas e análise documental, identificou benefícios relativos ao melhor controle do escopo, custo e comunicação, e o acompanhamento pela visualização gráfica da curva “S”, com a utilização da metodologia de EVM. Foi verificado ainda que a utilização do EVM pode ser realizada juntamente com outros indicadores, em especial indicadores que beneficiam os processos de curto prazo. Entretanto, observou-se que as empresas utilizam parcialmente a metodologia, pois seu uso completo é complexo, por envolver a integração dos processos de custo, escopo e prazo da obra. Foi observado também que as limitações em geral são desconhecidas pelas empresas e que uma melhor utilização da metodologia de valor agregado ocorre em equipes que tenham experiência em gestão de projetos e EVM. Observou-se ainda a necessidade de integração entre os setores de produção, financeiro e de gestão do empreendimento por meio de sistemas computacionais.

O presente artigo procura responder a algumas questões apresentadas pelos autores por meio da opinião de usuários que utilizam as ferramentas de gestão baseadas no valor agregado. A metodologia utilizada se encontra descrita na seção referente ao método de pesquisa.

Método de pesquisa

A pesquisa foi desenvolvida com base em uma sequência metodológica que se encontra descrita na Figura 3.

Figura 3
Sequência metodológica da pesquisa

As etapas da sequência metodológica da pesquisa se encontram descritas a seguir, de acordo com os itens definidos na Figura 3:

  1. Etapa 1 - Levantamento bibliográfico e revisão da literatura sobre os conceitos do EVM;

  2. Etapa 2 - Identificação das lacunas na utilização da metodologia do EVM, os fatores críticos com as limitações do uso do indicador e benefícios esperados em sua utilização;

  3. Etapa 3 - Formulação das hipóteses da pesquisa, variáveis, questionário e fontes de evidência da pesquisa;

  4. Etapa 4 - Survey com 106 respondentes;

  5. Etapa 5- Resultados e análise estatística; e

  6. Etapa 6 - Conclusão.

Na primeira etapa da pesquisa foi realizada a revisão de literatura sobre os conceitos do EVM e sobre sua utilização na indústria da construção civil. Na segunda etapa foram identificados os principais aspectos, que foram objeto de estudo desta pesquisa, ou seja, os benefícios para o projeto de construção, a existência de fatores críticos para sua utilização, a utilização parcial da metodologia, se a utilização do EVM depende do perfil da empresa e da equipe de projeto, e as limitações referentes à metodologia. Um resumo da revisão da literatura se encontra no Quadro 1. Na primeira coluna se encontra o título; na segunda coluna, a descrição; e na terceira coluna, os autores.

Quadro 1
Resumo da revisão da literatura

Após revisão da literatura foi feito o levantamento das hipóteses, que deverão ser validadas em estudo empírico (GIL, 2009GIL, A. Como Elaborar Projetos de Pesquisa. 4. ed. 12. reimpr. São Paulo: Atlas,2009.). As hipóteses da pesquisa procuraram consolidar os principais conceitos identificados na revisão da literatura e se encontram descritas no Quadro 2.

Quadro 2
Fundamentação teórica das hipóteses da pesquisa

A hipótese H1 procura identificar se a utilização do EVM cria valor (benefícios) para o projeto. Pretende-se com essa hipótese verificar se a utilização do valor agregado cria valor para o projeto e se há percepção da importância da utilização da análise de valor agregado para o desempenho do projeto. Na hipótese H2 o objetivo é identificar os principais fatores críticos para a efetiva utilização do EVM. Com a hipótese H3 tem-se por objetivo identificar se os usuários utilizam parcialmente o modelo teórico do EVM, identificando as ferramentas de gestão que são utilizadas, como cronograma, gestão de custos e critérios de medição. A hipótese H4 tem por objetivo verificar se a utilização do modelo do EVM depende do perfil da organização ou da equipe do projeto. Finalmente, com a hipótese H5 tem-se por objetivo verificar se os usuários conhecem as limitações do EVM.

Após a construção das hipóteses, definiu-se um conjunto de variáveis para cada hipótese. Segundo Bacharach (1989)BACHARACH, S. B. Organizational Theories: some criteria for evaluation. Academy of Management Review, v. 14, n. 4, p. 406-515, 1989., variáveis são unidades observadas, enquanto os constructossão unidades aproximadas que, por sua simples natureza, não podem ser observadas diretamente. No Quadro 3 são definidos os constructos e as variáveis da pesquisa.

Quadro 3
Conjunto de constructos e variáveis da pesquisa

As variáveis da pesquisa se encontram descritas no Quadro 3. As variáveis foram escolhidas com o objetivo de validar cada hipótese descrita na pesquisa. Com o objetivo de verificar a validade delas foi construído um questionário para validar cada variável. O questionário foi desenvolvido pelo software Typeform®, disponibilizado na internet por 4 meses. Foi enviado e-mail para 350 pessoas entre analistas e gerentes de planejamento da construção com o link do formulário, em uma amostra por conveniência (FARROKHI; HAMIDABAD, 2012FARROKHI, F.; HAMIDABAD, A. M. Rethinking Convenience Sampling: defining quality criteria. Theory and Practice in Language Studies, v. 2, n. 4, p. 784-792, apr. 2012.), devido a disponibilidade de tempo, fácil acesso e desejo de participar da pesquisa, tendo sido recebidas respostas completas de 106 pessoas de diversas organizações do setor de construção civil, que não foram identificadas nem quantificadas. A identificação do usuário e sua empresa, em geral, não é realizada para aumentar a taxa de resposta (COUPER, 2000COUPER, M. P. Web Surveys: a review of issues and approaches. The Public Opinion Quarterly, v. 64, n. 4, p. 464-494, 2000.). Apesar de não se conhecerem a empresa e a identificação do usuário, buscou-se conhecer o perfil deste, de forma a possibilitar a validação das hipóteses da pesquisa, buscando-se diferentes empresas por meio de uma lista pré-selecionada e optando-se por uma seleção implícita dos respondentes. A seleção implícita do usuário medianteo envio de e-mail garante a não identificação do usuário e as características da amostra por meio de usuários pré-selecionados (STANTON; ROGELBERG, 2001STANTON, J. M.; ROGELBERG, S. G. Using Internet/Intranet Web Pages to Collect Organizational Research Data. Organizational Research Methods, v. 4, n. 3, p. 200-217, 2001.).O questionário esteve disponível por aproximadamente 4 meses, e o retorno de aproximadamente 30% dos entrevistados foi considerado bom para esse tipo de instrumento, que, segundo o autor (GALAN; VERNETTE, 2000GALAN, J. P.; VERNETTE, E. Versune 4èmè Génération: les études de marché on-line. Revue Décisions Marketing, n. 19, p. 39-52, jan./abr. 2000.), costuma ser de até 5%. O questionário se encontra no Quadro 4; as questões de 1 a 8 se referem ao perfil da empresa; as questões de 9 a 13 se referem à hipótese H1 e procuram avaliar se o EVM cria valor; as questões de 14 a 18 se referem à hipótese H2 e procuram avaliar se existem fatores críticos para a utilização do EVM; a questão 19 se refere à hipótese H3; a hipótese H4 foi obtida com o cruzamento do perfil das organizações com as respostas da questão 19 referentes às etapas e ferramentas do EVM utilizadas; e finalmente a questão 20 se refere à hipótese H5. As questões de 1 a 18 utilizaram a escala de Likert de 1 a 5, onde 1 é “discordo plenamente” e 5 é “concordo plenamente”. A escala Likert são ordinais que admitem operações matemáticas de frequência, contagem, mediana e moda (BARZILAI, 2001BARZILAI, J. On the Foundations of Measurement. In: IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, Tucson, 2001. Proceedings… Tucson, 2001.). No entanto, apesar dessa observação, a execução de outras operações matemáticas com escalas ordinais é comum nas áreas de engenharia. O cálculo da média é admitida quando a escala de Likert é utilizada com um conjunto de variáveis combinadas para medir um comportamento (BOONE; BOONE, 2012BOONE, H. N.; BOONE, D. A. Analyzing Likert Data.Journal of Extension, v. 50, n. 2, p. 1-5, 2012.).

Quadro 4
Questionário utilizado na pesquisa

Ao construir um instrumento de pesquisa foi necessário verificar se ele era válido. De acordo com Hayes (1992, p. 57)HAYES, B. E. Measuring Customer Satisfaction. Milwaukee: Quality Press, 1992., a validade “[...] refere-se ao grau no qual as evidências suportam as inferências realizadas [...]”. A validação normalmente é feita considerando a validação de conteúdo e a validação de constructo (NUNNALLY, 1967NUNNALLY, J. C. Psychometric Theory. New York: McGraw-Hill, 1967., p. 75). A validação do conteúdo foi garantida nesta pesquisa por meio de estudos teóricos comprovados na literatura. A validade do constructo foi verificada pelo valor do Alfa de Cronbach (HAYES, 1992HAYES, B. E. Measuring Customer Satisfaction. Milwaukee: Quality Press, 1992.), que demonstra quão alto é o inter-relacionamento entre os itens do questionário. Valores de Alfa de Cronbach superiores a 0,70 indicam que as variáveis que os compõem estão correlacionadas. Entretanto, observa-se que são preferidos valores de alfa entre 0,80 e 0,90 (STREINER, 20031 1 STREINER, D. L. Being Inconsistent ABOUT consistency: when coefficient alpha does and doesn´t matter. Journal of Personality Assessment, v. 80, p. 217-222, 2003. apudALMEIDA; SANTOS; COSTA, 2010ALMEIDA, D.; SANTOS, M. A. R. dos; COSTA, A. F. B. Aplicação do Coeficiente Alfa de Cronbach nos Resultados de Um Questionário Para Avaliação de Desempenho da Saúde Pública. In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO, 30., São Carlos, 2010. Anais... Rio de Janeiro: Abepro, 2010.). Dessa maneira, após garantir a confiabilidade dos dados, o teste de esferacidade de Bartlett e o critério de Kaiser-Meyer-Olkin (KMO) foram realizados nesta pesquisa (HAYES, 1992HAYES, B. E. Measuring Customer Satisfaction. Milwaukee: Quality Press, 1992.); e o teste de esfericidade de Bartlett (HAIR et al., 2005HAIR, J. et al. Análise Multivariada de Dados. 5. ed. Porto Alegre: Bookman, 2005.), que verifica se a aplicação da análise fatorial tem validade para as variáveis escolhidas. O KMO deverá ter valores maiores que 0,5. Já o teste de esfericidade de Bartlett é usado para examinar a hipótese de que as variáveis não sejam correlacionadas na população; se o P-valor é menor que 0,05, rejeita-se a hipótese (FIELD, 2013FIELD, A. Discovering Statistics Using IBM SPSS Statistics. Thousand Oaks: Sage, 2013.). Para a interpretação das cargas encontradas foi utilizada a primeira sugestão de Hairet al.(2005)HAIR, J. et al. Análise Multivariada de Dados. 5. ed. Porto Alegre: Bookman, 2005., a qual considera significativos os carregamentos superiores a 0,50.

Para analisar a hipótese H4 foi utilizado um teste de hipótese baseado no teste do Qui-quadrado (X2), tendo em vista que ele serve para comparar dados de duas distribuições. Partiu-se do princípio de que os resultados obtidos por meio de amostras nem sempre concordam exatamente com os dados teóricos encontrados. Buscou-se, então, um teste que pudesse verificar até que ponto as frequências observadas diferem de modo significativo das esperadas. O teste do X2 foi escolhido porque o objetivo foi verificar a aderência das hipóteses apresentadas. Segundo Valentin et al. (2010)VALENTIN, J. L. et al. Elementos de matemática e estatística. 2nd. ed. Rio de Janeiro: Fundação Cecierj, 2010., o teste Qui-quadrado serve para comparar uma distribuição de frequências observadas com uma distribuição de frequências teóricas. Esse tipo de teste é chamado de prova de aderência ou prova de independência.

Resultados

Os resultados da pesquisa foram obtidos a partir do questionário que se encontra no apêndice, sendo os dados analisados estatisticamente pelo software IBM SPSS Statistics 21® (FIELD, 2013FIELD, A. Discovering Statistics Using IBM SPSS Statistics. Thousand Oaks: Sage, 2013.). Os resultados correspondentes aos constructos H1 e H2 foram obtidos a partir do mesmo conjunto de dados utilizando a escala de Likert, onde o grau 1 corresponde a “discordo plenamente” e o grau 5 corresponde a “concordo plenamente”.

Inicialmente, no constructo H1 foi verificado que menos de 2% dos pesquisados deixaram de responder à questão. Para avaliar a validade do constructo H1, foi inicialmente calculada a confiabilidade dos dados com base na inter-relação das variáveis que o compõem. O teste de Alfa de Conbrach calculado foi de 0,911,ou seja, maior que 0,8. Para garantir a confiabilidade dos dados, outros testes foram realizados. O resultado do teste de KMO foi de 0,887, o que mostra que a aplicação da análise fatorial tem validade para as variáveis escolhidas, pois gera fatores distintos e confiáveis. O teste de esfericidade de Bartlett teve o P-valor menor que 0,001, o que demonstra que as variáveis estão correlacionadas com a população. Dessa forma, a aplicação da análise de fator é adequada aos dados. Verificou-se, através da aplicação do critério de Kaiser, a extração de um único fator, cujo autovalor foi de 3,695, superior a 1,00. A matriz foi extraída apenas com um componente, e a solução não pode ser girada. Verificaram-se fatores de carregamento superiores a 0,50, o que permite concluir que os dados são confiáveis e válidos. Validados os dados da pesquisa, iniciou-se a análise dos resultados de H1, que se encontram consolidados na Tabela 1.

Tabela 1
Resultados da hipótese H1

A hipótese H1 procurou identificar se o EVM cria valor para o projeto em diferentes aspectos que compõem cada questão. O questionário dessa resposta baseou-se na escala de Likert, em que 1 representa “discordo” e 5 “concordo plenamente”. O valor da média foi calculado através da média ponderada (MP), obtida pela fórmula (Equação 3):

Eq. 3 MP = Σ 1 n F i × V i Σ 1 n V i

Onde:

Fi - frequência observada de cada resposta para cada item; e

Vi - valor de cada resposta.

Quanto mais próximo de 5 a MP estiver, maior será o nível de satisfação; e quanto mais próximo de 1, menor a satisfação. As variáveis com a maior média foram os objetivos do custo do projeto (H1.4), com a média de 3,78, seguida da definição de escopo e prazo (H1.3), com 3,75, antevisãodos objetivos de projeto (H1.5), com 3,66, e comunicação do projeto (H1.2), com 3,58. Para permitir uma melhor análise dos resultados, foi feita a tabulação dos dados com o percentual de respostas para cada variável da hipótese H1 em cada faixa de resposta da escala Likert (1, 2, 3, 4 e 5), obtendo-se a Figura 4.

Figura 4
Percentual de distribuição das respostas de H1

Observando-se a Figura 4, pode-se verificar que a maior parte dos respondentes utilizaram o valor de 4 (concordo) como resposta em todas as variáveis (H1.1 - 37%, H1.2 - 34%, H1.3 - 37%, H1.4 - 36% e H1.5 - 37%). Já na posição 5 (concordo plenamente), obtiveram os seguintes percentuais (H1.1 - 26%, H1.2 - 21%, H1.3 - 26%, H1.4 - 28% e H1.5 - 24%). A concordância em cada variável deve ser representada pela soma da posição 4 (concordo) e 5 (concordo plenamente). Com a soma obtiveram-se os seguintes valores (H1.1 Escopo- 63%, H1.2 Comunicação- 55%, H1.4Custo - 64%, H1.3Prazo - 63% e H1.5Antevisão de problemas - 61%). Os valores somados em cada variável foram superiores a 50%, o que permitir concluir que os usuários identificam benefícios na utilização do EVM na seguinte ordem: custo, 64%; prazo e escopo, 63%; antevisão de problemas no projeto, 61%; e comunicação, 55%.

A hipótese H2 buscou identificar os fatores críticos para a utilização do EVM. Em relação ao constructo H2 foi verificado que nenhum dos pesquisados deixou de responder à questão. Para avaliar a validade do constructo H2 foi inicialmente calculada a confiabilidade dos dados, que resultou no valor de 0,921, ou seja, maior que 0,8. Para garantir a confiabilidade dos dados, outros testes foram realizados. O resultado do teste de KMO foi de 0,891, o que demonstra a adequação da aplicação da análise fatorial. No teste de esfericidade de Bartlett o P-valor é menor que 0,001, o que demonstra que também essas variáveis estão correlacionadas com a população. Portanto, a análise de fator é adequada aos dados. Por sua vez, os fatores de carregamento de cada variável do constructo H2 também foram todos superiores a 0,50, o que permite concluir que os dados são confiáveis e válidos. A matriz foi extraída apenas com um componente, e a solução não pode ser girada. Os resultados das variáveis do constructo H2 se encontram resumidos na Tabela 2.

Tabela 2
Resultados da hipótese H2

Os fatores mais importantes para a utilização do EVM foram o treinamento (H2.2), com média de 4,01, seguido da maturidade da organização em projetos e EVM (H2.3),com média 4,0, a cultura da organização dos executivos seniores (H2.5), com média 4,0, o suporte da alta administração (H2.1), com média 3,95, e o uso de software integrado de gestão (H2.4), com média de 3,79. A hipótese H2 se mostrou verdadeira, uma vez que a média foi superior a 3,0 em todas as variáveis.

A hipótese H3 tem por objetivo identificar a utilização do modelo teórico do EVM. Os itens do modelo teórico que foram analisados foram cronograma, levantamento de custo, EAP, integração do custo ao cronograma, medição da realização das atividades, determinação dos critérios de medição, gráfico de curva “S”, indicador de custo (CPI), determinação de plano de contas, indicador de prazo (SPI), indicadores de previsão (forecast) e medição da realização dos itens. Para analisar a utilização do modelo teórico, buscou-se identificar quais itens da metodologia são utilizados com maior frequência. Para analisar a utilização do modelo teórico, foi utilizado a Figura 5.

Figura 5
Resultados da hipótese H3

Na Figura 5 encontram-se os resultados da utilização da metodologia, que foi agrupada em três categorias de utilização: básica, média e avançada. A utilização básica é aquela em que se utiliza EAP (B1), cronograma (B2) e plano de contas (B3). A utilização média é aquela que utiliza critérios de medição (M1), levantamento de custo (M2), integração do custo ao cronograma (M3) e medição da realização das atividades (M4). A utilização avançada é a que utiliza os gráficos da curva “S” (A1), indicadores de prazo (SPI), indicadores de custo (CPI) e indicadores de previsão (A4). As ferramentas de gestão são utilizadas nos seguintes percentuais: cronograma, 46%, seguida de levantamento de custo, 36%, EAP, 31%, integração de custo, 30%, medição da realização das atividades, 29%, determinação dos critérios de medição, 27%, gráfico de curva “S”, 22%, indicador de custo, 18%, indicador de prazo, 16%, e indicadores de previsão, 11%. Considerando-se o percentual em relação às categorias, são obtidos os seguintes percentuais: média, 43%, básica, 33%, e avançada, 24%. Pode-se considerar que apenas com a utilização avançada se utiliza completamente a metodologia, uma vez que os indicadores e gráficos de curva “S” permitem a análise da situação do projeto. Dessa maneira, a hipótese se mostrou verdadeira, uma vez que a metodologia completa (avançada) foi utilizada em uma proporção menor (24%) pelos entrevistados.

A hipótese H4 buscou identificar se a utilização do EVM depende do perfil da organização, ou seja, a utilização é analisada em relação ao perfil da empresa. O perfil das empresas foi agrupado da seguinte maneira: 1 - tipo da empresa (governo, privada); 2 - tamanho da empresa; 3 - experiência em gestão de projetos; e 4 - maturidade em gestão de projetos. Segundo o Sebrae (2017)SERVIÇO BRASILEIRO DE APOIO ÀS MICRO E PEQUENAS EMPRESAS. Critérios de Classificação das Empresas. Disponível em: <www.http://www.sebrae-sc.com.br/leis/default.asp?vcdtexto=4154>. Acesso em: 30 jun. 2017.
www.http://www.sebrae-sc.com.br/leis/def...
, no setor industrial as empresas podem ser classificadas por tamanho de acordo com o número de empregados, com a seguinte classificação: micro (até 20 empregados); pequena (20 a 100 empregados); média (100 a 500 empregados); e grande (acima de 500 empregados). Após o resultado da pesquisa identificaram-se apenas três microempresas. Segundo Valentin (2010, p.87)VALENTIN, J. L. et al. Elementos de matemática e estatística. 2nd. ed. Rio de Janeiro: Fundação Cecierj, 2010., frequências inferiores a 5 devem ser evitadas, por isso, neste artigo, as microempresas foram agrupadas às pequenas empresas e a divisão adotada foi: empresa pequena, até 20 funcionários; empresa média, de 20 a 500 funcionários; e empresa grande, acima de 500 funcionários.

A avaliação da hipótese H4 foi realizada por meio do cálculo do Qui-quadrado (X2) dos dados resultantes dos grupamentos em relação ao perfil do usuário. Os testes do fator X2 de correlação foram calculados para cada perfil considerando-se um percentual de aceitação de 95%. O teste realizado consiste em verificar se o valor calculado é maior que o valor tabelado (X2 calculado >X2 tabelado). Os dados resultantes se encontram resumidos na Tabela 3.

Tabela 3
Resultados da hipótese H4

Na Tabela 3 encontram-se os valores do teste do Qui-quadrado. Os testes foram realizados para cada perfil: P1 - tipo de empresa; P2 - tamanho da empresa; P3 - tempo de experiência; e P4 - maturidade em gestão de projetos. Verifica-se na Tabela 3 a correlação com os perfis dos entrevistados. Cada correlação foi verificada por meio do teste do Qui-quadrado (X2 calculado > X2 tabelado), sendo destacado com * (asterisco) o teste que não se mostrou verdadeiro, ou seja, que não apresenta correlação. Portanto, de acordo com os testes realizados, verificou-se que não existe correlação em relação ao tamanho da empresa; por outro lado, observa-se correlação em relação ao tipo da empresa, ao tempo de experiência e à maturidade em gestão de projetos.

Com o objetivo detalhar os resultados das variáveis do constructo H4 da pesquisa foi feito um gráfico com os valores em percentuais de cada ferramenta da metodologia de EVM, separadas por categorias (B - Básica, M - Média, A - Avançada), conforme segue: B.1 - EAP; B.2 -cronograma; B.3 - plano de contas; M.1 - determinação dos critérios de medição; M.2 - levantamento de custo; M.3 - integração de custo; M.4 - medição da realização das atividades; A.1 - gráfico de curva “S”; A.2 - indicador de prazo; A.3 - indicador de custo;e A.4 - indicador de previsão. A utilização das ferramentas que apresentaram correlação é analisada para cada perfil de empresa na Tabela 3, ou seja, tipo, tempo de experiência e maturidade de gestão de projetos. Nessa análise foram verificados, dos 106 respondentes, os seguintes totais por perfil: 1.1Governo - 54; 1.2 Privado - 52; 2.1 Tempo de experiência 0-5 anos - 39; 2.2 Tempo de experiência > 5 anos - 67; 3.1 - Baixa MGP - 67;e 3.2 Alta MGP - 39. Na análise da utilização das ferramentas foi priorizada a análise das ferramentas avançadas, uma vez que elas são as principais na utilização do EVM.

A análise foi realizada considerando o percentual de utilização por perfil. Na Figura 6 encontram-se resumidos os resultados da utilização das ferramentas em relação ao tipo de empresa.

Figura 6
Resultados da hipótese H4 em relação ao tipo da organização

A Figura 6 correlaciona os percentuais da utilização das ferramentas de gestão do EVM em relação ao tipo de empresa. Considerando-se o percentual em relação às categorias, são obtidos os seguintes percentuais para a categoria Governo: Básica (36%), Média (44%) e Avançada (20%); e para Privada: Básica (31%), Média (43%) e Avançada (26%). Isso permite concluir que as empresas do setor privado utilizam em maior percentual as ferramentas avançadas.

Para analisar a utilização do EVM em relação ao tempo de experiência foi construído a Figura 7.

Figura 7
Resultados da hipótese H4 em relação ao tempo de experiência

Analisando-se a Figura 7 observam-se os percentuais de utilização das ferramentas de gestão em relação ao tempo de experiência da equipe. Considerando-se o percentual em relação às categorias, são obtidos os seguintes percentuais para a categoria Tempo de experiência 0-5 anos: Básica (41%), Média (42%) e Avançada (17%); e para Tempo de experiência > 5 anos: Básica (30%), Média (44%) e Avançada (26%). Isso permite concluir que as equipes com maior experiência utilizam em maior percentual as categorias avançadas de ferramentas de EVM em relação às equipes de menor experiência.

Em relação à maturidade de gerenciamento de projetos foi construída a Figura 8.

Figura 8
Resultados da hipótese H4 em relação à maturidade de gestão de projetos

Na Figura 8 observa-se as organizações com alta maturidade de gestão de projetos (AMGP). Considerando-se o percentual em relação às categorias, são obtidos os seguintes percentuais para a categoria Baixa MGP: Básica (36%), Média (44%) e Avançada (20%); e para a Alta MGP: Básica (28%), Média (42%) e Avançada (30%). Isso permite concluir que as organizações com maior maturidade em gestão de projetos utilizam em maior percentual as ferramentas avançadas de EVM.

A hipótese H5 buscou identificar se as organizações conhecem as limitações em relação à utilização do EVM. As principais limitações do EVM encontradas estão representadas na Figura 9.

Figura 9
Resultados da hipótese H5

Na Figura 9 pode-se observar que a grande maioria dos respondentes, 60% das respostas, desconhece as limitações do EVM; 35% dos usuários conhecem as limitações do EVM em relação aos desvios dos resultados do indicador no início e ao fim do empreendimento; e apenas 5% dos usuários demonstram conhecer outras limitações do EVM. Os resultados das hipóteses se encontram resumidos no Quadro 5.

Quadro 5
Resumo dos resultados encontrados

Analisando-se os resultados do Quadro 4, observa-se na hipótese H1 que 64% dos usuários consideram a importância do EVM como ferramenta de gestão de custo e que 63%, de prazo. Entretanto, na hipótese H3 verifica-se que as equipes utilizam parcialmente as ferramentas de EVM. Pode-se observar grande importância pelos usuários na utilização do EVM, mas pouca utilização prática das ferramentas, o que indica uma possível inconsistência dos resultados. Entretanto, observa-se na hipótese H4 que a melhor utilização ocorre com equipes de maior experiência e maior maturidade de gestão de projetos. Foram identificados como os fatores de sucesso mais importantes (hipótese H2) o treinamento e a maturidade em gestão de projetos, o que leva a concluir que a pouca utilização das ferramentas se deve ao pouco conhecimento do usuário da metodologia de EVM.

Conclusão

Os objetivos da pesquisa foram avaliar as vantagens da utilização do EVM (hipótese H1), os fatores críticos de sucesso (hipótese H2) e a utilização da metodologia do EVM (hipótese H3), identificar se a utilização da metodologia do EVM depende do perfil da empresa ou dos usuários (hipótese H4) e, finalmente, se são conhecidasas limitações da metodologia do EVM (hipótese H5).

Em relação às vantagens da utilização do EVM (hipótese H1), verificou-se que a hipótese foi considerada verdadeira, o que permite concluir que os usuários identificaram benefícios em sua utilização em relação a: melhor controle custo, escopo e cronograma, possiblidade de antever problemas no projeto e melhoria na comunicação. No que diz respeito aos fatores críticos de sucesso (hipótese H2), pode-se observar que os respondentes identificaram os seguintes fatores de sucesso: necessidade de treinamento, seguido de maturidade da organização em projetos e EVM, cultura da organização dos executivos seniores, suporte da alta administração e uso de software integrado de gestão. Sob o aspecto da utilização da metodologia do EVM (hipótese H3), foi verificado que a maior parte dos usuários não utiliza a metodologia do EVM de maneira adequada. Em relação ao perfil dos usuários e organizações (hipótese H4), foi analisado o perfil das organizações em relação ao tipo (setor privado ou público), tamanho da empresa, tempo de experiência em gestão de projetos e maturidade em projetos. Observou-se que a utilização depende do perfil da empresa, sendo que empresas privadas, com equipes com maior tempo de experiência e com maior maturidade em gestão de projetos utilizam melhor a metodologia do EVM, não havendo relação com o tamanho da empresa. Sob o aspecto do conhecimento dos usuários em relação às limitações da metodologia (hipótese H5), verificou-se que a maior parte dos usuários desconhece tais limitações.

Esta pesquisa pode contribuir para o aspecto gerencial da construção na utilização do valor agregado em diferentes frentes. Em relação aos benefícios da metodologia se percebeu que os usuários identificaram benefícios em sua utilização principalmente em relação ao controle do custo, escopo e cronograma. Entretanto, foi constatado que a maior parte dos usuários utiliza apenas as ferramentas básicas de gestão e que os itens mais importantes da metodologia do EVM, como o gráfico da curva “S” e os indicadores de custo e prazo, são utilizados por poucos usuários. Os fatores críticos de sucesso destacados na pesquisa são treinamento, maturidade da organização em projetos, cultura da organização dos executivos seniores, suporte da alta administração e uso de software integrado de gestão, importantes na medida em que identificam onde está o foco do problema.

Outra contribuição do artigo se refere ao aspecto acadêmico, pois esta pesquisa verificou diferentes pontos de vista de autores sobre a utilização do valor agregado na construção. As diferentes opiniões foram resumidas em hipóteses, que, em sua maior parte, foram confirmadas por meio de dados quantitativos.

Por fim, observou-se que a utilização da metodologia de valor agregado é complexa, sendo necessários processos de gestão de projetos que ultrapassem o nível básico e médio, que é realizado pela maior parte dos respondentes da pesquisa. Portanto, os aspectos destacados por diferentes autores sobre os problemas na gestão da construção, como falhas de planejamento, informações incompletas sobre custos, falhas no controle de execução, falta de suporte da alta administração, falta de treinamento, falta de maturidade de gestão de projetos e ausência de um software integrado de gestão, foram confirmados nesta pesquisa e comprometem a utilização do valor agregado como instrumento de gestão. A pesquisa, por outro lado, não pôde se aprofundar sobre os aspectos das deficiências da metodologia, tendo verificado apenas que os usuários não conhecem, em sua maioria, as deficiências.

Novas pesquisas devem ser realizadas com o objetivo de avaliar as deficiências da metodologia do EVM em relação à integração da metodologia com os riscos em projetos, bem como modelos computacionais que possam permitir a melhor gestão e que evitem possíveis erros nas previsões de custo e prazo, de forma a auxiliar os gestores da área da construção civil.

  • 1
    STREINER, D. L. Being Inconsistent ABOUT consistency: when coefficient alpha does and doesn´t matter. Journal of Personality Assessment, v. 80, p. 217-222, 2003.

Referências

  • ACEBES, F. et al Beyond Earned Value Management: a graphical framework for integrated cost, schedule and risk monitoring. Procedia - Social and Behavioral Sciences, v. 74, p. 181-189, mar. 2013.
  • ALMEIDA, D.; SANTOS, M. A. R. dos; COSTA, A. F. B. Aplicação do Coeficiente Alfa de Cronbach nos Resultados de Um Questionário Para Avaliação de Desempenho da Saúde Pública. In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO, 30., São Carlos, 2010. Anais... Rio de Janeiro: Abepro, 2010.
  • AMERICAN NATIONAL STANDARDS INSTITUTE/ELECTRONIC INDUSTRIES ASSOCIATION. Earned Value Management systems: ANSI/EIA-748. Arlington, 2013.
  • ARROTÉIA, A. V.; AMARAL, T. G.; MELHADO, S. B. Gestão de Projetos e Sua Interface Com o Canteiro de Obras Sob a Ótica da Preparação da Execução de Obras (PEO). Ambiente Construído, Porto Alegre, v. 14, n. 4, p. 183-200, out./dez. 2014.
  • AZEVEDO, R. C. et alAvaliação de Desempenho do Processo de Orçamento: estudo de caso em uma obra de construção civil. Ambiente Construído, v. 11, n. 1, p. 85-104, jan./mar. 2011.
  • BABAR, S.; THAHEEM, M. J.; AYUB, B. Estimated Cost at Completion: integrating risk into earned value management. Journal of Construction Engineering and Management, v. 143, n. 3, p. 04016104, 2016.
  • BACHARACH, S. B. Organizational Theories: some criteria for evaluation. Academy of Management Review, v. 14, n. 4, p. 406-515, 1989.
  • BARZILAI, J. On the Foundations of Measurement. In: IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, Tucson, 2001. Proceedings… Tucson, 2001.
  • BOONE, H. N.; BOONE, D. A. Analyzing Likert Data.Journal of Extension, v. 50, n. 2, p. 1-5, 2012.
  • BUYSE, P.; VANDENBUSSCHE, T.; VANHOUCKE, M. Performance Analysis of Earned Value Management in the Construction Industry. Gent, 2009. 97 f. Dissertação (Mestrado em Economia) - Escola de Economia de Bedrijfskunde, Gent, 2009.
  • CÂNDIDO, L. F.; LIMA, S. H. de O.; BARROS NETO, J. de P. Análise de Sistemas de Medição de Desempenho na Indústria da Construção. Ambiente Construído, Porto Alegre, v. 16, n. 2, p. 189-208, abr./jun. 2016.
  • COSTA, D. B.; FORMOSO, C. T. Fatores-Chave de Sucesso Para Sistemas de Indicadores de Desempenho Para Benchmarking Colaborativo Entre Empresas Construtoras. Ambiente Construído, Porto Alegre, v. 11, n. 3, p. 143-159, jul./set. 2011.
  • COUPER, M. P. Web Surveys: a review of issues and approaches. The Public Opinion Quarterly, v. 64, n. 4, p. 464-494, 2000.
  • FARROKHI, F.; HAMIDABAD, A. M. Rethinking Convenience Sampling: defining quality criteria. Theory and Practice in Language Studies, v. 2, n. 4, p. 784-792, apr. 2012.
  • FIELD, A. Discovering Statistics Using IBM SPSS Statistics. Thousand Oaks: Sage, 2013.
  • FLEMING, Q. W.; KOPPELMAN, J. M. Earned Value: project management. 4. ed. Pennsylvania: PMI, 2010.
  • GALAN, J. P.; VERNETTE, E. Versune 4èmè Génération: les études de marché on-line. Revue Décisions Marketing, n. 19, p. 39-52, jan./abr. 2000.
  • GIL, A. Como Elaborar Projetos de Pesquisa. 4. ed. 12. reimpr. São Paulo: Atlas,2009.
  • GRAU, D. et al A Combined Planning and Controls Approach to Accurately Estimate, Monitor, and Stabilize Work Flow. In: COMPUTING IN CIVIL AND BUILDING ENGINEERING, Washington, 2014. Proceedings… Washington, 2014.
  • HAIR, J. et al Análise Multivariada de Dados. 5. ed. Porto Alegre: Bookman, 2005.
  • HAYES, B. E. Measuring Customer Satisfaction. Milwaukee: Quality Press, 1992.
  • HORSTMAN, A.; WITTEVEEN, W. Performance Indicators in the Best Value Approach. Journal for the Advancement of Performance Information & Value, v. 5, n. 2, 2013.
  • KERZNER, H. Gestão de Projetos: as melhores práticas. São Paulo: Bookman, 2016.
  • KIM, Y.-W.; BALLARD, G. Earned Value Method and Customer Earned Value. Journal of Construction Research, v. 3, n. 1, p. 55-66, 2001.
  • LIPKE, W. Is Something Missing From Project Management? Cross Talk, p. 17, 2013. Disponível em: <http://www.crosstalkonline.org/storage/issue-archives/2013/201307/201307-Lipke.pdf>. Acesso em: 10 jun. 2014.
    » http://www.crosstalkonline.org/storage/issue-archives/2013/201307/201307-Lipke.pdf
  • MARCO, A. de; NARBAEV, T. Earned Value-Based Performance Monitoring of Facility Construction Projects. Journal of Facilities Management, v. 11, n. 1, p. 69-80, 2013.
  • MOURA, C. B.; FORMOSO, C. T. Análise Quantitativa de Indicadores de Planejamento e Controle da Produção: impactos do Sistema Last Planner e fatores que afetam a sua eficácia. Ambiente Construído, Porto Alegre, v. 9, n. 3, p. 57-74, jul./set. 2009.
  • NARBAEV, T.; DE MARCO, A. An Earned Schedule-Based Regression Model to Improve Cost Estimate at Completion. International Journal of Project Management, v. 32, n. 6, p. 1007-1018, 2014.
  • NARBAEV, T.; DE MARCO, A. Combination of Growth Model and Earned Schedule to Forecast Project Cost at Completion. Journal of Construction Engineering and Management, v. 140, n. 1, p. 04013038, 2013.
  • NETTO J. T. et alPerformance Monitoring Using EVM Indicator: a study case of construction projects in the public sector in Brazil. Sistemas & Gestão, Niterói, v. 10, n. 1, p. 194-202, 2015a.
  • NETTO, J. T. et al Estudo Comparativo Entre as Práticas Empresariais e a Teoria de Gerenciamento por Valor Agregado: o caso da construção civil. Ambiente Construído, Porto Alegre, v. 15, n. 3, p. 145-160, jul./set. 2015b.
  • NUNNALLY, J. C. Psychometric Theory. New York: McGraw-Hill, 1967.
  • OLIVIERI, H.; GRANJA, A. D.; PICCHI, F. A. Planejamento Tradicional, Location-Based Management System e Last Planner System: um modelo integrado. Ambiente Construído, Porto Alegre, v. 16, n. 1, p. 265-283, jan./mar. 2016.
  • PRACTICE STANDARD FOR EARNED VALUE MANAGEMENT. Standard EVM. 2nd. ed. Newtown Square: PMI Publishing, 2011.
  • PROJECT MANAGEMENT INSTITUTE. A Guide to the Project Management Body of Knowledge. 5. ed. Newtown Square: PMI Publishing, 2013.
  • SERVIÇO BRASILEIRO DE APOIO ÀS MICRO E PEQUENAS EMPRESAS. Critérios de Classificação das Empresas. Disponível em: <www.http://www.sebrae-sc.com.br/leis/default.asp?vcdtexto=4154>. Acesso em: 30 jun. 2017.
    » www.http://www.sebrae-sc.com.br/leis/default.asp?vcdtexto=4154
  • SOLOMON, P. J. Performance-Based Earned Value® In: ANNUAL INTERNATIONAL SYMPOSIUM OF THE INTERNATIONAL COUNCIL ON SYSTEMS ENGINEERING, 15., Utrecht, 2005. Proceedings… Utrecht, 2005.
  • SONG, L. Earned Value Management: a global and cross-industry perspective on current EVM practice. Pennsylvania: Project Management Institute, 2010.
  • SOUZA, A. D. de; ROCHA, A. R. da C.; SANTOS, D. C. S. dos. A Proposal For the Improvement of Project's Cost Predictability Using Earned Value Management and Historical Data of Cost: an empirical study. International Journal of Software Engineering and Knowledge Engineering, v. 25, n. 1, p. 27-50, 2015.
  • STANTON, J. M.; ROGELBERG, S. G. Using Internet/Intranet Web Pages to Collect Organizational Research Data. Organizational Research Methods, v. 4, n. 3, p. 200-217, 2001.
  • STRATTON, R. W. The Earned Value Management Maturity Model. Oakland: Berret Koehler Publishers, 2006.
  • VALENTIN, J. L. et al Elementos de matemática e estatística. 2nd ed. Rio de Janeiro: Fundação Cecierj, 2010.
  • VALLE, J. A.; SOARES, C. A. P. The Use of Earned Value Analysis (EVA) in the Cost Management of Construction Projects. In: PMI GLOBAL CONGRESS EMEA, Pennsylvania, 2006. Proceedings… Pennsylvania, 2006.
  • VARGAS, R. V. Earned Value Analysis in the Control of Projects: success or failure?AACE International Transactions, v. 21, n. 4, p. 211-214, 2003.

Datas de Publicação

  • Publicação nesta coleção
    Oct-Dec 2018

Histórico

  • Recebido
    20 Maio 2017
  • Aceito
    01 Dez 2017
Associação Nacional de Tecnologia do Ambiente Construído - ANTAC Av. Osvaldo Aranha, 93, 3º andar, 90035-190 Porto Alegre/RS Brasil, Tel.: (55 51) 3308-4084, Fax: (55 51) 3308-4054 - Porto Alegre - RS - Brazil
E-mail: ambienteconstruido@ufrgs.br