Esta comunicação apresenta os resultados da definição e validação de medidas que visam auxiliar a autoria de aplicações hipermedia para o ensino.

Os resultados apresentados são parte do projeto de pesquisa SHAPE (Southampton Hypermedia Authoring Paradigm for Education). O objetivo deste projeto é auxiliar autores a devenvolverem aplicações hipermedia para o ensino que sejam de alta qualidade. As características de qualidade consideradas são o reuso de informações, a manutenção de aplicações e o esfôrço envolvido no projeto de desenvolvimento de uma aplicação hipermedia.

Na área de hipermedia há alguma literatura onde são propostas medições aplicadas à hipermedia, mas em geral as medidas apresentadas não têm sido validadas, o que limita bastante a sua aplicação.

As medidas propostas nesta comunicação foram desenvolvidas utilizando o paradigma Goal-Question-Metric (Basili et al. 94), e aderem à teoria de representação de medidas. Nesta comunicação nós descrevemos o desenvolvimento das medidas e os resultados de um estudo empírico quantitativo que compara dois sistemas de autoria de applicações hipermedia diferentes.

Consideramos o uso de medidas importante para três atividades básicas:

1. Compreender os processos de devenvolvimento e manutenção;
2. Controlar projetos de software;
3. Melhorar processos e produtos.

Medidas podem ser utilizadas para: i) suportar o planejamento de um projeto; ii) determinar os pontos fortes e fracos do processos e produtos atuais; iii) prover um ‘rationale’ para a adoção e o refinamento de técnicas; iv) avaliar a qualidade de processos e produtos específicos; iv) avaliar o progresso de um dado projeto durante o seu desenvolvimento; vi) aplicar uma ação corretiva baseada na avaliação efetuada; e, finalmente vii) avaliar o impacto da ação corretiva (Basili et al. 94).

Na seção 2 nós apresentaremos o projeto de pesquisa SHAPE; na seção 3 o primeiro estudo empírico para a validação das medidas propostas é descrito. A seção 4 descreve como os dados foram analisados e a seção 5 apresenta os resultados da avaliação dos dados. Finalmente, na seção 6 apresentam-se conclusões da comunicação e descreve-se sucintamente o trabalho futuro.

SHAPE (Mendes and Hall 97) é um projeto de pesquisa que está sendo executado na Universidade de Southampton, no Reino Unido. O objetivo do projeto é auxiliar autores de aplicações hipermedia para o ensino a desenvolverem suas aplicações com alta qualidade. As características de qualidade consideras no projeto SHAPE são: reusabilidade de informações, manutenibilidade de aplicações e o esfôrço de autoria envolvido no projeto de uma aplicação hipermedia para o ensino.

Estamos aplicando ao nosso trabalho os mesmos princípios já utilizados em diversos experimentos na área de Engenharia de Software (Basili and Reiter 81), (Basili and Weiss 84), (Basili and Rombach 88), (McDonell 91), (Basili et al. 94), (Harrison et al. 95), (Basili 96), (Briand et al. 96), (Daly 96), (Briand et al. 97). O trabalho aqui apresentado baseou-se no ‘framework’ para a definição e validação de medidas proposto por Fenton e Pfleeger (96), e também nas orientações fornecidas pelo projeto DESMET (Kitchenham 93), (Kitchenham 96).

Planejamos dois estudos empíricos dentro do projeto de pesquisa SHAPE: O primeiro compõe-se de uma avaliação quantitativa e o segundo compõe-se de uma avaliação tanto quantitativa quanto qualitativa. Na próxima seção descreveremos o primeiro projeto empírico.

A principal hipótese do primeiro estudo empírico é a seguinte:

1. A utilização de um servidor de ligações permite melhor manutenibilidade de aplicações e reuso de conteúdos do que ligações ‘embutidas’ em documentos hipermedia;
2. Ligações genéricas permitem melhor manutenibilidade de aplicações e reuso de conteúdos do que o conjunto equivalente de ligações ponto-a-ponto.

No sistema de autoria Microcosm uma ligação associa uma específica origem selecionada com o seu destino. As ligações podem ser específicas (ponto-a-ponto), locais or genéricas. Uma ligação local é válida em relação a qualquer ocorrência da seleção de origem num documento em particular. Na implementação padrão do Microcosm as âncoras associadas às ligações locais não são realçadas visualmente. Uma ligação genérica é válida em relação a qualquer ocorrência da seleção de origem em quaisquer documentos. Na implementação padrão do Microcosm as âncoras associadas às ligações genéricas também não são realçadas visualmente.

Optamos por comparar o sistema de autoria Microcosm ao Web porque ambos propõem diferentes e praticamente opostas formas de representação e gerenciamento das ligações e acreditamos que essas diferentes formas de representação e gerenciamento influenciem na autoria de aplicações hipermedia (Hill et al. 95). O sistema de autoria Microcosm é um ambiente aberto, caracterizado pela separação entre a strutura das ligações e o conteúdo. O sistema de autoria Web, por outro lado, oferece um simples modelo de ligações ponto-a-ponto, baseado em ligações ‘embutidas’ no conteúdo.

O primeiro estudo empírico foi um ‘survey’ onde questionários foram respondidos tanto por autores que haviam desenvolvido aplicações hipermedia para o ensino utilizando o sistema de autoria Microcosm quanto por autores que haviam desenvolvido aplicações hipermedia para o ensino utilizando o sistema de autoria Web. O uso de ‘surveys’ oferece as seguintes vantagens (Kitchenham 96):

1. Alcança muitos usuários;
2. Utiliza a experiência já existente;
3. Utiliza técnicas padrão de análise estatística;
4. Confirma se um efeito pode ser generalizado para vários projetos e/ou organizações.

Ambos os questionários possuem três partes: experiência, manutenibilidade, e reusabilidade. Para cada parte foram propostas perguntas com o obetivo de coletar os dados necessários à validação da medidas propostas e ao teste das hipóteses.

Para a elaboração das partes manutenibilidade e reusabilidade, consideramos possíveis tarefas envolvidas no desenvolvimento de aplicações hipermedia para o ensino.

Antes de enviarmos os questionários aos autores com experiência tanto no sistema de autoria Microcosm quanto no sistema de autoria Web, nós efetuamos um estudo piloto para que pudéssemos checar se os questionários estavam simples e adequados ao experimento. Estudos-piloto permitem que aprendamos a partir de erros cometidos sem que o experimento principal seja arruinado (Preece et al. 94). Através do ‘feedback’ recebido de colegas pudemos efetuar algumas mudanças nos questionários relativas a: perguntas ambíguas, tarefas muito complexas, definições existentes no apêndice dos questionários e número de perguntas.

Os dados coletados foram analisados através do uso de técnicas padrão de análise estatística. Para que determinássemos se dois grupos de questionários pertenciam a diferentes populações ou não, utilizamos o teste estatístico Kruskal-Wallis, com a=0,05 e a= 0,10. Através desse teste pudemos comparar os diferentes tipos de ligações e verificar se o tipo de ligação estava diretamente relacionado à manutenibilidade e reusabilidade.

Para que pudéssemos identificar a correlação entre as variáveis dependentes e independentes utilizamos o teste Gamma, com a= 0,10. Gamma é um teste que nos fornece em um único número a medida de existência, fôrça e direção do relacionamento entre duas variáveis (Healey 93).

Confirmamos estatisticamente que ambos os grupos possuíam níveis similares de experiência.

A tabela 1 mostra o percentual de uso de cada tipo de estrutura de aplicação (sequencial, hierárquica, rede). A arquitetura mais utilizada foi a hierárquica.

Encontramos uma diferença estatisticamente significante para um a=0.05 entre o número de ferramentas utilizadas pelos autores de aplicações com a Web e os autores de aplicações com o Microcosm. Os autores que desenvolveram aplicações com a Web utilizaram um número maior de ferramentas, como, por exemplo, editor de HTML, gerador de aplicações e software que auxilie na organização e gerenciamento de arquivos HTML. Os autores que desenvolveram aplicações com o Microcosm, por outro lado, mencionaram o uso de ferramentas como, por exemplo, editor de ligações, sistema de gerência de documentos e processador de textos.

Medimos as duas variáveis dependentes (duração e nível de dificuldade) utilizando um questionário com 15 tarefas incluídas. Para cada umas dessa tarefas, os autores deveriam responder qual o nível de dificuldade envolvido na execução da tarefa e o tempo de duração. As tarefas são descritas a seguir:

1. Encontrar ligações ‘dangling’ em documentos que possuem cinco ligações para outros documentos.
2. Exclusão de um documento que possui cinco ligações para outros documentos, sem deixar ligações ‘dangling’.
3. Adicionar um novo parágrafo no início de um documento que possui cinco ligações para outros documentos, garantindo que as ligações permaneçam intactas.
4. Modificar a âncora de origem de uma ligação.
5. Modificar o destino de uma ligação.
6. Destruir uma ligação.
7. Checar a existência de ligações ‘dangling’ ocasionada pela destruição de um documento que possuía duas ligações.
8. Ligar dez termos às suas descrições correspondentes, existentes em um glossário.
9. Copiar cinco documentos (cada um com duas ligações para outros documentos) para outra aplicação, mantendo todas as ligações anteriormente definididas.
10. Checar se um documento é parte de uma ilha.
11. Mover cinco documentos (cada um contendo cinco ligações) de um diretório para outro, mantendo as ligações intactas (válidas).
12. Mover cinco documentos (cada um com cinco ligações) da máquina A para a máquina B, mantendo todas as ligações intactas. Ambas máquinas possuem o mesmo sistema operacional.
13. Checar se há ilhas originadas pela desctruição de cinco ligações.
14. Ligar uma palavra que ocorre em cinco documentos (uma vez em cada um) a um mesmo documento-destino.
15. Copiar dentro da própria aplicação um documento que possui duas ligações, mantendo todas as ligações intactas.

Quando comparamos tarefas envolvendo ligações ponto-a-ponto em ambos os sistemas de autoria os resultados foram de que em 33% das respostas as medianas relativas ao nível de dificuldade foram menores para o Microcosm em em 46% das respostas a duração foi menor também para o Microcosm.

Em 46% das respostas a duração envolvida na execução de tarefas foi a mesma tanto para o Microcosm quanto para a Web. Porém, como já mencionado anteriormente, os autores de aplicações com a Web necessitaram de um número superior de ferramentas para que pudessem executar as tarefas em tempo similar àqueles que utilizaram o Microcosm.

Quando comparamos tarefas onde as ligações utilizadas foram ponto-a-ponto encontramos 8 respostas com uma diferença estatísticamente significativa. Quatro respostas foram a favor da Web e quatro foram a favor do Mircocosm. As medianas referentes às tarefas que envolveram ligações ponto-a-ponto em ambos sistemas de autoria e os correspondentes níveis de importância são apresentados na tabela 2:

As perguntas 5, 6, 14 e 15 representam tarefas simples, porém, para autores que utilizaram o Microcosm, todas envolvem a modificação da base de ligações, para que a informação relativa às ligações seja atualizada. Entendemos que esse é o provável motivo por que a dificuldade se mostrou superior para autores utilizando o Microcosm. Porém, mesmo com a dificuldade superior, não foram encontradas diferenças estatisticamente significativas ao compararmos a duração de tempo na execução das mesmas tarefas.

As perguntas de números 2 e 8 revelaram diferenças estatisticamente significativas na duração envolvida na execução das tarefas. A duração foi mais longa quando os autores utilizaram a Web. As perguntas de números 12 e 13 também revelaram diferenças estatisticamente significativas no nível de dificuldade envolvido na execução das tarefas. Novamente o nível de dificuldade foi superior para autores que utilizaram a Web. As perguntas de números 12 e 13 poderiam ser facilmente executadas (no Microcosm) utilizando-se, respectivamente, ligações genéricas e ligações locais.

Em 13 perguntas, autores que utilizaram o Microcosm, estimaram a duração e a dificuldade considerando a execução das mesmas tarefas utilizando tanto ligações ponto-a-ponto quanto ligações genéricas. Na tabela 3 comparamos as respostas fornecidas para ligações ponto-a-ponto utilizando a Web e ligações genéricas utilizando o Microcosm. Somente as perguntas onde ocorreram resultados estatisticamente significativos são mostradas na tabela 3:

Podemos perceber que em 62% das perguntas consideradas as ligações genéricas proporcionaram tanto um menor tempo quanto um menor nível de dificuldade para executar a tarefa.

A única pergunta (número 13) que possibilitou a comparação entre ligações locais e ponto-a-ponto mostrou uma diferença estatisticamente significativa favorável às ligações locais. As medianas e os níveis de importância correspondentes são apresentados na tabela 4:

Para três, das quatro variáveis independentes (tamanho da aplicação, conectividade, compactness e stratum), encontramos valores significantes de Z para as perguntas 9,14 e 15. Os resultados são apresentados na tabela 5:

O questionário não considerou o reuso de ligações, já que não faria sentido falar em reuso de ligações ponto-a-ponto na Web. Porém o reuso de ligações é um aspecto bastante importante no processo de reuso como um todo e consideramos que uma das vantagens de sistemas de autoria em que as ligações não estão ‘embutidas’ nos documentos é exatamente a flexibilidade de reuso de ligações que oferecem.

Apresentamos a proposta e a validação de medidas para a medição da manutenibilidade de aplicações e a reusabilidade de conteúdos em aplicações hipermedia para o ensino. Os resultados apresentados nesta comunicação são parte do projeto de pesquisa SHAPE.

As medidas propostas objetivam medir a manutenibilidade e reusabilidade em aplicações hipermedia para o ensino. Dessa forma, podemos comparar aplicações e definir ajustes a serem feitos a sistemas de autoria utilizados no desenvolvimento dessas aplicações.

Para que pudéssemos coletar os dados necessários ao nosso estudo empírico utilizamos questionários que foram enviados a autores com experiência de desenvolvimento no sistema de autoria Web ou Microcosm.

Os dados coletados mostraram evidência de que a representação das ligações e o tipo de ligação têm influeência sobre a manutenção e reuso.

Também encontramos alguma evidência de que o tamanho da aplicação, ‘compactness’ e ‘stratum’ também influenciam na manutenibilidade de aplicações hipermedia e reusabilidade de conteúdos.

Nosso próximo estudo empírico medirá o esfôrço envolvido no projeto de aplicações hipermedia para o ensino. A mesma aplicação será desenvolvida por dois grupos de estudantes: metade utilizará o sistema de autoria Web e o outro utilizará, além da Web, o Webcosm. O Webcosm é um software que permite a definição de tipos diferentes de ligações e permite que estas sejam sobrepostas aos documentos desenvolvidos em HTML. As aplicações serão estruturadas segundo os princípios da Teoria da Flexibilidade Cognitiva (Spiro et al. 95).

(Basili et al. 94) Basili, V., G. Caldiera and D. Rombach (1994) "The Goal Question Metric Approach", Encyclopedia of Software Engineering, Wiley .

(Basili and Rombach 88) Basili, V. R. and H. D. Rombach (1988) "Towards a Comprehensive Framework for Reuse: A Reuse-Enabling Software Evolution Environment", Technical Report CS-TR-2158, Dept. of Computer Science, University of Maryland, College Park, MD 20742, December.

(Berners-Lee et al. 94) Berners-Lee, T., R. Cailliau, a. Luotonen, H. Frystyk Nielsen, and A. Secret (1994) "The World Wide Web", Communications of the ACM, 37/8:76-82, August.

(Botafogo et al. 92) Botafogo, Rodrigo A., Ehud Rivlin, and Ben Shneiderman (1992) "Structural Analysis of Hypertexts: Identifying Hierarchies and Useful Metrics", ACM TOIS, 10/2:143-179.

(Briand et al. 96) Briand, L., C Bunse, J Daly, C Differding "An experimental comparison of the maintainability of OO and structured design documents", Proceedings of EASE, March.

(Briand et al. 97) Briand, L., P. Devandu, M. Melo (1997) "An Investigation into Coupling Measures for C++", in Proceedings of ICSE’97, Boston, MA, USA, pp: 412-421.

(Daly 96) Daly, J (1996) "Replication and a Multi-Method Approach to Empitical Software Engineering Research, PhD thesis, Department of Compyter Science, University of Strathclyde, Glasgow.

(Daskalantonakis 92) Daskalantonakis, Michael K. (1992) "A Practical View of Software Measurement and Implementation Experiences Within Motorola", IEEE Transactions on Software Engineering, 18(11):998-1010, November.

(Davis et al. 92) Davis, Hugh, Wendy Hall, Ian Heath, Gary Hill, and Rob Wilkings (1992) "Towards an Integrated Information Environment With Open Hypermedia Systems", Proceedings of the ACM Conference on Hypertext, Milan, Italy, pp. 181-190.

(Fenton and Pfleeger 96) Fenton, Norman E., and Shari Lawrence Pfleeger (1996) Software Metrics, A Rigorous & Practical Approach, Second Edition, PWS Publishing Company and International Thomson Computer Press, 2nd edition.

(Harrison et al. 95) Harrison, R., L. G. Samaraweera, M. R. Dobie, and P. H. Lewis (1995) "Estimating the quality of functional programs: an empirical investigation", Inf. Softw. Technol., 37/12: 701-707.

(Healey, 93) Healey, J. F. (1993), Statistics, a tool for social research, Wadsworth Publ.

(Hill et al. 95) Hill, Gary, Wendy Hall, D. De Roure, and L. Carr (1995) "Applying Open Hypertext Principles to the WWW", in Proceedings of the International Workshop on Hypermedia Design '95, Montpelier, France.

(Kitchecham, 93) Kitchenham, Barbara (1993) "DESMET METHODOLOGY: Guidelines for Evaluation Method Selection", DESMET Project Deliverable D2.3.1, The National Computing Centre Ltd, October 1993.

(Kitchenham, 96) Kitchenham, Barbara Ann (1996) "Evaluating Software Engineering Methods and Tool, Part 1: The Evaluation Context and Evaluation Methods", Software Engineering Notes, 21/1:11-15, January.

(McDonell, 91) MacDonell, S. G. (1991) "Rigor in Sofware Complexity Measurement Experimentation", in J. Systems Software, 16:141-149.

(Mendes and Hall 97) Mendes, M. Emilia X. and Wendy Hall (1997) "The SHAPE of Hypermedia Authoring for Education", to be published in Proceedings of ED-MEDIA & ED-TELECOM 97, Calgary, Canada.

(Spiro et al. 95) Spiro, Rand J., Paul J. Feltovich, Michael J. Jacobson, and Richard L. Coulson (1995) "Cognitive Flexibility, Constructivism, and Hypertext: Random Access Instruction for Advanced Knowledge Acquisition in Ill-Structured Domains", In L. Steffe & J. Gale (Eds.), Constructivism, Hillsdale, N.J.:Erlbaum.