Universidade Federal de Campina Grande Centro de Engenharia Elétrica e Informática Coordenação de Pós-Graduação em Informática MODELO DE ANÁLISE DE CONFLITOS EM DIÁLOGOS EM APRENDIZAGEM COLABORATIVA DAVID NADLER PRATA Tese submetida à Coordenação do Curso de Pós-Graduação em Ciência da Computação da Universidade Federal de Campina Grande - Campus I - como parte dos requisitos necessários para obtenção do grau de Doutor em Ciência da Computação. Área de Concentração: Ciência da Computação Linha de Pesquisa: Modelos Computacionais e Cognitivos Orientadores: Dr. Evandro de Barros Costa Dr. Ryan Shaun Joazeiro de Baker Campina Grande, Paraíba, Brazil © David Nadler Prata, 19 de Dezembro de 2008 2 DAVID NADLER PRATA MODELO DE ANÁLISE DE CONFLITOS EM DIÁLOGOS EM APRENDIZAGEM COLABORATIVA Curso de Doutorado em Ciência da Computação Dr. Evandro de Barros Costa Orientador - Instituto de Computação - UFAL Dr. Ryan Shaun Joazeiro de Baker Co-Orientador - Carnegie Mellon University Dra. Carolyn Penstein Rosé Carnegie Mellon University Dr. Guilherme Bittencourt Universidade Federal de Santa Catarina Dra. Germana M. da Nóbrega Universidade Católica de Brasília Dra. Joseana Macêdo Fechine Universidade Federal de Campina Grande Dr. Fred Freitas Universidade Federal de Pernambuco Campina Grande, 19 de Dezembro de 2008. 3 Dados de Catalogação C.XXX 2008 Prata, David Nadler Modelo de Análise de Conflitos em Diálogos em Aprendizagem Colaborativa / David Nadler Prata. - Campina Grande, 2008. 220 f. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Campina Grande, Centro de Engenharia Elétrica e Informática. Referências. Orientador: Prof. Dr. Evandro de Barros Costa e Prof. Dr. Ryan Shaun Joazeiro de Baker. 1. Aprendizagem Colaborativa. 2. Educação. 3. Inteligência Artificial. 4. Processamento de Linguagem Natural. 5. Avaliação. 6. Agentes. I. Título. CDU- XXX 4 RESUMO Estudantes necessitam não somente de habilidades cognitivas, mas também sociais que possam lhes permitir compartilhar o conhecimento em grupos de trabalho devido à complexidade das tarefas. Por sua vez, a comunicação bidirecional da Internet está possibilitando um meio efetivo para viabilizar novas formas de aprendizagem. Nesse cenário, há uma abrangente questão levantada que marcou o início dessa pesquisa de doutorado. Como avaliar em um ambiente de aprendizagem apoiado por computadores? A jornada para responder essa questão alcançou seu ponto máximo com o desenvolvimento de um modelo de análise de diálogos para ambientes de aprendizagem colaborativa apoiada por computadores. O trabalho se iniciou com uma pesquisa bibliográfica, análise crítica e entrevistas sobre a avaliação da aprendizagem do estudante. Um framework conceitual foi concebido considerando as teorias construtivistas e a função do professor como facilitador da aprendizagem. Foram conduzidos estudos de técnicas de inteligência artificial na educação e análise semântica de textos. A investigação em ambientes colaborativos de ensino/aprendizagem levou a um estudo sobre que tipo de interação pode melhorar a aprendizagem, dentro de uma tarefa de aprendizagem colaborativa, em termos dos efeitos dos atos da fala para o transmissor e receptor. Dentro da teoria Piagetiana, o conflito cognitivo de idéias entre estudantes é visto como benéfico para a aprendizagem. Quais os comportamentos interpessoais que levam a uma aprendizagem mais efetiva, porém, é um debate aberto, com algumas pesquisas argüindo que a cooperação é mais efetiva e outros argumentam que o conflito interpessoal é uma parte natural da aprendizagem colaborativa. O conflito interpessoal pode em alguns casos ser associado positivamente com aprendizagem. Os resultados obtidos sugerem uma conexão positiva entre conflito interpessoal e aprendizagem, indicando que o conflito interpessoal pode ter um lugar mais positivo na aprendizagem colaborativa do que muitos estudos contemporâneos sugerem. Os resultados foram obtidos de uma análise de protocolo em diálogos dentro de um ambiente de aprendizagem colaborativa, apoiada por computador, no domínio de frações em matemática. Para executar essa investigação, foi desenvolvido um modelo de 5 interação de diálogos. Esse modelo explora características da interação dos diálogos pela análise de falhas no conhecimento dos estudantes, e uma investigação das inter-relações entre conflitos cognitivos e sociais fundamentada nas teorias Piagetianas. O modelo é fundamentado nos atos da fala de Austin, combinado com a teoria de agentes BDI (Belief- Desire-Intention). O objetivo final desse modelo é avaliar a aprendizagem do estudante em ambientes colaborativos, por meio da inter-relação entre conflitos cognitivos e interpessoais, com a intenção de dar suporte aos agentes pedagógicos para intervir nos diálogos, mantendo a colaboração produtiva. Palavras-Chave: Avaliação e Acompanhamento, Análise Textual, Aprendizagem Colaborativa, Educação, Inteligência Artificial, Processamento de Linguagem Natural, Agentes 6 ABSTRACT Students not only must have cognitive skills, but also social ones that enable them to share knowledge in collaboration, due to the increasing complexity of the knowledge they must learn. The internet is transforming everything, including education. Given this situation, a question emerged that formed the doctoral project presented here: what is the difference between assessment in traditional classrooms and computer supported assessment for collaborative learning, and what student behaviors should be assessed in collaborative learning? Our efforts to answer this question led to a model of dialogue acts in Computer Supported Collaborative Learning (CSCL). The work started from a survey of student learning assessment in online collaborative learning. A framework was conceived, based on constructivist theories and the role of the teacher as a facilitator of the learning. Studies using techniques from artificial intelligence in education were conducted with collaborative learning software. The investigation of collaborative learning led to a study about what type of interaction could improve learning within a collaborative learning task, in terms of the effects of specific speech acts on both the actor and their collaborative partner. Within Piagetian theory, the cognitive conflict of ideas between students is seen as beneficial for learning. Which sorts of interpersonal behaviors lead to most effective learning, however, is open to debate, with some researchers arguing that cooperation is most effective and others arguing that interpersonal conflict is a natural part of collaborative learning. In this study, we investigate whether interpersonal conflict, particularly insults, can in some cases be associated with positive learning. Our results suggest a positive connection between interpersonal conflict and learning, indicating that interpersonal conflict may have a more positive place in collaborative learning than many contemporary accounts suggest. The results were obtained from a protocol analysis on dialogues within a CSCL environment in the mathematical domain of fractions. To perform this investigation we developed a model of dialogue interaction. The model is grounded on Austin’s speech acts model, 7 combined with Belief-Desire-Intention agency theory. This model explores dialogue interaction features by the analysis of the student’s acts, and an investigation of the interrelation between cognitive and social conflict of ideas based on Piagetian theory. The long-term goal of this model is to assess the student learning in a collaborative learning environment through the interrelation between interpersonal and cognitive conflicts, supporting the pedagogical agents in intervening in dialogue in order to keep collaboration productive. Keywords: CSCL, Education, Artificial Intelligence, NLP, Assessment, Agents 8 AGRADECIMENTOS Agradeço a Deus por me acompanhar nas minhas glórias e nas minhas desventuras e por remitir meus desacertos. Agradeço a minha família por sempre ter me provido, em quaisquer circunstâncias, com uma palavra de amor, de carinho, um sorriso no rosto, uma gargalhada gostosa. A minha querida mãe Marlene, meu querido pai Oscavo, minha querida irmã Mônica, meus queridos irmãos Renato e Rogério, a certeza de permanecermos unidos pelo simples prazer de estarmos juntos. Vocês sempre foram a minha maior fonte de sabedoria e alegria de viver. Aos meus amados filhos Brenda e Gabriel, que o meu amor por vocês esteja sempre em seus corações. Aos meus orientadores Evandro e Ryan, a minha gratidão por terem acreditado em nosso trabalho. Evandro, o final dessa jornada não teria chegado se não fosse sua paciência e insistência em acreditar que as coisas iriam acontecer quando eu tive minhas dúvidas. Ryan, inexplicável como as coisas acontecem quando têm que acontecer, fiquei impressionado com o trabalho que conseguimos desenvolver e com sua maneira humana de tratar as coisas. A special thanks to Carolyn Rosé for the opportunity that you gave me to spend some time at Carnegie Mellon University and to work with you and your work team. It was, of course, the best thing that happened to my professional carrier so far. Meus agradecimentos a Adriana e Maria Teresa, Jenny, Joshi, Rohit, Gahgene, Yi- Chia, Bob Hausmann e Pamela Jordan pelo apoio recebido durante minha permanência no exterior. Meus agradecimentos a Bernardo Lula, Walfredo Cirne, Edilson Ferneda, Wilbert, Aninha, Séfora, Andréa, Ig, Robério, Melchior, Sérgio Onofre, Sandro e Ricardo Rubens. 9 SUMÁRIO CAPÍTULO 1 - INTRODUÇÃO ................... 18 1.1. CONTEXTO E MOTIVAÇÃO .............................................................. 18 1.2. ESCOPO DA TESE .............................................................................. 21 1.3. OBJETIVOS DA PESQUISA ............................................................... 23 1.4. ABORDAGEM ADOTADA E RELEVÂNCIA ...................................... 23 1.5. ORGANIZAÇÃO DO DOCUMENTO................................................... 24 CAPÍTULO 2 – FUNDAMENTAÇÃO TEÓRICA ........................................................ 26 2.1. AVALIAÇÃO EM AMBIENTES DE APRENDIZAGEM APOIADOS POR COMPUTADORES ............................................................................ 26 2.1.1. PROBLEMATIZAÇÃO DA AVALIAÇÃO ON-LINE ................................................................ 28 2.1.2. REFLEXÕES NO DESENVOLVIMENTO DE UM AMBIENTE DE AVALIAÇÃO APOIADO POR COMPUTADORES .......................................................................................................................... 29 2.2. APRENDIZAGEM COLABORATIVA ................................................. 32 2.3. COMUNICAÇÃO ................................................................................. 33 2.3.1. DIÁLOGO..................................................................................... 34 2.3.1.1. ATOS DA FALA ................................................................................................................... 35 2.3.1.2. O ATO DE COOPERAÇÃO ................................................................................................. 35 2.3.1.3. NEGOCIAÇÃO ..................................................................................................................... 36 2.4. RESOLUÇÃO DE CONFLITO ............................................................. 37 2.4.1. O MODELO DE REFERÊNCIA ................................................................................................ 39 2.4.1.1. DEFININDO UM PROTOCOLO DE COMUNICAÇÃO ....................................................... 40 2.4.1.2. COLETANDO INFORMAÇÃO ............................................................................................ 40 2.4.1.3. ESTRUTURANDO OS PROBLEMAS ................................................................................. 41 2.5. ANÁLISE TEXTUAL: AVALIAÇÃO DA COMPOSIÇÃO DE TEXTOS 42 2.5.1. MOTIVAÇÃO ........................................................................................................................... 43 2.5.2. DOMÍNIO COGNITIVO X AFETIVO ....................................................................................... 44 2.5.3. AVALIAÇÃO FORMATIVA X SOMATIVA ............................................................................. 48 10 2.6. ONTOLOGIAS .................................................................................... 49 2.6.1. ORGANIZAÇÃO DIFERENTE X SIGNIFICADO DIFERENTE ............................................... 50 2.6.2. DIFERENTES TAXONOMIAS X DIFERENTES SIGNIFICADOS .......................................... 52 2.7. DISCUSSÃO ........................................................................................ 55 CAPÍTULO 3 – PESQUISAS EM AMBIENTES DE APRENDIZAGEM .......... 57 3.1. INTRODUÇÃO ................................................................................... 57 3.2. AMBIENTES DE AVALIAÇÃO APOIADOS POR COMPUTADORES57 3.2.1. AULANET ................................................................................................................................ 59 3.2.2. TELEDUC ................................................................................................................................. 60 3.2.3. BLACKBOARD ........................................................................................................................ 64 3.2.4. WEBCT .................................................................................................................................... 65 3.3. PESQUISAS EM ANÁLISE DA COMPOSIÇÃO DE TEXTOS ............. 67 3.3.1. Project Essay Grade (PEG) .................................................................................................. 67 3.3.2. Educational Testing Service (ETS I) .................................................................................. 68 3.3.3. E-rater ..................................................................................................................................... 68 3.3.4. C-rater ..................................................................................................................................... 69 3.3.5. Intelligent Essay Assessor (IEA)......................................................................................... 69 3.3.6. Bayesian Essay Test Scoring sYstem (BETSY) ................................................................. 70 3.3.7. Intelligent Essay Marking System (IEMS)......................................................................... 71 3.3.8. Automark ............................................................................................................................... 71 3.3.9. Schema Extract Analyze and Report (SEAR) .................................................................... 72 3.3.10. Paperless School Free-text Marking Engine (PS-ME) ................................................ 72 3.3.11. Análise das Pesquisas...................................................................................................... 73 3.4. Pesquisas em Diálogos de Aprendizagem Colaborativa ........... 75 3.4.1. Hipóteses Lenvantadas ........................................................................................................ 79 3.5. DISCUSSÃO ........................................................................................ 80 CAPÍTULO 4 – FRAMEWORK PARA CONSTRUÇÃO DE CONHECIMENTO ...... 84 4.1. INTRODUÇÃO ................................................................................... 84