Comparable Corpora and Computer-assisted Translation To Elia Series Editor Narendra Jussien Comparable Corpora and Computer-assisted Translation Estelle Maryline Delpech Firstpublished2014inGreatBritainandtheUnitedStatesbyISTELtdandJohnWiley&Sons,Inc. Apart from any fair dealing for the purposes of research or private study, or criticism or review, as permittedundertheCopyright,DesignsandPatentsAct1988,thispublicationmayonlybereproduced, storedortransmitted,inanyformorbyanymeans,withthepriorpermissioninwritingofthepublishers, or in the case of reprographic reproduction in accordance with the terms and licenses issued by the CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the undermentionedaddress: ISTELtd JohnWiley&Sons,Inc. 27-37StGeorge’sRoad 111RiverStreet LondonSW194EU Hoboken,NJ07030 UK USA www.iste.co.uk www.wiley.com ©ISTELtd2014 TherightsofEstelleMarylineDelpechtobeidentifiedastheauthorofthisworkhavebeenassertedby herinaccordancewiththeCopyright,DesignsandPatentsAct1988. LibraryofCongressControlNumber:2014936484 BritishLibraryCataloguing-in-PublicationData ACIPrecordforthisbookisavailablefromtheBritishLibrary ISBN978-1-84821-689-1 PrintedandboundinGreatBritainbyCPIGroup(UK)Ltd.,Croydon,SurreyCR04YY Table of Contents ACKNOWLEDGMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi PART1.APPLICATIVEAND SCIENTIFICCONTEXT . . . . . . . . . . . . . 1 CHAPTER 1. LEVERAGING COMPARABLE CORPORA FOR COMPUTER- ASSISTEDTRANSLATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2. From the beginnings of machine translation to comparable corpora processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.1. Thedawnofmachinetranslation . . . . . . . . . . . . . . . . . . . 3 1.2.2. Thedevelopmentofcomputer-assistedtranslation . . . . . . . . . . 5 1.2.3. Drawbacksofparallelcorporaandadvantagesofcomparablecorpora 7 1.2.4. Difficultiesoftechnicaltranslation . . . . . . . . . . . . . . . . . . 9 1.2.5. Industrialcontext . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.3. Termalignmentfromcomparablecorpora: astate-of-the-art . . . . . . 15 1.3.1. Distributionalapproachprinciple . . . . . . . . . . . . . . . . . . . 15 1.3.2. Termalignmentevaluation . . . . . . . . . . . . . . . . . . . . . . . 18 1.3.3. Improvementandvariantsofthedistributionalapproach . . . . . . 20 1.3.4. Theinfluencedataandparametersonalignmentquality . . . . . . 28 1.3.5. Limitsofthedistributionalapproach . . . . . . . . . . . . . . . . . 30 1.4. CATsoftwareprototypeforcomparablecorporaprocessing . . . . . . 32 1.4.1. Implementationofatermalignmentmethod . . . . . . . . . . . . . 32 1.4.2. Terminologicalrecordsextraction . . . . . . . . . . . . . . . . . . . 36 vi ComparableCorporaandComputer-assistedTranslation 1.4.3. Lexiconconsultationinterface . . . . . . . . . . . . . . . . . . . . . 38 1.5. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 CHAPTER2.USER-CENTERED EVALUATIONOF LEXICONS EXTRACTEDFROMCOMPARABLE CORPORA . . . . . . . . . . . . . . . . . 41 2.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 2.2. Translationqualityevaluationmethodologies. . . . . . . . . . . . . . . 42 2.2.1. Machinetranslationevaluation. . . . . . . . . . . . . . . . . . . . . 42 2.2.2. Humantranslationevaluation . . . . . . . . . . . . . . . . . . . . . 46 2.2.3. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.3. Designandexperimentationofauser-centeredevaluation . . . . . . . 50 2.3.1. Methodologicalaspects . . . . . . . . . . . . . . . . . . . . . . . . . 50 2.3.2. Experimentationprotocol. . . . . . . . . . . . . . . . . . . . . . . . 54 2.3.3. Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.4. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 CHAPTER3.AUTOMATICGENERATIONOFTERM TRANSLATIONS . . . 67 3.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 3.2. Compositionalapproaches . . . . . . . . . . . . . . . . . . . . . . . . . 67 3.2.1. Compositionaltranslationprinciple . . . . . . . . . . . . . . . . . . 68 3.2.2. Polylexicalunitscompositionaltranslation . . . . . . . . . . . . . . 70 3.2.3. Monolexicalunitscompositionaltranslation . . . . . . . . . . . . . 75 3.2.4. Candidatetranslationfiltering . . . . . . . . . . . . . . . . . . . . . 81 3.3. Data-drivenapproaches . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 3.3.1. Analogy-basedtranslation . . . . . . . . . . . . . . . . . . . . . . . 85 3.3.2. Rewritingruleslearning . . . . . . . . . . . . . . . . . . . . . . . . 87 3.3.3. Dealingwithmorphologicalvariation . . . . . . . . . . . . . . . . . 88 3.4. Evaluationoftermtranslatorgenerationmethods . . . . . . . . . . . . 91 3.5. Researchperspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 PART2.CONTRIBUTIONSTOCOMPOSITIONALTRANSLATION . . . . . 99 CHAPTER4.MORPH-COMPOSITIONALTRANSLATION: METHODOLOGICALFRAMEWORK . . . . . . . . . . . . . . . . . . . . . . . 101 4.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 4.2. Morpho-compositionaltranslationmethod . . . . . . . . . . . . . . . . 101 4.2.1. Scientificpositioning . . . . . . . . . . . . . . . . . . . . . . . . . . 102 4.2.2. Definitionsandterminology . . . . . . . . . . . . . . . . . . . . . . 105 4.2.3. Underlyingassumptions . . . . . . . . . . . . . . . . . . . . . . . . 108 4.2.4. Advantagesoftheproposedapproachforprocessingcomparable corpora . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 4.3. Addressedissuesandcontributions . . . . . . . . . . . . . . . . . . . . 110 4.3.1. Generatingfertiletranslations . . . . . . . . . . . . . . . . . . . . . 110 Contents vii 4.3.2. Dealingwithdiversemorphologicalstructures . . . . . . . . . . . . 113 4.3.3. Candidatetranslationsranking . . . . . . . . . . . . . . . . . . . . . 116 4.4. Evaluationmethodology . . . . . . . . . . . . . . . . . . . . . . . . . . 117 4.4.1. Apriorireference . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 4.4.2. Aposteriorireference . . . . . . . . . . . . . . . . . . . . . . . . . . 120 4.5. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 CHAPTER5.EXPERIMENTALDATA . . . . . . . . . . . . . . . . . . . . . . . 123 5.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 5.2. Comparablecorpora . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 5.3. Sourceterms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 5.4. Referencedatafortranslationgenerationevaluation . . . . . . . . . . . 126 5.4.1. Apriorireference . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 5.4.2. Aposteriorireference . . . . . . . . . . . . . . . . . . . . . . . . . . 129 5.5. Translationrankingtrainingandevaluationdata . . . . . . . . . . . . . 131 5.6. Linguisticresources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 5.6.1. Generallanguagebilingualdictionary. . . . . . . . . . . . . . . . . 131 5.6.2. Thesaurus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 5.6.3. Boundmorphemestranslationtable . . . . . . . . . . . . . . . . . . 132 5.6.4. Lexiconforworddecomposition . . . . . . . . . . . . . . . . . . . 133 5.6.5. Morphologicalfamilies . . . . . . . . . . . . . . . . . . . . . . . . . 134 5.6.6. Dictionaryofcognates . . . . . . . . . . . . . . . . . . . . . . . . . 135 5.7. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 CHAPTER 6. FORMALIZATION AND EVALUATION OF CANDIDATE TRANSLATIONGENERATION . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 6.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 6.2. Translationgenerationalgorithm . . . . . . . . . . . . . . . . . . . . . . 139 6.2.1. Decomposition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 6.2.2. Translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 6.2.3. Recomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 6.2.4. Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 6.3. Morphologicalsplittingevaluation. . . . . . . . . . . . . . . . . . . . . 147 6.4. Translationgenerationevaluation . . . . . . . . . . . . . . . . . . . . . 148 6.4.1. Referencedataandevaluationmeasures . . . . . . . . . . . . . . . 148 6.4.2. Modelgenericityinfluence . . . . . . . . . . . . . . . . . . . . . . . 152 6.4.3. Linguisticresourcesinfluence . . . . . . . . . . . . . . . . . . . . . 156 6.4.4. Fallbackstrategyinfluence . . . . . . . . . . . . . . . . . . . . . . . 159 6.4.5. Fertiletranslationsinfluence . . . . . . . . . . . . . . . . . . . . . . 160 6.4.6. Popularsciencecorpusinfluence . . . . . . . . . . . . . . . . . . . 165 6.4.7. Qualitativeanalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 6.5. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 6.5.1. Findings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 6.5.2. Researchperspectives . . . . . . . . . . . . . . . . . . . . . . . . . . 176 viii ComparableCorporaandComputer-assistedTranslation CHAPTER 7. FORMALIZATION AND EVALUATION OF CANDIDATE TRANSLATION RANKING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 7.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 7.2. Rankingcriteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 7.2.1. Contextsimilarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 7.2.2. Candidatetranslationfrequency . . . . . . . . . . . . . . . . . . . . 180 7.2.3. Parts-of-speechtranslationprobability . . . . . . . . . . . . . . . . 180 7.2.4. Componentstranslationmode . . . . . . . . . . . . . . . . . . . . . 181 7.3. Criteriacombination. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 7.3.1. Valuestandardization . . . . . . . . . . . . . . . . . . . . . . . . . . 184 7.3.2. Linearcombination . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 7.3.3. Learning-to-rankmodel. . . . . . . . . . . . . . . . . . . . . . . . . 186 7.4. Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 7.4.1. Referencedataandevaluationmeasures . . . . . . . . . . . . . . . 187 7.4.2. Basesofcomparison . . . . . . . . . . . . . . . . . . . . . . . . . . 188 7.4.3. Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 7.5. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 7.5.1. Findings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 7.5.2. Researchperspectives . . . . . . . . . . . . . . . . . . . . . . . . . . 196 CONCLUSIONANDPERSPECTIVES . . . . . . . . . . . . . . . . . . . . . . . 199 PART3.APPENDICES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 APPENDIX1.MEASURES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 APPENDIX2.DATA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 APPENDIX3.COMPARABLE CORPORALEXICONS CONSULTATIONINTERFACE . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 LISTOFTABLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 LISTOFFIGURES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 LISTOFALGORITHMS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 LISTOFEXTRACTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 BIBLIOGRAPHY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277 INDEX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289 Acknowledgments IwouldliketogiveBéatriceDailleandEmmanuelMorinmydeepestthanksfor havingsupervisedandco-supervisedthisdoctoralresearch.Ifeltsohonoredtowork andlearnbytheirsides.Theybothhaveshownaneffectivecombinationofacademic rigorousness and pedagogy, which has helped me to progress over the past three years. Béatrice, thank you for suggesting this thesis to me – it was a very enriching experience.Manu,thanksagainforbeingtherewheneverIneededyou. IextendmywarmthankstoNabilHathout,ÉlisabethLavault-Olléon,Emmanuel Planas and Michel Simard for honoring me by attending my viva and being part of my committee in spite of their busy schedules. Their constructive comments were especiallyuseful.Iamgladtohaveprofitedfromsomanycomplementarypointsof viewonmywork.SpecialthankstoMichelSimardforcomingtoNantesalltheway fromCanada. I am particularly thankful to Emmanuel Planas, the former Scientific Director of Lingua et Machina, for trusting me and hiring me as a research engineer five years ago.Otherwise,Iwouldprobablynothavehadthechancetocarryoutadissertation withLINAortoworkonsuchafascinatingresearchsubjectwithinsuchastimulating industrialenvironment. Several people contributed to the work presented in this book. I would first like to thank Claire Lemaire from the University Stendhal in Grenoble, because she was an amazing colleague and co-doctoral candidate; and also for creating the resources forprocessingandassessingtheGermanlanguage.Thiswouldnothavebeenpossible withoutherandIamverythankful. IwouldalsoliketothankGeoffreyWilliamsandPierreZweigenbaumforagreeing tobeapartofmydoctoratemonitoringcommittee.Theirshrewdcommentsandadvice guidedmeintherightdirectionduringthisresearchproject.