OPTIMIZING THE HIGH DYNAMIC RANGE IMAGING PIPELINE by ˘ ¨ AHMET OGUZ AKYUZ M.S. UniversityofCentral Florida, 2005 B.S. MiddleEastTechnical University,2003 A dissertation submittedinpartialfulfillmentoftherequirements forthedegreeofDoctorofPhilosophy intheSchool ofElectrical Engineeringand ComputerScience intheCollegeofEngineeringand ComputerScience attheUniversityofCentral Florida Orlando,Florida Fall Term 2007 MajorProfessor: ErikReinhard c 2007 AHMETOG˘UZ AKYU¨Z (cid:13) ii ABSTRACT Highdynamicrange(HDR)imagingisarapidlygrowingfieldincomputergraphicsandimage processing. It allowscapture, storage, processing,and displayofphotographicinformationwithin ascene-referredframework. TheHDRimagingpipelineconsistsofthemajorstepsanHDRimage is expected to go through from capture to display. It involves various techniques to create HDR images,pixelencodingsandfileformatsforstorage,tonemappingfordisplayonconventionaldis- playdevicesanddirectdisplayonHDRcapablescreens. Eachofthesestageshaveimportantopen problems, which need to be addressed for a smoother transition to an HDR imaging pipeline. We addressedsomeoftheseimportantproblemssuchasnoisereductioninHDRimagery,preservation of color appearance, validation of tone mapping operators, and image display on HDR monitors. Theaimofthisthesisis thus,topresent ourfindingsand describetheresearch wehaveconducted withintheframework ofoptimizingtheHDRimagingpipeline. iii Tomy familywhoselove,support,and guidanceilluminatemy life. iv ACKNOWLEDGMENTS The first and foremost, I would like to thank to my advisor Dr. Erik Reinhard, for being an incredible mentor, having provided assistance in everything, regardless of being work related or not, and making me love being a researcher and doing research. I cannot put my gratitude into words,but merelythankhimforbeing alwaysthere. I am also grateful to Prof. Dr. Heinrich H. Bu¨lthoff and Prof. Dr. Charles E. Hughes, for creating me a unique opportunity to work in the Max Planck Institute for Biological Cybernetics inTu¨bingen. I was in no lack of advice either in Orlando or Tu¨bingen, thanks to the help and support of all the following people: Prof. Dr. Charles E. Hughes, Dr. Hassan Foroosh, Dr. Sumanta Pattanaik, Dr. Roland Fleming,Dr. Bernhard E. Riecke. Iappreciate thevaluabletimeyou allocatedforme. Finally, I would like to thank to my family, Didem, and all the great friends I met along the way, Murat Balcı, Faysal Bas¸c¸ı, KevinBoulanger, Martin Breidt, Narantuja Bujantogtoch,Franck Caniard, Mark Colbert, Elena Erbiceanu, Reinhard Feiler, Guillaume Francois, Pascal Gautron, ErumArifKhan, Saad MasoodKhan,MarioKleiner,Jaakko Konttinen,JaroslavKrivanek,Fatma Naso¨z, Kıvanc¸ O¨ner, Darshan Purandare, Musawir Ali Shah, Gautami Shirhatti, Thomas Tanner, Cengiz Terzibas¸, Hakan Terziog˘lu, and Harald Teufel. Your contributionsto my life and work are immeasurable. v TABLE OF CONTENTS LIST OFFIGURES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xii LIST OFTABLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xx CHAPTER 1 INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 AGlanceat theHDRIPipeline . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 ApplicationsofHDRI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.3 ASummary ofMyWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 CHAPTER 2 THE HDRIPIPELINE . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.1 HDRImageCreation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.1.1 MultipleExposuresTechnique . . . . . . . . . . . . . . . . . . . . . . . . 14 2.1.2 Camera Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.1.3 ExtensionsofMultipleExposureTechniques . . . . . . . . . . . . . . . . 23 2.1.4 Direct Capture ofHDR Data . . . . . . . . . . . . . . . . . . . . . . . . . 32 vi 2.1.5 HDR Generationby Rendering . . . . . . . . . . . . . . . . . . . . . . . . 34 2.1.6 HDR VideoCapture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 2.2 Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.2.1 TheRGBE format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.2.2 TheTIFF format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 2.2.3 TheOpenEXRformat . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 2.2.4 JPEG-HDR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 2.2.5 HDR VideoFormats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.3 ToneMapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.3.1 PhotographicToneReproduction . . . . . . . . . . . . . . . . . . . . . . 49 2.3.2 Gradient DomainCompression. . . . . . . . . . . . . . . . . . . . . . . . 53 2.3.3 Fast Bilateral FilteringforHDRCompression . . . . . . . . . . . . . . . . 54 2.3.4 Revised Tumblinand RushmeierOperator . . . . . . . . . . . . . . . . . . 56 2.3.5 ImageColorAppearance Model(iCAM) . . . . . . . . . . . . . . . . . . 58 2.3.6 HistogramAdjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.4 Display . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 2.4.1 LDR DisplayDevices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 2.4.2 HDR DisplayDevices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 vii CHAPTER 3 NOISE IN HDRIMAGING . . . . . . . . . . . . . . . . . . . . . . . . . 73 3.1 Sources ofNoise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 3.2 NoiseinHDR Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 3.3 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 3.4 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 3.5 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 3.6 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 3.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 CHAPTER 4 COLOR APPEARANCE IN HDRIMAGING . . . . . . . . . . . . . . . 97 4.1 ColorAppearance Phenomena . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 4.2 ColorAppearance Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 4.3 Colorin ToneReproduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 4.4 ImagePreparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 4.4.1 Calibrated Input Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 4.4.2 Uncalibrated InputData . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 4.5 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 4.6 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 4.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 viii CHAPTER 5 VALIDATION OFTONEREPRODUCTION OPERATORS . . . . . . . . 129 5.1 PreviousWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 5.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 5.3 ToneReproduction Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 5.4 ExperimentalDesign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 5.4.1 TheHDRInput Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 5.4.2 TheLDRReference Image . . . . . . . . . . . . . . . . . . . . . . . . . . 146 5.4.3 Tone-mapped Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 5.4.4 Stimuli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 5.4.5 Experimentalset-up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 5.4.6 Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 5.5 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 5.5.1 Scanlines nextto blackstripes . . . . . . . . . . . . . . . . . . . . . . . . 160 5.5.2 Scanlines nextto whitestripes . . . . . . . . . . . . . . . . . . . . . . . . 162 5.5.3 Scanlines from smoothregions . . . . . . . . . . . . . . . . . . . . . . . . 164 5.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 5.7 ComparisonwithPreviousWork . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 5.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 5.9 Participants’Instructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 ix CHAPTER 6 IMAGE DISPLAY ON HDRMONITORS . . . . . . . . . . . . . . . . . 176 6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 6.2 PreviousStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 6.3 ExperimentOne: HDRvs. LDR . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 6.3.1 Stimuli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 6.3.2 ExperimentalDesign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 6.3.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 6.4 ExperimentTwo: DynamicRangevs. Luminance . . . . . . . . . . . . . . . . . . 188 6.4.1 Stimuli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 6.4.2 ExperimentalDesign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 6.4.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 6.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 6.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 CHAPTER 7 CONCLUSIONS ANDFUTURE WORK . . . . . . . . . . . . . . . . . . 199 7.1 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 7.2 FutureWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 7.2.1 Direct Capture ofHDR ImageswithStandard DigitalCameras . . . . . . . 206 7.2.2 Accurate Characterization ofDynamicRange . . . . . . . . . . . . . . . . 207 x