Personal Tele-Embodiment by Eric John Paulos B.S. (University of California, Berkeley) 1991 M.S. (University of California, Berkeley) 1999 A dissertation submitted in partial satisfaction of the requirements for the degree of Doctor of Philosophy in Computer Science in the GRADUATE DIVISION of the UNIVERSITY of CALIFORNIA at BERKELEY Committee in charge: Professor John Francis Canny, Chair Professor James Anthony Landay Professor Gerald Mendelsohn Fall 2001 The dissertation of Eric John Paulos is approved: Chair Date Date Date University of California at Berkeley Fall 2001 Personal Tele-Embodiment Copyright Fall 2001 by Eric John Paulos 1 Abstract Personal Tele-Embodiment by Eric John Paulos Doctor of Philosophy in Computer Science University of California at Berkeley Professor John Francis Canny, Chair Humans live and interact within the real world but our current online world ne- glects this. This dissertation explores research into Personal Roving Presence (PRoP) sys- tems that provide a physical, independently mobile proxy, controllable over the internet that enables a new form of telepresence: tele-embodiment. Leveraging ofi of its physical presence in the remote space, PRoPs provide important human verbal and non-verbal com- munication cues. The ultimate goal is a computer mediated communication (CMC) tool for rich, natural human interaction beyond currently available systems. This dissertation examines the history of several such devices and their development, design, interface, and system architecture. We also investigate relevant social issues, evaluations of several user studies, and the role PRoPs will play in our future. 2 Professor John Francis Canny Dissertation Committee Chair iii For my loving parents, Martha and Jack Paulos iv Contents List of Figures ix List of Tables xii 1 Introduction 1 1.1 Thesis Statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 A Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3 Beyond Traditional Mediated Communication . . . . . . . . . . . . . . . . . 5 2 Motivation 7 3 Tele-embodiment 11 3.1 Telepresence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.1.1 Robotic Telepresence . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.1.2 Virtual Reality Telepresence . . . . . . . . . . . . . . . . . . . . . . . 13 3.1.3 Collaborative Work Telepresence . . . . . . . . . . . . . . . . . . . . 14 3.2 Telepresence and Immersion . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3.3 Human Centered Robotics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.4 Personal Telepresence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.5 Symmetry and Telepresence . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.6 Importance of the Physical Body . . . . . . . . . . . . . . . . . . . . . . . . 19 3.7 PRoPs and Tele-Embodiment . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4 Foundational Work 23 4.1 Mechanical Gaze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.1.1 Introduction to Mechanical Gaze . . . . . . . . . . . . . . . . . . . . 24 4.1.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 4.1.3 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 4.1.4 Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 4.1.5 Why Use Live Images? . . . . . . . . . . . . . . . . . . . . . . . . . . 28 4.1.6 Design Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 4.1.7 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 v 4.1.8 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.9 Robot Interface and Control . . . . . . . . . . . . . . . . . . . . . . . 33 4.1.10 System Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.1.11 Navigational Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.1.12 Usage Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.2 Legal Tender . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.2.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.2.2 Telepistemology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.2.3 Introduction to Legal Tender . . . . . . . . . . . . . . . . . . . . . . 46 4.2.4 Operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.2.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5 Related Work 53 5.1 Historical Telepresence Systems . . . . . . . . . . . . . . . . . . . . . . . . . 53 5.2 Telepresence and the World Wide Web . . . . . . . . . . . . . . . . . . . . . 54 5.2.1 Fixed Cameras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 5.2.2 Movable Cameras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 5.2.3 Robots on the Web . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 5.2.4 Mobile Robots on the Web . . . . . . . . . . . . . . . . . . . . . . . 58 5.3 Blimp Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 5.4 PRoP Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 5.5 Computer Mediated Communication . . . . . . . . . . . . . . . . . . . . . . 64 5.5.1 Tele-Tactile Experiences . . . . . . . . . . . . . . . . . . . . . . . . . 67 5.5.2 The Medium Is the Message . . . . . . . . . . . . . . . . . . . . . . . 67 5.5.3 Media Richness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5.5.4 Social Presence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 5.6 Social Psychology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 5.6.1 Trust and Persuasion Online . . . . . . . . . . . . . . . . . . . . . . 71 5.6.2 The Media Equation . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 5.6.3 Non-Verbal Communication . . . . . . . . . . . . . . . . . . . . . . . 73 5.7 Human-Centered Computing . . . . . . . . . . . . . . . . . . . . . . . . . . 73 6 Space Browsers 75 6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 6.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 6.3 Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 6.3.1 Realism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 6.3.2 Globally Accessible . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 6.3.3 Inexpensive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 6.4 Space Browsers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 6.4.1 Advantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 6.4.2 Disadvantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 6.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 6.6 The Future of Online Blimps . . . . . . . . . . . . . . . . . . . . . . . . . . 94 6.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 vi 7 PRoPs 101 7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 7.1.1 PRoP Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 7.1.2 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 7.2 What’s In a Name? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 7.3 History: Getting Here from There . . . . . . . . . . . . . . . . . . . . . . . 107 7.4 Early Prototypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 7.5 PRoP 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 7.5.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 7.5.2 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 7.5.3 Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 7.5.4 Disadvantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 7.6 PRoP 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 7.6.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 7.6.2 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 7.6.3 Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 7.6.4 Disadvantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 7.7 PRoP 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 7.7.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 7.7.2 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 7.7.3 Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 7.8 Compression: Making It Fit . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 7.8.1 H.323 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 7.8.2 H.261 verses H.263 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 7.8.3 Latency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 7.8.4 PRoP Compression . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 7.9 Designing Tele-embodiment: PRoP Architecture . . . . . . . . . . . . . . . 135 7.9.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 7.9.2 Physical Body . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 7.9.3 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 7.10 Elements of Tele-Embodiment . . . . . . . . . . . . . . . . . . . . . . . . . . 140 7.10.1 Two-way Audio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 7.10.2 Two-way Video . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 7.10.3 Mobility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 7.10.4 Directed Gaze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 7.10.5 Deictic Gesturing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 7.10.6 Re�exivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 7.10.7 Physical Appearance and Viewpoint . . . . . . . . . . . . . . . . . . 151 7.10.8 Browsing and Exploring . . . . . . . . . . . . . . . . . . . . . . . . . 153 7.10.9 Hanging Out . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 7.11 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 vii 8 Control, Navigation, Interface 159 8.1 Let’s Get Moving . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 8.2 Joystick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 8.3 Keyboard Shortcuts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 8.4 Sonar Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 9 Experiments and Evaluations 163 9.1 Experiment 1: Usability and Acceptance . . . . . . . . . . . . . . . . . . . . 164 9.1.1 Users . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 9.1.2 Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 9.1.3 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 9.1.4 Results and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 168 9.2 Experiment 2: Network Efiects . . . . . . . . . . . . . . . . . . . . . . . . . 171 9.2.1 Users . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 9.2.2 Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 9.2.3 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 9.2.4 Results and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 173 9.3 Experiment 3: Airport Traveler’s Survey . . . . . . . . . . . . . . . . . . . . 176 9.3.1 Users . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 9.3.2 Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 9.3.3 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 9.3.4 Results and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 179 9.4 Experiment 4: Student Group Study . . . . . . . . . . . . . . . . . . . . . . 182 9.4.1 Users . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 9.4.2 Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 9.4.3 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 9.4.4 Results and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 184 9.5 Experiment 5: Tele-Lecture . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 9.5.1 Users . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 9.5.2 Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 9.5.3 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 9.5.4 Results and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 186 9.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 10 Social Implications 189 10.1 Human Acceptance and Interaction . . . . . . . . . . . . . . . . . . . . . . . 189 10.2 Privacy and Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 10.3 Authenticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 10.4 Responsibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194 10.5 Intimacy, Trust, and Persuasion . . . . . . . . . . . . . . . . . . . . . . . . . 196 11 Future Work 199 11.1 Physical Design Improvements . . . . . . . . . . . . . . . . . . . . . . . . . 200 11.2 Force Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202 11.3 Haptic Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202