Open Source Intelligence Methods and Tools A Practical Guide to Online Intelligence — Nihad A. Hassan Rami Hijazi Open Source Intelligence Methods and Tools A Practical Guide to Online Intelligence Nihad A. Hassan Rami Hijazi Open Source Intelligence Methods and Tools: A Practical Guide to Online Intelligence Nihad A. Hassan Rami Hijazi New York, USA Mississauga, Ontario, Canada ISBN-13 (pbk): 978-1-4842-3212-5 ISBN-13 (electronic): 978-1-4842-3213-2 https://doi.org/10.1007/978-1-4842-3213-2 Library of Congress Control Number: 2018948821 Copyright © 2018 by Nihad A. Hassan, Rami Hijazi This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part of the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation, broadcasting, reproduction on microfilms or in any other physical way, and transmission or information storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology now known or hereafter developed. Trademarked names, logos, and images may appear in this book. Rather than use a trademark symbol with every occurrence of a trademarked name, logo, or image we use the names, logos, and images only in an editorial fashion and to the benefit of the trademark owner, with no intention of infringement of the trademark. The use in this publication of trade names, trademarks, service marks, and similar terms, even if they are not identified as such, is not to be taken as an expression of opinion as to whether or not they are subject to proprietary rights. While the advice and information in this book are believed to be true and accurate at the date of publication, neither the authors nor the editors nor the publisher can accept any legal responsibility for any errors or omissions that may be made. The publisher makes no warranty, express or implied, with respect to the material contained herein. Managing Director, Apress Media LLC: Welmoed Spahr Acquisitions Editor: Susan McDermott Development Editor: Laura Berendson Coordinating Editor: Rita Fernando Cover designed by eStudioCalamar Cover image designed by Freepik (www.freepik.com) Distributed to the book trade worldwide by Springer Science+Business Media New York, 233 Spring Street, 6th Floor, New York, NY 10013. Phone 1-800-SPRINGER, fax (201) 348-4505, e-mail orders-ny@springer- sbm.com, or visit www.springeronline.com. Apress Media, LLC is a California LLC and the sole member (owner) is Springer Science + Business Media Finance Inc (SSBM Finance Inc). SSBM Finance Inc is a Delaware corporation. For information on translations, please e-mail [email protected], or visit www.apress.com/ rights-permissions. Apress titles may be purchased in bulk for academic, corporate, or promotional use. eBook versions and licenses are also available for most titles. For more information, reference our Print and eBook Bulk Sales web page at www.apress.com/bulk-sales. Any source code or other supplementary material referenced by the author in this book is available to readers on GitHub via the book's product page, located at www.apress.com/9781484232125. For more detailed information, please visit www.apress.com/source-code. Printed on acid-free paper To my mom, Samiha, thank you for everything. Without you, I'm nothing. —Nihad A. Hassan Table of Contents About the Authors ��������������������������������������������������������������������������������������������������xiii About the Technical Reviewer ���������������������������������������������������������������������������������xv Acknowledgments �������������������������������������������������������������������������������������������������xvii Introduction ������������������������������������������������������������������������������������������������������������xix Chapter 1: The Evolution of Open Source Intelligence ����������������������������������������������1 Open Source Information Categories ��������������������������������������������������������������������������������������������3 OSINT Types ����������������������������������������������������������������������������������������������������������������������������������5 Digital Data Volume �����������������������������������������������������������������������������������������������������������������������5 OSINT Organizations ���������������������������������������������������������������������������������������������������������������������6 Government Organizations ������������������������������������������������������������������������������������������������������7 Private Sector ��������������������������������������������������������������������������������������������������������������������������7 Gray Literature Vendors �����������������������������������������������������������������������������������������������������������8 Parties Interested in OSINT Information ��������������������������������������������������������������������������������������10 Government ���������������������������������������������������������������������������������������������������������������������������10 International Organizations ���������������������������������������������������������������������������������������������������11 Law Enforcement Agencies ���������������������������������������������������������������������������������������������������11 Business Corporations �����������������������������������������������������������������������������������������������������������12 Penetration Testers and Black Hat Hackers/Criminal Organizations �������������������������������������12 Privacy-Conscious People �����������������������������������������������������������������������������������������������������13 Terrorist Organizations ����������������������������������������������������������������������������������������������������������13 Information Gathering Types �������������������������������������������������������������������������������������������������������14 Passive Collection������������������������������������������������������������������������������������������������������������������14 Semipassive ��������������������������������������������������������������������������������������������������������������������������14 Active Collection ��������������������������������������������������������������������������������������������������������������������15 v Table of ConTenTs Benefits of OSINT ������������������������������������������������������������������������������������������������������������������������15 Challenges of Open Source Intelligence �������������������������������������������������������������������������������������16 Legal and Ethical Constraints �����������������������������������������������������������������������������������������������������17 Summary�������������������������������������������������������������������������������������������������������������������������������������18 Notes �������������������������������������������������������������������������������������������������������������������������������������������19 Chapter 2: Introduction To Online Threats and Countermeasures ��������������������������21 Online Threats �����������������������������������������������������������������������������������������������������������������������������22 Malware ���������������������������������������������������������������������������������������������������������������������������������22 Black Hat Hackers �����������������������������������������������������������������������������������������������������������������23 Pharming �������������������������������������������������������������������������������������������������������������������������������23 Phishing ���������������������������������������������������������������������������������������������������������������������������������24 Ransomware��������������������������������������������������������������������������������������������������������������������������27 Adware and Spyware�������������������������������������������������������������������������������������������������������������28 Trojan �������������������������������������������������������������������������������������������������������������������������������������29 Virus ��������������������������������������������������������������������������������������������������������������������������������������29 Worms �����������������������������������������������������������������������������������������������������������������������������������29 Scareware �����������������������������������������������������������������������������������������������������������������������������29 Rootkits ���������������������������������������������������������������������������������������������������������������������������������30 Juice Jacking ������������������������������������������������������������������������������������������������������������������������30 Wi-Fi Eavesdropping��������������������������������������������������������������������������������������������������������������30 Security Software �����������������������������������������������������������������������������������������������������������������������31 Antivirus ��������������������������������������������������������������������������������������������������������������������������������31 Firewall ����������������������������������������������������������������������������������������������������������������������������������32 Anti-malware �������������������������������������������������������������������������������������������������������������������������33 Securing the Operating System ��������������������������������������������������������������������������������������������������33 Hardening the Windows OS ���������������������������������������������������������������������������������������������������34 Staying Private in Windows 10 ����������������������������������������������������������������������������������������������39 Destroying Digital Traces �������������������������������������������������������������������������������������������������������41 General Privacy Settings �������������������������������������������������������������������������������������������������������������45 Covering Your Laptop Camera �����������������������������������������������������������������������������������������������45 Avoiding Pirated Software �����������������������������������������������������������������������������������������������������45 vi Table of ConTenTs Handling Digital Files Metadata ���������������������������������������������������������������������������������������������46 Physically Securing Computing Devices��������������������������������������������������������������������������������50 Online Tracking Techniques ���������������������������������������������������������������������������������������������������������52 Tracking Through IP Address �������������������������������������������������������������������������������������������������52 Cookies ����������������������������������������������������������������������������������������������������������������������������������55 Digital Fingerprinting �������������������������������������������������������������������������������������������������������������57 HTML5 �����������������������������������������������������������������������������������������������������������������������������������58 Checking Your Digital Footprint ���������������������������������������������������������������������������������������������58 Secure Online Browsing ��������������������������������������������������������������������������������������������������������������59 Configuring Firefox to Become More Private �������������������������������������������������������������������������59 Secure Online Communication ����������������������������������������������������������������������������������������������������64 VPN ����������������������������������������������������������������������������������������������������������������������������������������65 Proxies �����������������������������������������������������������������������������������������������������������������������������������66 DNS Leak Test ������������������������������������������������������������������������������������������������������������������������67 Online Anonymity ������������������������������������������������������������������������������������������������������������������������69 Using the TOR Network ����������������������������������������������������������������������������������������������������������69 Using the Tails OS and Other Security OSs ����������������������������������������������������������������������������76 Sharing Files Securely �����������������������������������������������������������������������������������������������������������77 Making Anonymous Payments ����������������������������������������������������������������������������������������������79 Encryption Techniques ����������������������������������������������������������������������������������������������������������������81 Securing Your Passwords ������������������������������������������������������������������������������������������������������81 Encrypting Your Hard Drive/USB Sticks ���������������������������������������������������������������������������������82 Cloud Storage Security ����������������������������������������������������������������������������������������������������������82 Secure E-mail Communications ��������������������������������������������������������������������������������������������83 Virtualization Technology ������������������������������������������������������������������������������������������������������������86 Android and iOS Emulator �����������������������������������������������������������������������������������������������������88 Essential Prerequisites����������������������������������������������������������������������������������������������������������������88 Drawing Software and Data Visualization������������������������������������������������������������������������������89 Free Translation Services ������������������������������������������������������������������������������������������������������92 Final Tips �������������������������������������������������������������������������������������������������������������������������������92 Summary�������������������������������������������������������������������������������������������������������������������������������������94 vii Table of ConTenTs Chapter 3: The Underground Internet ���������������������������������������������������������������������95 Layers of the Internet ������������������������������������������������������������������������������������������������������������������96 Darknet Users ���������������������������������������������������������������������������������������������������������������������������103 Accessing the Darknet ��������������������������������������������������������������������������������������������������������������104 Security Checks When Accessing the Darknet ��������������������������������������������������������������������104 Accessing the Darknet from Within the Surface Web ����������������������������������������������������������106 Using Tor �����������������������������������������������������������������������������������������������������������������������������������107 Using the Tails OS ���������������������������������������������������������������������������������������������������������������������109 Warning When Using the Tails OS ����������������������������������������������������������������������������������������114 Searching the Tor Network �������������������������������������������������������������������������������������������������������115 Other Anonymity Networks �������������������������������������������������������������������������������������������������������116 I2P ���������������������������������������������������������������������������������������������������������������������������������������117 Freenet ��������������������������������������������������������������������������������������������������������������������������������123 Going Forward ���������������������������������������������������������������������������������������������������������������������������123 Summary�����������������������������������������������������������������������������������������������������������������������������������124 Notes �����������������������������������������������������������������������������������������������������������������������������������������125 Chapter 4: Search Engine Techniques ������������������������������������������������������������������127 Keywords Discovery and Research �������������������������������������������������������������������������������������������129 Using Search Engines to Locate Information ����������������������������������������������������������������������������130 Google ���������������������������������������������������������������������������������������������������������������������������������130 Bing �������������������������������������������������������������������������������������������������������������������������������������138 Privacy-Oriented Search Engines ����������������������������������������������������������������������������������������140 Other Search Engines ����������������������������������������������������������������������������������������������������������141 Business Search Sites ���������������������������������������������������������������������������������������������������������142 Metadata Search Engines ����������������������������������������������������������������������������������������������������147 Code Search ������������������������������������������������������������������������������������������������������������������������150 FTP Search Engines �������������������������������������������������������������������������������������������������������������151 Automated Search Tools ������������������������������������������������������������������������������������������������������152 Internet Of Things (IoT) Device Search Engines ������������������������������������������������������������������153 Web Directories �������������������������������������������������������������������������������������������������������������������������154 viii Table of ConTenTs Translation Services ������������������������������������������������������������������������������������������������������������������156 Website History and Website Capture ���������������������������������������������������������������������������������������158 Website Monitoring Services ����������������������������������������������������������������������������������������������������160 RSS Feed �����������������������������������������������������������������������������������������������������������������������������162 News Search �����������������������������������������������������������������������������������������������������������������������������163 Customize Google News ������������������������������������������������������������������������������������������������������164 News Websites ��������������������������������������������������������������������������������������������������������������������166 Fake News Detection �����������������������������������������������������������������������������������������������������������166 Searching for Digital Files ���������������������������������������������������������������������������������������������������������170 Document Search ����������������������������������������������������������������������������������������������������������������170 Image �����������������������������������������������������������������������������������������������������������������������������������183 Video ������������������������������������������������������������������������������������������������������������������������������������191 File Extension and File Signature List ���������������������������������������������������������������������������������196 Productivity Tools�����������������������������������������������������������������������������������������������������������������196 Summary�����������������������������������������������������������������������������������������������������������������������������������201 Notes �����������������������������������������������������������������������������������������������������������������������������������������201 Chapter 5: Social Media Intelligence ��������������������������������������������������������������������203 What Is Social Media Intelligence? �������������������������������������������������������������������������������������������205 Social Media Content Types �������������������������������������������������������������������������������������������������206 Classifications of Social Media Platforms ���������������������������������������������������������������������������208 Popular Social Networking Sites �����������������������������������������������������������������������������������������210 Investigating Social Media Sites �����������������������������������������������������������������������������������������������211 Facebook �����������������������������������������������������������������������������������������������������������������������������211 Twitter ���������������������������������������������������������������������������������������������������������������������������������231 Google+ �������������������������������������������������������������������������������������������������������������������������������241 LinkedIn �������������������������������������������������������������������������������������������������������������������������������247 General Resources for Locating Information on Social Media Sites �����������������������������������������253 Other Social Media Platforms ���������������������������������������������������������������������������������������������������254 Pastebin Sites ���������������������������������������������������������������������������������������������������������������������������255 ix Table of ConTenTs Social Media Psychological Analysis ����������������������������������������������������������������������������������������256 Tone Analyzer ����������������������������������������������������������������������������������������������������������������������257 Watson Tone Analyzer ����������������������������������������������������������������������������������������������������������257 Facebook and Twitter Prediction �����������������������������������������������������������������������������������������258 Fake Sport ���������������������������������������������������������������������������������������������������������������������������258 Review Meta ������������������������������������������������������������������������������������������������������������������������258 TweetGenie ��������������������������������������������������������������������������������������������������������������������������258 Summary�����������������������������������������������������������������������������������������������������������������������������������258 Notes �����������������������������������������������������������������������������������������������������������������������������������������259 Chapter 6: People Search Engines and Public Records ����������������������������������������261 What Is a People Search Engine? ���������������������������������������������������������������������������������������������261 What Are Public Records? ���������������������������������������������������������������������������������������������������������262 Example of Public Records �������������������������������������������������������������������������������������������������������263 Searching for Personal Details ��������������������������������������������������������������������������������������������������264 General People Search ��������������������������������������������������������������������������������������������������������264 Online Registries �����������������������������������������������������������������������������������������������������������������268 Vital Records �����������������������������������������������������������������������������������������������������������������������269 Criminal and Court Search���������������������������������������������������������������������������������������������������272 Property Records �����������������������������������������������������������������������������������������������������������������273 Tax and Financial Records ���������������������������������������������������������������������������������������������������274 Social Security Number Search �������������������������������������������������������������������������������������������275 Username Check �����������������������������������������������������������������������������������������������������������������275 E-mail Search and Investigation ������������������������������������������������������������������������������������������275 Data Compromised Repository Websites �����������������������������������������������������������������������������277 Phone Number Search ���������������������������������������������������������������������������������������������������������279 Employee Profiles and Job Websites �����������������������������������������������������������������������������������280 Dating Website Search ��������������������������������������������������������������������������������������������������������281 Other Public Records �����������������������������������������������������������������������������������������������������������283 Summary�����������������������������������������������������������������������������������������������������������������������������������284 Notes �����������������������������������������������������������������������������������������������������������������������������������������284 x