Zero to Py A Comprehensive Guide to Learning the Python Programming Language Michael Green This book is for sale at http://leanpub.com/zero-to-py This version was published on 2023-02-20 This is a Leanpub book. Leanpub empowers authors and publishers with the Lean Publishing process. Lean Publishing is the act of publishing an in-progress ebook using lightweight tools and many iterations to get reader feedback, pivot until you have the right book and build traction once you do. © 2023 Michael Green Contents Zero to Py: A Comprehensive Guide to Learning the Python Programming Language . . . . . . . . . . . . . . . . . . . . . . . . 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 Part I: A Whirlwind Tour . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Chapter 0: System Setup . . . . . . . . . . . . . . . . . . . . . . . . . 3 Installing Python . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Python Versions . . . . . . . . . . . . . . . . . . . . . . . 4 Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 macOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 What’s in a PATH? . . . . . . . . . . . . . . . . . . . . . 6 Setting up your dev environment . . . . . . . . . . . . . . . 7 Running Python . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 A program that runs programs . . . . . . . . . . . . . 8 One interpreter, many modes . . . . . . . . . . . . . . 8 Chapter 1. Fundamental data types . . . . . . . . . . . . . . . . . . 11 But first, Variables . . . . . . . . . . . . . . . . . . . . . . . . . 11 Primitives and Containers . . . . . . . . . . . . . . . . . . . . 14 Mutability vs Immutability. . . . . . . . . . . . . . . . . . . . 15 Introduction to Python’s data types . . . . . . . . . . . . . . 15 Primitive Types . . . . . . . . . . . . . . . . . . . . . . . . 16 Booleans . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 CONTENTS Integers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 Floats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Complex . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Container Types . . . . . . . . . . . . . . . . . . . . . . . 20 Tuples and Lists . . . . . . . . . . . . . . . . . . . . . . 20 Dictionaries . . . . . . . . . . . . . . . . . . . . . . . . . 23 Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 Python Objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 References to Objects . . . . . . . . . . . . . . . . . . . . 27 Chapter 2. Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 Arithmetic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 Assignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 Packing operators . . . . . . . . . . . . . . . . . . . . . . 31 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 Logical . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 What is Truthy? . . . . . . . . . . . . . . . . . . . . . . . 36 Short-Circuits . . . . . . . . . . . . . . . . . . . . . . . . . 36 Logical Assignments . . . . . . . . . . . . . . . . . . . . 36 Membership . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 Bitwise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 Identity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 Chapter 3. Lexical Structure . . . . . . . . . . . . . . . . . . . . . . . 41 Line Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 Explicit and Implicit Line Joining . . . . . . . . . . . . . . . 43 Indentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Chapter 4. Control Flow . . . . . . . . . . . . . . . . . . . . . . . . . 46 if, elif, and else . . . . . . . . . . . . . . . . . . . . . . . . . 46 while . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 break . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 CONTENTS continue. . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 for . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 What is an Iterable? . . . . . . . . . . . . . . . . . . . . . 50 for/else and break . . . . . . . . . . . . . . . . . . . . . . . 51 Exception Handling. . . . . . . . . . . . . . . . . . . . . . . . . 53 raise from . . . . . . . . . . . . . . . . . . . . . . . . . . 56 else and finally . . . . . . . . . . . . . . . . . . . . . 56 match . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 type checking . . . . . . . . . . . . . . . . . . . . . . . . . 60 guards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 Or Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 as . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 Chapter 5. Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Function Signatures. . . . . . . . . . . . . . . . . . . . . . . . . 66 Explicitly positional/key-value. . . . . . . . . . . . . . 69 Default Values. . . . . . . . . . . . . . . . . . . . . . . . . 69 Mutable Types as Default Values . . . . . . . . . . . 70 Scope . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 Nested Scopes . . . . . . . . . . . . . . . . . . . . . . . . . 73 nonlocal and global . . . . . . . . . . . . . . . . . . . 74 Closures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 Anonymous Functions . . . . . . . . . . . . . . . . . . . . . . . 77 Decorators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 Chapter 6. Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 data types as classes. . . . . . . . . . . . . . . . . . . . . . . . . 84 __dunder__ methods . . . . . . . . . . . . . . . . . . . . . . . 85 The __init__ method . . . . . . . . . . . . . . . . . . . 85 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 Class Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 A Functional Approach . . . . . . . . . . . . . . . . . . . . . . 88 @staticmethod . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 CONTENTS @classmethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 Part II. A Deeper Dive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 Chapter 7. Expressions, Comprehensions, and Generators . . 92 Generator Expressions . . . . . . . . . . . . . . . . . . . . . . . 92 Generator Functions . . . . . . . . . . . . . . . . . . . . . . . . 93 yield from . . . . . . . . . . . . . . . . . . . . . . . . . . 94 List Comprehensions . . . . . . . . . . . . . . . . . . . . . . . . 95 Dictionary Comprehensions . . . . . . . . . . . . . . . . . . . 96 Expressions and the Walrus Operator. . . . . . . . . . . . . 96 Chapter 8. Python’s Built-in Functions . . . . . . . . . . . . . . . 97 Type Conversions . . . . . . . . . . . . . . . . . . . . . . . . . . 101 Mathematical Functions . . . . . . . . . . . . . . . . . . . . . . 104 all() and any() . . . . . . . . . . . . . . . . . . . . . . . . . . 106 dir() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 enumerate(). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 eval() and exec() . . . . . . . . . . . . . . . . . . . . . . . . 108 map() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 filter() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 input() and print() . . . . . . . . . . . . . . . . . . . . . . 110 open() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 range() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 sorted() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 reversed() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 zip() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 Chapter 9. The Python Data Model . . . . . . . . . . . . . . . . . . 115 Object Creation Using __new__ and __init__ . . . . . . 116 Singletons . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 Rich Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . 118 Operator Overloading . . . . . . . . . . . . . . . . . . . . . . . 120 String Representations . . . . . . . . . . . . . . . . . . . 123 CONTENTS Emulating Containers . . . . . . . . . . . . . . . . . . . . . . . 123 Emulating Functions . . . . . . . . . . . . . . . . . . . . . . . . 126 Using Slots. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 Customizing Attribute Access . . . . . . . . . . . . . . . . . . 127 Iterators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 Lazy Evaluation . . . . . . . . . . . . . . . . . . . . . . . 131 Context Managers . . . . . . . . . . . . . . . . . . . . . . . . . . 133 Descriptors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 Chapter 10. Concepts in Object-Oriented Programming . . . . 139 Inheritance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 Calling the Super Class using super() . . . . . . . . 141 Multiple Inheritance and Method Resolution Order 142 Encapsulation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 Polymorphism . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 Chapter 11. Metaclasses . . . . . . . . . . . . . . . . . . . . . . . . . 146 Chapter 12. The Data Types, Revisited. . . . . . . . . . . . . . . . 149 Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 Integers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 Bits and Bytes . . . . . . . . . . . . . . . . . . . . . . . . . 151 Floats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 Float Methods . . . . . . . . . . . . . . . . . . . . . . . . . 152 Hex Values . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . 153 Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 Split and Join . . . . . . . . . . . . . . . . . . . . . . . . . 153 Search and Replace . . . . . . . . . . . . . . . . . . . . . 154 Paddings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 Formatting . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 Translating . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . 157 Prefixes and Suffixes . . . . . . . . . . . . . . . . . . . . 158 CONTENTS Boolean Checks . . . . . . . . . . . . . . . . . . . . . . . . 159 Case Methods . . . . . . . . . . . . . . . . . . . . . . . . . 160 Encodings . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 Bytes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 Decoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 Hex Values . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 Tuples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 Lists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 Counting and Indexing . . . . . . . . . . . . . . . . . . . 164 Copying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 Mutations. . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 Orderings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 Dictionaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 Iter Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 168 Getter/Setter Methods . . . . . . . . . . . . . . . . . . . 169 Mutations. . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 Creating new Dictionaries . . . . . . . . . . . . . . . . 171 Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 Mutations. . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 Set Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 Boolean Checks . . . . . . . . . . . . . . . . . . . . . . . . 176 Copying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 Chapter 13. Type Hints . . . . . . . . . . . . . . . . . . . . . . . . . . 177 Incorporating Type Hints . . . . . . . . . . . . . . . . . . . . . 178 Union types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 Optional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 type|None . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 Literal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 Final . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 TypeAlias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 NewType . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 CONTENTS TypeVar. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 Protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 Runtime type checking . . . . . . . . . . . . . . . . . . . 191 Generics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 TypedDict . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 Chapter 14. Modules, Packages, and Namespaces . . . . . . . . 196 Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 Module Attributes . . . . . . . . . . . . . . . . . . . . . . 199 if __name__ == "__main__": . . . . . . . . . . . . 200 Packages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 Imports within packages . . . . . . . . . . . . . . . . . . 203 Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 Part III. The Python Standard Library . . . . . . . . . . . . . . . . . . 206 Chapter 15. Copy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 Chapter 16. Itertools . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209 Chaining Iterables . . . . . . . . . . . . . . . . . . . . . . . . . . 209 Filtering Iterables . . . . . . . . . . . . . . . . . . . . . . . . . . 210 Cycling Through Iterables . . . . . . . . . . . . . . . . . . . . 211 Creating Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . 212 Slicing Iterables . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 Zip Longest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 Chapter 17. Functools . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 Partials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 Pipes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 Caching. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 Dispatching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218 Chapter 18. Enums, NamedTuples, and Dataclasses . . . . . . . 218 Enums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 NamedTuples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 CONTENTS Dataclasses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 Chapter 19. Multithreading and Multiprocessing . . . . . . . . . 224 Multithreading . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 Thread Locks . . . . . . . . . . . . . . . . . . . . . . . . . 227 Multiprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . 230 Process and Pool . . . . . . . . . . . . . . . . . . . . . . . 230 Process Locks . . . . . . . . . . . . . . . . . . . . . . . . . 232 Pipes and Queues . . . . . . . . . . . . . . . . . . . . . . 233 concurrent.futures . . . . . . . . . . . . . . . . . . . . . . 235 Chapter 20. Asyncio . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 Coroutines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 Tasks and Task Groups . . . . . . . . . . . . . . . . . . . . . . 240 ExceptionGroup and Exception unpacking . . . . 241 Part VI. The Underbelly of the Snake . . . . . . . . . . . . . . . . . . . 244 Chapter 21. Debugging . . . . . . . . . . . . . . . . . . . . . . . . . . 244 pdb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245 Other Debuggers . . . . . . . . . . . . . . . . . . . . . . . . . . 251 Chapter 22. Profiling. . . . . . . . . . . . . . . . . . . . . . . . . . . . 254 cProfile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 flameprof . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 snakeviz. . . . . . . . . . . . . . . . . . . . . . . . . . . . 259 memory_profiler . . . . . . . . . . . . . . . . . . . . . . . . . 260 Chapter 23. C extensions . . . . . . . . . . . . . . . . . . . . . . . . . 261 Hello World . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 hello_world.c . . . . . . . . . . . . . . . . . . . . . . . 263 setup.py. . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 Passing data in and out of Python . . . . . . . . . . . . . . . 270 Memory Management . . . . . . . . . . . . . . . . . . . 274 Parsing Arguments . . . . . . . . . . . . . . . . . . . . . . . . . 275 Parsing Tuple Arguments . . . . . . . . . . . . . . . . . 275