Contents I Introducing Algorithmic Trading 1 1 Introduction to the Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1 Introduction to QuantStart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 What is this Book? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3 Who is this Book For? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.4 What are the Prerequisites? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.5 Software/Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.6 Book Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.7 What the Book does not Cover . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.8 Where to Get Help . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2 What Is Algorithmic Trading? . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.1 Advantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.2 Disadvantages. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.2 Scienti(cid:28)c Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3 Why Python? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.4 Can Retail Traders Still Compete? . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.4.1 Trading Advantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.4.2 Risk Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.4.3 Investor Relations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.4.4 Technology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 II Trading Systems 13 3 Successful Backtesting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.1 Why Backtest Strategies? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.2 Backtesting Biases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2.1 Optimisation Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2.2 Look-Ahead Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2.3 Survivorship Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.4 Cognitive Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.3 Exchange Issues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.3.1 Order Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.3.2 Price Consolidation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.3.3 Forex Trading and ECNs . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.3.4 Shorting Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.4 Transaction Costs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.4.1 Commission . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.4.2 Slippage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.4.3 Market Impact . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.5 Backtesting vs Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 4 Automated Execution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1 Backtesting Platforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1 2 4.1.1 Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.1.2 Research Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.1.3 Event-Driven Backtesting . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.1.4 Latency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.1.5 Language Choices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.1.6 Integrated Development Environments . . . . . . . . . . . . . . . . . . . . 24 4.2 Colocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 4.2.1 Home Desktop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 4.2.2 VPS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 4.2.3 Exchange . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 5 Sourcing Strategy Ideas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 5.1 Identifying Your Own Personal Preferences for Trading. . . . . . . . . . . . . . . 29 5.2 Sourcing Algorithmic Trading Ideas . . . . . . . . . . . . . . . . . . . . . . . . . 30 5.2.1 Textbooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 5.2.2 The Internet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 5.2.3 Journal Literature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 5.2.4 Independent Research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 5.3 Evaluating Trading Strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 5.4 Obtaining Historical Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 III Data Platform Development 39 6 Software Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 6.1 Operating System Choice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 6.1.1 Microsoft Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 6.1.2 Mac OSX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 6.1.3 Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 6.2 Installing a Python Environment on Ubuntu Linux . . . . . . . . . . . . . . . . . 42 6.2.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 6.2.2 NumPy, SciPy and Pandas . . . . . . . . . . . . . . . . . . . . . . . . . . 43 6.2.3 Statsmodels and Scikit-Learn . . . . . . . . . . . . . . . . . . . . . . . . . 44 6.2.4 PyQt, IPython and Matplotlib . . . . . . . . . . . . . . . . . . . . . . . . 44 6.2.5 IbPy and Trader Workstation . . . . . . . . . . . . . . . . . . . . . . . . . 45 7 Financial Data Storage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 7.1 Securities Master Databases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 7.2 Financial Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 7.3 Storage Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 7.3.1 Flat-File Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 7.3.2 Document Stores/NoSQL . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 7.3.3 Relational Database Management Systems. . . . . . . . . . . . . . . . . . 49 7.4 Historical Data Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 7.5 Data Accuracy Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 7.6 Automation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 7.7 Data Availability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 7.8 MySQL for Securities Masters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 7.8.1 Installing MySQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 7.8.2 Con(cid:28)guring MySQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 7.8.3 Schema Design for EOD Equities . . . . . . . . . . . . . . . . . . . . . . . 52 7.8.4 Connecting to the Database . . . . . . . . . . . . . . . . . . . . . . . . . . 54 7.8.5 Using an Object-Relational Mapper . . . . . . . . . . . . . . . . . . . . . 54 7.9 Retrieving Data from the Securities Master . . . . . . . . . . . . . . . . . . . . . 59 8 Processing Financial Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 8.1 Market and Instrument Classi(cid:28)cation. . . . . . . . . . . . . . . . . . . . . . . . . 61 3 8.1.1 Markets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 8.1.2 Instruments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 8.1.3 Fundamental Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 8.1.4 Unstructured Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 8.2 Frequency of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 8.2.1 Weekly and Monthly Data. . . . . . . . . . . . . . . . . . . . . . . . . . . 63 8.2.2 Daily Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 8.2.3 Intraday Bars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 8.2.4 Tick and Order Book Data . . . . . . . . . . . . . . . . . . . . . . . . . . 63 8.3 Sources of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 8.3.1 Free Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 8.3.2 Commercial Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 8.4 Obtaining Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 8.4.1 Yahoo Finance and Pandas . . . . . . . . . . . . . . . . . . . . . . . . . . 66 8.4.2 Quandl and Pandas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 8.4.3 DTN IQFeed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 8.5 Cleaning Financial Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 8.5.1 Data Quality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 8.5.2 Continuous Futures Contracts. . . . . . . . . . . . . . . . . . . . . . . . . 74 IV Modelling 79 9 Statistical Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 9.1 What is Statistical Learning? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 9.1.1 Prediction and Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 9.1.2 Parametric and Non-Parametric Models . . . . . . . . . . . . . . . . . . . 82 9.1.3 Supervised and Unsupervised Learning. . . . . . . . . . . . . . . . . . . . 83 9.2 Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 9.2.1 Regression. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 9.2.2 Classi(cid:28)cation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 9.2.3 Time Series Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 10 Time Series Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 10.1 Testing for Mean Reversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 10.1.1 Augmented Dickey-Fuller (ADF) Test . . . . . . . . . . . . . . . . . . . . 88 10.2 Testing for Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 10.2.1 Hurst Exponent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 10.3 Cointegration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 10.3.1 Cointegrated Augmented Dickey-Fuller Test . . . . . . . . . . . . . . . . . 91 10.4 Why Statistical Testing? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 11 Forecasting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 11.1 Measuring Forecasting Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 11.1.1 Hit Rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 11.1.2 Confusion Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 11.2 Factor Choice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 11.2.1 Lagged Price Factors and Volume. . . . . . . . . . . . . . . . . . . . . . . 98 11.2.2 External Factors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 11.3 Classi(cid:28)cation Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 11.3.1 Logistic Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 11.3.2 Discriminant Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 11.3.3 Support Vector Machines . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 11.3.4 Decision Trees and Random Forests . . . . . . . . . . . . . . . . . . . . . 101 11.3.5 Principal Components Analysis . . . . . . . . . . . . . . . . . . . . . . . . 101 11.3.6 Which Forecaster? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 4 11.4 Forecasting Stock Index Movement . . . . . . . . . . . . . . . . . . . . . . . . . . 103 11.4.1 Python Implementations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 11.4.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 V Performance and Risk Management 107 12 Performance Measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .109 12.1 Trade Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 12.1.1 Summary Statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 12.2 Strategy and Portfolio Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 12.2.1 Returns Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 12.2.2 Risk/Reward Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 12.2.3 Drawdown Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 13 Risk and Money Management . . . . . . . . . . . . . . . . . . . . . . . . . . . .119 13.1 Sources of Risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 13.1.1 Strategy Risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 13.1.2 Portfolio Risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 13.1.3 Counterparty Risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 13.1.4 Operational Risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 13.2 Money Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 13.2.1 Kelly Criterion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 13.3 Risk Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 13.3.1 Value-at-Risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 13.4 Advantages and Disadvantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 VI Automated Trading 127 14 Event-Driven Trading Engine Implementation . . . . . . . . . . . . . . . . . .129 14.1 Event-Driven Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 14.1.1 Why An Event-Driven Backtester? . . . . . . . . . . . . . . . . . . . . . . 130 14.2 Component Objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 14.2.1 Events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 14.2.2 Data Handler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 14.2.3 Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 14.2.4 Portfolio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 14.2.5 Execution Handler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 14.2.6 Backtest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 14.3 Event-Driven Execution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 15 Trading Strategy Implementation . . . . . . . . . . . . . . . . . . . . . . . . . .163 15.1 Moving Average Crossover Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . 163 15.2 S&P500 Forecasting Trade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 15.3 Mean-Reverting Equity Pairs Trade . . . . . . . . . . . . . . . . . . . . . . . . . 172 15.4 Plotting Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 16 Strategy Optimisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .181 16.1 Parameter Optimisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 16.1.1 Which Parameters to Optimise? . . . . . . . . . . . . . . . . . . . . . . . 181 16.1.2 Optimisation is Expensive . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 16.1.3 Over(cid:28)tting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 16.2 Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 16.2.1 Cross Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 16.2.2 Grid Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 16.3 Optimising Strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 5 16.3.1 Intraday Mean Reverting Pairs . . . . . . . . . . . . . . . . . . . . . . . . 191 16.3.2 Parameter Adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 16.3.3 Visualisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194 6 Limit of Liability/Disclaimer of Warranty Whiletheauthorhasusedtheirbeste(cid:27)ortsinpreparingthisbook,theymakenorepresentations or warranties with the respect to the accuracy or completeness of the contents of this book and speci(cid:28)callydisclaimanyimpliedwarrantiesofmerchantabilityor(cid:28)tnessforaparticularpurpose. It is sold on the understanding that the author is not engaged in rendering professional services and the author shall not be liable for damages arising herefrom. If professional advice or other expert assistance is required, the services of a competent professional should be sought. i ii Part I Introducing Algorithmic Trading 1