COMPLEXNEURALCOMPUTATIONWITHSIMPLEDIGITALNEURONS by AndrewThomasNere Adissertationsubmittedinpartialfulfillmentof therequirementsforthedegreeof DoctorofPhilosophy (ElectricalEngineering) atthe UNIVERSITYOFWISCONSIN–MADISON 2013 ©CopyrightbyAndrewThomasNere2013 AllRightsReserved i dedication ii acknowledgments iii table of contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii TableofContents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix ListofTables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x ListofFigures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1. Introduction . . . . . . . . . . 1 1.1 Motivation: ChallengesFacedbythevonNeumannArchitecture . . . . . . . . . . . . . . . . . . . 2 1.2 Inspiration: TheCortexasaComputingModel . . . . . . . . . . . . . . . . 3 1.3 SpikingNeuronModelsandNeuromorphicHardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.4 ObjectivesandContributions 1.4.1 ComputingCapabilitiesofSimpleSpikingNeurons . . . . . . . . . . 4 1.4.2 IdentifyingUsefulComplexNeuronalDynamics . . . . . . . . . . . . 4 1.4.3 ModelingtheVisualCortexasaHierarchicalAttractorNetwork . . . 5 1.4.4 VisualCortexModelApplications . . . . . . . . . . . . . . . . . . . . 5 1.4.5 AddressingtheNeuromorphicSemanticGap . . . . . . . . . . . . . . 5 1.4.6 AutomaticApproachesforDeployingCorticalModelsonNeuromor- phicSubstrates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.5 RelatedPublishedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.6 DissertationStructure iv . . . . . . . . . . . . . . . . . . . 9 2. ArtificialNeuronModelsandNeuralNetworks . . . . . . . . . . . . . . . . . . . . 9 2.1 ABriefHistoryofArtificialNeuralNetworks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2 SpikingNeuronModels 2.2.1 TheHodgkin-HuxleyModel . . . . . . . . . . . . . . . . . . . . . . . . 14 2.2.2 TheIzhikevichModel . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.2.3 TheLeakyIntegrateandFireModel . . . . . . . . . . . . . . . . . . . 17 . . . . . . . . . . . . . . . . . . . . . 20 2.3 BiologicallyInspiredLearningMechanisms 2.3.1 HebbianLearning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.3.2 SpikeTimingDependentPlasticity . . . . . . . . . . . . . . . . . . . . 21 2.3.3 VariantsofSTDP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.3.4 RewardBasedLearningParadigms . . . . . . . . . . . . . . . . . . . . 23 . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.4 IntroductiontotheCerebralCortex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.5 TheVisualCortex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.6 RecurrentNeuralNetworks 2.6.1 TheHopfieldAttractorNeuralNetwork . . . . . . . . . . . . . . . . . 30 2.6.2 TransientandMetastableAttractorNetworks . . . . . . . . . . . . . . 32 2.6.3 LiquidStateMachines . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.6.4 RecurrentNeuralNetworksSummary . . . . . . . . . . . . . . . . . . 37 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 2.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3. NeuromorphicHardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.1 Neurogrid v . . . . . . . . . . . . . . . . . . . . . . 40 3.2 TheBrainScaleSNeuromorphicProcessor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.3 SpiNNaker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.4 IBM’sNeurosynapticCore 3.4.1 WhyTargettheNeurosynapticCore? . . . . . . . . . . . . . . . . . . . 44 3.4.2 DescriptionandOperationoftheNeurosynapticCore . . . . . . . . . 46 3.4.3 TheNeurosynapticCorewithOnlineLearning . . . . . . . . . . . . . 50 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 3.5 Summary . 52 4. ModelingSpikingNeuronsandBiologicallyInspiredLearningMechanisms . . . . . . . . . . . . . . . . . . . 52 4.1 LeakyIntegrate-and-FireSpikingNeuronModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 4.2 LearningwithBurstsofSpikes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 4.3 ValueDependentLearning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 4.4 HomeostaticRenormalization . . . . . . . . . . . . . . . . . . 59 4.5 PreliminarySpikingModeloftheVisualSystem 4.5.1 ShapeCategorizationModule . . . . . . . . . . . . . . . . . . . . . . . 59 4.5.2 MotionDetectionModule . . . . . . . . . . . . . . . . . . . . . . . . . 63 4.5.3 AttentionModule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 4.5.4 DecisionModuleandMotorOutputs . . . . . . . . . . . . . . . . . . 67 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 4.6 ExperimentalResults 4.6.1 Experiment1: ShapeCategorization . . . . . . . . . . . . . . . . . . . 68 4.6.2 Experiment2: CatchingTargetsandAvoidingObstacles . . . . . . . 69 vi 4.6.3 Experiment3: AnticipatingaTargetObjectLocationwithMultiple Objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 4.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 5. VisualCortexModel . . . . . . . . . . . . . . . . . . . . . . . . . . 73 5.1 ExtendingtheLLIFNeuronModel 5.1.1 Short-TermPlasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 5.1.2 NMDAModulatedSynapses . . . . . . . . . . . . . . . . . . . . . . . 76 . . . . . . . . . . . . . . 79 5.2 TheVisualCortexasaHierarchicalMetastableAttractor 5.2.1 HierarchicalOrganizationandtheFeedforwardPathways . . . . . . 79 5.2.2 LateralConnectionswithinModeledAreas . . . . . . . . . . . . . . . 82 5.2.3 InvariantObjectRecognitionThroughFeedforwardPathways . . . . 83 5.2.4 WhyAttractors? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 5.2.5 IntegrationandFeedbackPathways . . . . . . . . . . . . . . . . . . . 86 5.2.6 MetastabilityofaHierarchicalAttractor . . . . . . . . . . . . . . . . . 87 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 5.3 Summary . . . . . . . . . . . . . . . . . . . . 93 6. AbilitiesofaHierarchicalAttractorNetwork . . . . . . . . . . . . . . . . . . . . . . . 93 6.1 PatternCompletionandNoiseResilience . . . . . . . . . . . . . . . . . . . . . . . . 95 6.2 ObjectOcclusions(WorkingMemory) . . . . . . . . . . . . . . . . . . . 97 6.3 AccessandRoutinginaHierarchicalAttractor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 6.4 Summary vii . . . . . . . . . . . . . . . . . . . . . . . 110 7. DeploymentonNeuromorphicSubstrate . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 7.1 TheNeuromorphicSemanticGap 7.1.1 EmulatingShort-TermPlasticity . . . . . . . . . . . . . . . . . . . . . . 112 7.1.2 EmulatingtheLongTimescaleEffectsofNMDA-MediatedSynapses 118 7.1.3 EmulatingtheVoltage-DependenceofNMDA-mediatedSynapses . . 120 7.1.4 EmulatingOnlineLearning . . . . . . . . . . . . . . . . . . . . . . . . 123 7.1.4.1 EmulatingHebbianLearning . . . . . . . . . . . . . . . . . . 124 7.1.4.2 EmulatingSTDPLearning . . . . . . . . . . . . . . . . . . . 124 7.1.4.3 ExtensionstoLearningAssemblies . . . . . . . . . . . . . . 128 . . . . . . . . . . . . . . 130 7.2 AutomatedApproachesforNeuralNetworkDeployment 7.2.1 TemplatesforNeuronalPopulations . . . . . . . . . . . . . . . . . . . 131 7.2.2 ConnectingPopulationsonDistributedCores . . . . . . . . . . . . . . 133 . . . . . . . . . . . . 138 7.3 DeployingtheVisualCortexModelonNeurosynapticCores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 7.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 8. ConclusionandReflections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 8.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 8.2 FutureWork 8.2.1 ExtendingtheVisualCortexModel . . . . . . . . . . . . . . . . . . . . 144 8.2.2 FormalizingLargeScaleHierarchicalAttractors . . . . . . . . . . . . 145 8.2.3 SequentialLearningBetweenAttractorStates . . . . . . . . . . . . . . 147 8.2.4 IdentifyingtheAppropriateNeuromorphicPrimitives . . . . . . . . 147 viii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 8.3 Reflections 8.3.1 NeedforBetterNeuralProgramming . . . . . . . . . . . . . . . . . . 149 8.3.2 NeedforFlexibleNeuromorphicSubstrates . . . . . . . . . . . . . . . 151 8.3.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 Bibliography