The Representation of Time in Agency    Holly Andersen  Simon Fraser University  [email protected]    Abstract: This paper outlines some key issues that arise when agency and  temporality are considered jointly, from the perspective of psychology, cognitive  neuroscience, phenomenology, and action theory. I address the difference between  time simpliciter and time as represented as it figures in phenomena like intentional  binding, goal‐oriented action plans, emulation systems, and ‘temporal agency’. An  examination of Husserl’s account of time consciousness highlights difficulties in  generalizing his account to include a substantive notion of agency, a weakness  inherited by explanatory projects like neurophenomenology. I conclude by  sketching a project analogous to the projects in neurophenomenology, based on  Thompson’s naïve action theory.  Keywords: time; agency; representation; temporal; action; explanation; Husserl;  Thompson    Introduction  Agency is fundamentally temporally structured. We form intentions to do  something, resolutions that are held now to bring about something in the future. We  meet with the right conditions to implement those intentions and we act. Our  actions are executed through time, in temporally extended processes requiring  attention until the actions are complete. Our doings as agents in the world are  irreducibly temporally extended, involving both time itself as well as various  representations of temporality.  There are three distinct elements this paper will disentangle in order to draw out  the connections between them: temporal experience, agency, and representation.  The phrase ‘temporal experience’ covers a range of phenomena. For the purposes of  this paper, we should note that it includes: the temporal character of all experience,  namely, that whatever we experience, we experience as ‘now’; the perception of  time, when we attend to or are otherwise aware of the passage of time itself; and the  explicit representation of various features of time in experience, such as duration,  frequency of events, sequence of events, etc. Since agency as implemented in our  lives is fundamentally temporally structured, it is useful to see how the temporal    1 structure of agency fits into the broader temporal structure of experience. And both  in experience more broadly and in agency specifically, time can play distinct roles  based on whether it is explicitly represented.i  The goal here is not to provide an overarching account of the role that the  representation of time plays in human agency, nor a complete survey of the  incredibly varied and numerous ways in which temporality is involved in agency.  Rather, I will outline some of the key issues that arise when agency and temporality  are considered jointly, and will trace out some intriguing paths for future work from  the tangle of issues involved in the representation of time in agency. Although  accounts of agency and temporal experience have often been developed  independently, considering them together enables us to use one to shed light on the  other, and highlights lacunae in our understanding of the character of temporal  experience and its neurophysiological underpinnings. Once we get a sense of the  ways in which these two topics mutually inform and constrain one another, we will  consider the ways in which the representation of time in agency adds complexity  over and above the mere involvement of time in agency: we can then ask, what is the  role of represented time in agency, rather than time simpliciter.   While they are not exhaustive, and in some cases not exclusive, there are three  primary levels at which distinct clusters of issues can be identified for the  relationships between time, agency, and representation. One is psychological:  questions here may concern how the representation of the temporal sequence of  events changes when agency is involved, comprising both personal and subpersonal  mechanisms. The second is phenomenological: what is the precise content of our  temporally structured experiences as agents? The third level is neurophysiological:  can we ground the character of phenomenological and pyschological accounts of  time and agency in various neurophysiological processes?ii    Connections between time, agency, and representation  The issue of representation, temporal or otherwise, is closely tied to the issue of  agency, in that representation is often taken to be a necessary condition for a  creature to be capable of genuine agency rather than mere behavior. And what is  required for genuine representation is itself an area of disagreement, particularly on  the issue of whether rationality is a requirement for genuine representation,  genuine agency, both, or neither. Some philosophers hold that only full‐fledged  rational creatures, with adequate conceptual resources and reasoning abilities, can  be meaningfully said to engage in representation (e.g. Brandom 1994, especially  chapter 4). These philosophers are also committed to the view that there is a sharp  distinction between mere behavior and agency, properly speaking, such that only  rational, conceptually endowed creatures can be agents. That of which rational  human agents are capable constitutes a fundamentally different kind of activity than  the cognitive and behavioral activities in which animals, even higher primates,    2 engage. Once a creature can conceptually represent the world and recognize  inferential relationships between beliefs, it opens up fundamentally new ways of  engaging with that world.   On the other hand, some philosophers (see especially Burge 2010) argue for  continuums of both representational and agency capabilities, stretching from  humans at the most developed end, towards other primates with markedly reduced  capacities, and on towards mammals, birds, reptiles, and other species with ever‐ diminishing capacities for either agency or full‐fledged representation. There is a  sharp divide between representing and non‐representing creatures, but this divide  occurs far down the phylogenetic tree. On this sort of view, humans are capable of  the most refined forms of representation and agency, but there is no radical break  our capacities and those of many other animals.   The question of whether representational capacities require rational or conceptual  resources is in many ways prior to the question of whether a given creature can  display agency or merely engage in behavior. Most accounts of agency involve  representational resources in some fashion or another, such as the representation of  an intended outcome or of means to achieve an end. Thus, if a creature is deemed  incapable of genuine representation, it is precluded from exercising genuine agency.  It may be that mere egocentric representation of the environment is insufficient for  agency: perhaps a creature also needs to be able to represent itself as an element in  an objectively represented environment and as having specific capacities to move  about and act in that environment. If one subscribed to such a view of agency,  representation would be necessary but insufficient for agency.  We can bracket this issue by noting that when we move from creatures that merely  involve time in perception or behavior to those that explicitly represent time, there  is a corresponding increase in a host of other abilities with respect to representation  and agency. Since there is agreement that we are capable both of agency and of  genuine representation, and since this is the focus here (note the lack of examples  from orangutan research), we can safely turn to consider the ways in which time  plays an explicit role in human agency.  There are some obvious ways in which temporal representation is involved in  agency. One is that intentions are directed forward in time at some action. Forming  an intention involves representing as in the future some action that one plans to  execute. The forward‐directed nature of agency can either bring about or may  presuppose a certain degree of diachronic rational consistency, since an agent that  forms an intention must sustain that intention through time and implement it at  some time after the intention was formed. Changing our prior intentions without  any change in our reasons for having formed those intentions is a species of  irrationality, distinguishable from, for instance, simultaneously holding  contradictory beliefs. Agency provides temporal structure and continuity through  time, which has been offered as the basis for the constitution of a rational, unified,    3 self, one which persists through time as the same self (see, inter alia, Korsgaard  2009, Hinchman 2003, Zahavi forthcoming).   As an example, consider Bratman (2007). “We are reflective about our motivation.  We form prior plans and policies that organize our activity over time. And we see  ourselves as agents who persist over time and who begin, develop, and then  complete temporally extended activities and projects” (Bratman 2007: 21). In order  for something like an attitude towards a desire or goal to have “agential authority”,  or, to carry normative force for how the agent with that attitude ought to act, such  an attitude must participate in “complex continuities and connections that help  constitute the organized interweave of our action and practical thinking over time”  (2007: 5). An agent must recognize that she is herself temporally persisting in order  to engage in a number of activities that are integral to agency. One acts now in order  to bring about some good in the future because one sees oneself as the recipient of  that good. One organizes one’s actions under long‐term plans and policies that  structure motivations and shorter‐term intentions. Note that while these are  temporal activities, it not merely time that is involved in these constitutive features  of agency. It is temporal representation as a framework for structuring current  actions (this is what a policy is, for instance), as well as an explicit temporal element  in representations of the self, other agents, of elements of the environment in which  one acts, and so forth.  These are just a small handful of ways in which temporal representation plays a role  in agency, personal identity, and rationality, in traditional philosophical approaches.  Rather than attempt to cover the myriad ways in which temporal representation is  involved in these discussions, I will instead consider some intriguing results from  the sciences that bear on the question of temporal representation and agency.    Time, agency, and representation in the cognitive sciences  There are tight connections between action and perception that shape the way in  which we perceive temporal relationships and the way in which time passes.  Though this connection certainly runs from perception to action – we first perceive  various features of the world and then act based on that perceptual information –  the connection also runs the other direction, where action shapes perception in a  variety of ways, including the perception of time.   One straightforward example of how action shapes perception is that of intentional  binding: we perceive events as occurring closer in time than they actually did when  those events are an action of our own and its effect. When subjects estimate the time  elapsed between events they did not bring about, they are more accurate than when  they estimate the time elapsed between their own movements and the effects of  those movements. When the two events to be timed are the actions of the subject  and the consequences of those actions, there is a systematic bias towards shortening    4 the time between them – subjects experience the two events as bound closer in time  than they were (Haggard and Cole 2006).  Intentional binding indicates that temporal perception is responsive to agency:  when we act, we perceive the effects of those actions as closer in time to our actions  than we do other events that were not under our control. Recently, this effect has  been offered as an indirect measure of the sense of agency (Ebert and Wegner  2010). The sense of agency, sometimes called the feeling of authorship, is the  subjective experience had when an agent perceives her action as the cause of the  subsequent event. Manipulating parameters such as temporal contiguity of action  and effect changes how often subjects report experiencing the sense of agency with  respect to those effects. While this measure does not provide information on the  mechanisms by which action influences temporal perception (Moore, Wegner, and  Haggard 2009; Moore and Haggard 2010), the fact that some mechanism(s) does  result in binding may still be useful in predicting the degree to which subjects feel  authorship over their own actions.  This highlights the fact that the sense of agency does not simply track the  movements that we in fact generate in order to bring about intended effects. It at  least partially tracks the temporal evolution of effects for which we are potentially  responsible, and assigns authorship based on temporal parameters like contiguity in  time between movement and effect. There can be a surprisingly wide margin of  difference between how we actually move our arm and how it misleadingly appears  to us, through carefully manipulated visual feedback, that we move our arm, before  we notice the discrepancy (Preston and Newport 2010). The sense of agency can be  induced when the intended goal of a movement is achieved, even if it was not the  subjects’ actual movements that achieved it, so long as it occurred in close temporal  proximity to the movement.  There is substantial evidence to the effect that many of the processes that ground  action (including, most basically, our abilities to move our bodies) are generated in  ways that involve a splitting of motor signals in the brain, such that one signal  serves as the control for muscle movement, while the other signal is a copy that  generates the feeling of moving those muscles, or an awareness that they are about  to move (see David, Newen, and Vogeley 2008; Kandel, Schwartz, and Jessel 2000:  chapter 33). The sense of agency arises when perceptual feedback reveals  coherence between the expected outcome, based on predictions about the motor  activity derived from a copy of the efferent signal sent to the muscles, and the actual  outcome, as ascertained from perceptual information about limb position and  movement and kinesthetic feedback. Thus, anything that caused the actual outcome  to diverge from the prediction would reduce or eliminate the sense of agency  associated with that outcome, whether or not one did in fact cause the actual  outcome.  This dissociation of the sense of agency from self‐generated movements is to be  expected when considered in light of other results. Evidence from psychology and    5 cognitive neuroscience suggests that intentional actions are implemented as part of  an ongoing, more abstract, action plan (see, e.g., Hommel 2003; Kandel, Schwartz,  and Jessel 2000). Action plans are formulated in terms of an intended goal or  outcome state that the action will achieve. These plans may be general in character,  such as grasping an object on the table. Unconscious systems for sensory‐motor  processing implement this general plan in precise movements of the hand, in this  case by signaling to hand muscles to form the right shape and arm muscles to reach  in the correct direction. Thus, an agent does not micromanage the details of how  precisely she moves her hand in order to grasp the object; she knows that she is  moving her hand, and that the object has been successfully grasped. Since the action  plan represents the action in terms of the outcome state, one would predict subjects  feeling the sense of agency or authorship over a successful object‐grasping action,  even when they may not have accurately perceived their own arm movements in  doing so.  Skillful execution of complex, fast‐paced sequential movements – e.g., dancing, piano  playing, or racquetball – rely on a number of factors such as precise action plans and  the kind of automaticity that results from deliberate practice. It is impressive that  our brains can manage in real time the amount of perceptual and motor information  necessary to engage in these complex actions. The emulation theory of  representation (Grush 2004) gives us a handle on these kinds of tasks in terms of  information processing, independently of the mechanisms by which it is  implemented. On the emulation theory, sensorimotor information is processed in a  feed‐forward/feedback representational structure with both motor and sensory  loops. Information about how the environment and body respond under various  conditions is encoded in the representational structure as a mathematical function,  from which predictions can be derived for outcomes given various efferent signals  in a given environment. The predictions made by an emulator that had only been  exposed to the gravitational field on Earth would differ from the predictions made  by an emulator that had only been exposed to the gravitational field on the moon,  for instance. On the moon, a dropped pen would fall more slowly, and thus an  appropriate reach‐and‐grasp motion would be aimed at a different location in the  downward trajectory; similarly, a well‐placed kick would have to be initiated  differently, and be guided through to completion differently. Emulator  representation systems incorporate sensory information and copies of efferent  signals sent to muscles in order to plan actions that achieve certain goals, where  goals might be states of the environment – a returned serve – or a particular  position of the body.   Emulator information processing systems not only involve time but rely on  representations of time. They are temporally structured in that emulation is a multi‐ step process that necessarily takes place over some period of time, with input stages  that have to be separated by temporal intervals in order to successfully function in  guiding skilled physical action through to completion. And they involve temporal  representation in that time is a key variable in most, if not all, equations  representing information about how the body and environment respond.    6 Furthermore, if the emulation theory of representation captures genuine features of  information processing, then we have further evidence that the experience of  agency will vary separately from self‐generated bodily movements, since each  depends on a different set of factors. In the emulation theory, if a subject were to  move her arm and hand in a reach‐and‐grasp motion, but be given visual feedback  that indicated their arm taking a different course than it actually did (see the  experiments mentioned above), the emulator system would be given conflicting  information about the actual movement, and the apparent movement would not  match the predicted movement based on the copy of the efferent signal. In other  words, the system would not process that apparent movement as something it ‘did’.   These examples illustrate several general points about time and agency. They  highlight the temporal extension of human action, and the irreducibility of action to  single instants. Actions, even short bodily movements, are not temporally punctate  events. Rather, they involve a fairly complex chain of events that includes motor  planning, with conscious and unconscious stages, drawing on perceptual  information that may have been gathered specifically for the purposes of planning a  particular movement, and which continues to guide that movement through to  completion of the effect goal. Furthermore, those action plans shape perception in  several ways throughout the process of development, implementation, and guidance  through completion (Fagioli and Hommel 2005).  The dissociation between agency and the sense of agency also has philosophical  implications for investigations that attempt to ground conscious agency in  neurophysiological processes. Most importantly, it entails that the sense of agency is  not an adequate proxy subject if one intends to study agency itself. While it’s not  clear where we should outline the division between genuine agency and ‘everything  else’, in cognitive neuroscientific terms, it is clear that agency as it has consistently  been discussed does not map solely onto the sense of agency alone, but would  include at least some of the premotor and motor processing that results in limb  movement, for instance. This implication of the dissociation between agency and the  sense of agency will be explored in greater detail in subsequent sections.  Considerations of time in terms of action plans, intentional binding, or emulator  models, however, involve a fairly weak notion of representation. While information  processing accounts like the emulation theory of representation may indicate an  important way in which temporal representation is involved in agency, there is  nothing explicit about this representation of time – it may not ever be part of the  content of conscious experience, but merely part of a subpersonal mechanism. For  instance, we may not even be capable of becoming aware of the fact that we’ve  experienced two events as closer in time than they actually were; we may not be  able to reconstruct how we were able to successfully catch something so quickly and  accurately, even though we did it ‘on purpose’. The next step is to consider the ways  in which explicit representations of time figure in agency.    7 One way in which representations of time can figure in agency is by themselves  serving as the object to which we apply ourselves as agents, in order to bring about  changes in how time is represented. An intriguing connection between temporal  experience and agency emerges in the context of the ways in which humans actively  arrange their activities, including thinking, in order to change the phenomenal  character of their own experience of time. Michael Flaherty calls this “temporal  agency” (2011), namely, directing one’s agency at one’s own experience of time in  order to change that experience. We are capable of exerting some degree of control  over a number of distinct parameters along which temporal experience may vary, in  order to bring about changes in that experience.   Flaherty provides details from interviews the tactics and tricks people use to  manage their daily lives, and finds that many of these fall into broad categories  based on how they change our perception of time and experience of events through  time. For instance, everyone is familiar with the phenomenon of the interminable  lecture that goes on and on, where the passing of each minute seems to take forever.  One may become acutely and uncomfortably aware of the passage of each moment;  one may decide to change the character of that temporal experience in order to  speed up the apparent duration of the lecture. Students report a variety of tactics for  “passing the time,” an activity in which they deliberately engage for the purpose of  making the lecture seem to pass less slowly. Conversely, agents sometimes have  periods of time that appear to pass very quickly, and engage in tactics to prolong an  enjoyable period of time that may otherwise end too soon.   Other characteristics of our experience of time on which we can exert some control  as agents include the frequency with which certain events occur, their sequence or  order, and their timing. Acting on each of these parameters involves explicitly  considering the way in which one’s experience of time is structured, as well as  considering the temporal relationships of events in time. Time is also something  that agents can allocate: subjects reported various strategies for choosing how to  spend different periods of time in order to make room for studying, fun activities, or  family time. Of course, no one has complete control over any parameter of how time  passes. It is useful to consider, though, how many of our daily activities that often  are not registered as important acts of agency are nevertheless deliberate and can  be understood as involving a limited alteration of some facet of one’s own  experience of time.    Agency and the phenomenology of temporal experience   No discussion of the representation of time would be complete without considering  the phenomenological account of time consciousness developed by Edmund  Husserl. By considering Husserl’s work on temporal consciousness in light of the  question of agency, we can highlight how the analysis that he provides, while well‐   8 suited for the purposes to which he puts it, cannot be extended to include agency in  its ambit.   Husserl’s On the Phenomenology of the Consciousness of Internal Time is easily the  most influential single work on the character of temporal experience in this  tradition. While there isn’t space here for a full investigation of Husserl’s account,  there are several features that are especially germane to the issue of temporal  representation and agency. He lays out the fundamental features of what he calls the  absolute, time‐constituting flow of consciousness in terms of a tri‐partite structure.  The structure of the ‘now’ in experience has three distinguishable phases,: the  leading edge of protention, the central primal now, and the fading‐out of retention.  The present moment, as experienced, thus spans some nonzero length of time, both  in absolute terms – if one timed it with a stopwatch, it would be nonzero – and in  phenomenological terms – it is experienced as stretching over some duration.   The primal now is the most central and immediate part of the now. It is the part we  would be most inclined to associate with the instantaneous ‘now’ as timed with a  stopwatch. Protention is the forward‐looking element of the now, directed at  incoming experience. Protention should not be understood as a literal experience of  the future, but it is future‐directed and involves sometimes substantial structuring  expectations about imminent experience. The receptivity to imminent experience,  and the expectations regarding what is just about to happen, are protentive in  character. Retention is less controversial than protention, as the lagging edge of  experience that fades into the past. The way in which immediately present  experiences fade into the past, rather than disappear instantaneously, illustrates  retention.  A key feature of the absolute time‐constituting flow is its double intentionality. The  ‘now’ is always intentional in character, in a sense Husserl took up from Brentano  (1995): it is about something, whether directed at something in the world or purely  internal to the experience itself. Double intentionality means that the flow of the  now, which is itself about something, can also be directed at itself, at other moments  besides the present one. One moment of experience may take as its intentional  content a different moment, which had its own intentional content. Remembering  something involves double intentionality: this present moment intends a different  section of the flow, that of the event being remembered. Double intentionality  involves the representation, in the threefold structure of one present moment, of  a  different moment that itself had such a threefold structure. Thus, the representation  of time has a double aspect in Husserl. The present both has a threefold structure,  and represents itself as having a threefold structure.  It is a striking feature of Husserl’s account of time consciousness that so many  agency‐oriented questions have no clear answer in the original text. iii One element  of Husserl’s account that might be thought to address this issue is his treatment of  acts of knowing or acts of perception as temporally extended processes, and as  constituted out of the absolute time‐constituting flow of consciousness. He contrasts    9 the way in which the content of acts of knowing are given to the subject of  experience with the way in which objects thereby known are given (Zahavi  2003:13). Acts of perception or knowledge have objects that are given to the subject  perspectivally – any given presentation of an object will not exhaust that object,  since the object will have a hidden or obscured side that is not given in this  presentation (even though that hidden side may be given in a different  presentation). In contrast, acts are given nonperspectivally: they do not have a  hidden side, but are given in their entirety in the act itself. Acts thus construed do  not “reach out” to the world or transcend the experiences in which they are given –  they are immanent in experience. This is a very different notion of ‘act’ than has  been considered in this paper. While it might be tempting to consider Husserl’s  treatment of ‘acts’ as implying some kind of agency, the term is agent‐neutral, more  akin to acts in a play than to actions.  There are methodological reasons why questions about agency may lie beyond the  project Husserl set out. He sets up his investigation of time consciousness by  bracketing the external world. This bracketing specifically sets aside questions  related to the veridicality of experiences (such as, does the present moment ‘really’  have a nonzero duration?), and of the genesis or causes of such experiences (such  as, what in our brains makes it the case that the present moment has a threefold  character? or, what in the universe are we perceiving when we perceive the present  moment?). Phenomenological bracketing severs the causal tie between subject and  world on the incoming side – from world to subject. But in doing so, Husserl’s  investigation also precludes investigation of causal ties on the outgoing side – the  way in which the phenomenological subject might intervene on or participate in the  world as an agent.   These observations are not criticisms per se, but rather reminders of the inherent  limitations of Husserl’s phenomenological project. To a large extent these  limitations are inherited in recent attempts at developing a project of  neurophenomenology, an attempt to ground various elements of the tripartite  account of time consciousness in specific neurophysiological processes (Lloyd 2002,  Varela 1996, Lutz and Thompson 2003, van Gelder 1999; Gallagher and Zahavi  2008).iv   In neurophenomenology (Varela 1996), the goal is to use the tripartite analysis as  an explanandum in order to isolate those representational vehicles in the brain that  are responsible for these various aspects of temporal experience.  Neurophenomenologists start by taking Husserl’s account of time consciousness as  a careful and basically accurate description of the experience of time, isolating key  elements such as protention or retention, and then turn to neuroscience in order to  seek out the specific processes in the brain or nervous system that might give rise to  these characteristics of temporal experience, using EEG, fMRI, PET, and related  measurement tools.    10