Effort-based decision making in virtual reality

Bachelorproject  Effort­Based Decision Making in Virtual Reality  S. van Dam                                    Studentnummer: 10529691  Begeleider:    Jasper Winkel  Datum:  juni, 2016 

         _​Index  Abstract        p.2  Introduction      p.3  Method      p.8  Results      p.14  Discussion      p.17  References      p.20                             

  Abstract     This study addresses how presence affects two aspects of effort­based decision  making (EBDM), namely effort­ and reward­valuations. To get a clear picture of how  presence specifically affects EBDM, sensitivity to reward (SR) (affecting reward­valuations)  will also be taken into account. 51 participants completed a task in virtual reality (VR). This  consisted of a baseline­ (2D­effort, 2D­reward), reward­ (2D­effort, VR­reward) and effort­  condition (VR­effort, 2D­reward). Using this task the participant’s reward per unit effort was  calculated. While presence was enhanced in the reward­ and effort condition, compared to the  baseline condition, there was no effect of presence on the reward per unit effort. When SR  was controlled for there was, again, no effect and SR itself had no effect on the reward per  unit effort. Based on the current study we cannot conclude that presence affects EBDM.                             

  Introduction    Decision making is an important part of our daily lives. These can be ‘big decisions’  like buying a house, or deciding to start a family. For the most part however, the decisions we  are faced with in our day­to­day live have a much smaller impact (e.g. “what do I want to eat  for dinner tonight? “). For each decision we make, a basic valuation can be made: the amount  of effort that has to be spent to get a certain outcome, and the value of that outcome. We  often experience effort as a burden, but most are willing to expend effort to reach a desired  outcome (reward) (Kurniawan, Guitart­Masip & Dolan, 2011). The valuation of effort and  the valuation of reward are not fixed, and differ between individuals. For example, some will  put in a considerable amount of time and energy to prepare a delicious meal for dinner, while  others will opt for easy (and less palatable) instant food. This difference in effort­ and reward  valuation between individuals is a common aspect of human economic behavior (Treadway et  al. 2012).    The integration of effort­ and reward valuations, and the choices one can make based  on these valuations, are addressed in _​effort based decision making _​(EBDM). Consequently  the valuation of effort and reward are the two core aspects of EBDM. Most organisms  (including humans) will expend effort to obtain a reward. As the amount of required effort for  a certain choice increases however, the preference for that choice will decrease if the reward  does not increase as well (Kurniawan et al. 2011). EBDM entails how the amount of effort  relates to the magnitude of the reward. In other words, EBDM involves how effort and  reward relate to each other, and how this affects the decision making process (Treadway et al.  2012). 

  An important aspect that might play a role in the effort­ and reward valuations, is how  ‘real’ one perceives the effort to be spend and the reward to be gained. For instance,  intuitively one might say that ‘realistic effort’ feels more burdensome than ‘less realistic  effort’. How real one perceives the task or decision at hand (e.g. how immersed a person is in  making a decision and how real this person perceives the effort and reward of that decision)  can be enhanced using different media. One medium that sets itself apart from other 

technologies by immersing the participant’s senses, is _​virtual reality_​ (VR). By immersing the  senses and providing interaction with one’s (virtual) environment (Schuemie et al. 2001), one  presumably feels more in touch with their surroundings, compared to the simple computer  tasks commonly used in psychological research. This ‘sense of realism’ goes hand­in­hand  with a term coined by scientific literature as ‘presence’. Here, presence is defined as ‘the  sense of being part of the (virtual) environment’. This ‘being part of a virtual environment’  enhances how ‘real’ one perceives the environment and his or her surroundings (Schuemie et  al. 2001).  Tasks in psychological research often consist of questionnaires and computer tasks.  Arguably, these types of tasks do not elicit a strong ‘sense of being part of the enviroment’  (the enviroment being the task itself). An altered sense of presence might influence how one  perceives and valuates (components of) a task or decision. Thus, task performance and/or  decision making could be affected by one’s sense of presence. Since presence might affect  perception and thereby one’s (effort­ and reward) valuations, the amount of effort one is  willing to expand (for a certain reward) might be affected as well. In earlier scientific  research covering this subject however, the evidence seemed to be mixed. The notion of  presence being related to task performance was very popular, yet there was no evidence to 

back up this claim (Welch, 1999). Consequently, there was much uncertainty whether  presence actually affected task performance. (Schuemie et al, 2001).  However, most scientific studies concerning presence that were conducted in the late  nineties and beginning of the twenty first century, simply did not have the means to elicit a  sense of presence in participants (Turner & Casey, 2014). For example, Kim and Biocca  (1997) attempted to enhance presence in participants by showing them a TV­ infomercial.  Since watching a TV­infomercial presumably does not elicit a sense of being part of the VE,  this is not an ideal way to enhance presence in participants.  Fortunately in modern day and  age, incredible technological advancement has been made. These technological advances  have made it possible to create a realistic virtual environment (VE) that is able to enhance  one’s sense of presence (Fox, Arena & Bailenson, 2009; Turner & Casey, 2014). Moreover,  according to Slater (2009), when faced with events within a VR­environment, participants  will respond and behave more realistically. In other words, participants act and react more  realistically when their sense of presence is enhanced. In this manner, VR allows realistic and  interactive behaviours to take place (Bohil, Alicea & Biocca, 2012).  Despite the fact that there seems to be empirical evidence supporting the claim that  presence enhances one’s sense of realism and thereby influencing one’s behavior, it is still  unclear how presence affects decision­making behavior. For instance, individual differences  play a role in both presence (Ling et al. 2013) and the valuations of effort and reward  (Treadway et al. 2012). How presence relates to the valuation of effort and reward (and  thereby, how presence affects decision making) remains to be determined.  The main focus of this article is how presence affects EBDM. Specifically, this study  will address how presence affects both effort­ and reward valuations. We hypothesize that  presence will influence reward­ and effort valuations in two different ways. First, when a 

decision is framed in such a way that the effort elicits a higher sense of presence than the  reward, effort will be perceived as more realistic, and therefore more burdensome. When  faced with a choice between high effort (HE) or low effort (LE) we expect that, in this case  the LE­option will be more enticing when participants experience a high sense of presence  (e.g. in a VR­environment), compared to a situation in which participants experience a low  sense of presence. Second, when a decision is framed in such a way that the reward elicits a  higher sense of presence than the effort, the reward will be perceived as more realistic, and  therefore more appealing. We expect that, when faced with a choice between a high reward  (HR) or low reward (LR), in this case participants are willing to expend more effort for HR  when experiencing a high sense of presence, compared to a situation in which participants  experience a low sense of presence.  Another aspect that might influence the valuation of effort and reward besides  realism, is _​sensitivity to reward_​ (SR). Here, SR is defined as a personality­trait that is  entrenched in the availability of dopamine in the mesocorticolimbic pathways. These are  generally known as common ‘reward pathways’ (Davis et al. 2007). In other words, SR is a  trait that differs among individuals and is rooted within neurological reward pathways. SR  might influence how one valuates reward. For instance, if one is highly sensitive to reward,  one is willing to expend more effort for a HR. In this manner, the proportion between  effort­and reward valuation is different from individuals with a low SR. This way, SR  presumably affects reward valuations.    Although SR presumably influences one aspect of EBDM  it is yet to be decided  whether or not SR influences EBDM­behavior. However, there seems empirical evidence  suggesting that decision­making behavior is affected by SR (Davis et al. 2007; Van  Leijenhorst et al. 2010). Consequently, there are two factors that might influence 

EBDM­behavior (presence affecting effort­ and reward valuation, and SR affecting reward  valuation).    To get a clear picture of how presence specifically affects EBDM, it would be wise to  take SR into account. We expect that SR will affect EBDM in two ways. First, when SR is  controlled for, the effort­valuation will will be weighed more heavily, compared to the  reward valuation. This effect is present in both high­ and low SR individuals. Second, when  presence is higher for reward and SR will be controlled for, reward­valuations will drop  dramatically for high SR­individuals, compared to low presence for reward. This is due to the  fact that individuals with high SR would be willing to expend more effort when the reward is  more realistic, compared to low SR individuals. When SR is controlled for, this effect will be  nullified. This is not the case for low SR individuals, since they already are less enticed by  the reward. When SR is taken into account, one would opt less for high effort/high reward  (HE/HR)­options. This effect is likely most prominent when a decision is framed in such a  way that the reward appears to be more realistic. When effort elicits a higher sense of  presence than the reward, it is expected that one would already be less inclined to opt for a  HR (since the reward already is less appealing, compared to the more realistic effort), thus  here we expect that taking SR into account would have little effect.  This study will first address how presence affects EBDM and how presence affects  both effort­ and reward­valuations. Second, SR is another factor that influences  reward­valuation. To get a clear picture of how presence specifically affects EBDM, SR will  be controlled for.       

       _​Method  Participants  Fiftyone participants took part in the experiment. 44.12 percent was female, 85.29  percent was student and mean age was about 22 years old (_​M_​ = 22.41, _​sd_​ = 3.30). Participants  were not paid for their attendance, but could win payment of the mean amount of coins over  conditions, with each virtual coin representing 10 eurocents. One participant was awarded  this reward.  Task  The experiment consisted of three conditions: a baseline condition (2D effort – 2D  reward), an effort condition (VR effort – 2D reward condition) and a reward condition (2D  effort – VR reward). Here, a low sense of realism (and thereby a low sense of presence) is  obtained in the 2D­version, while a high sense of realism (and thereby a high sense of  presence) is obtained by VR. For this experiment, we used an Oculus Rift DK2 (Oculus VR,  2014). The 2D­version of the task was also displayed within VR, on a virtual 2D­screen.  Participants completed the conditions in counterbalanced order, with conditions consisting of  13 trials each, all implemented in virtual reality. Participants were instructed to power a mine  cart over a track by making pumping motions with a bicycle pump. At the beginning of each  trial, participants were given a choice between a HE/HR­route or a low­effort/low­reward  (LE/LR)­route. Color­coding in presentation of the tracks informed participants of the  amount of effort a route would require; green sections of the track required no pumping input,  orange sections of the track required medium effort and red sections of the track required  high effort pumping. In the baseline condition (Figure 1a), the different route options and  coin rewards were displayed on two different computer screens, one on the left side of the  virtual room and one on the right. The coins were displayed abstractly on these screens as 

stacked orange bars. After choosing a route with a mouse click, a third display in the middle  of the room showed a power bar and progress within the chosen track. Participants were only  able to track their progress on this screen: no visible cart was moving. In the reward condition  (Figure 1b), participants were in the same virtual environment. Choices were again  represented on two different screens, but now rewards were realistically represented as stacks  of golden coins on the left and right side of a desk in front of the participant and no longer on  the computer screens. After the decision is made, the coins of the chosen route would fly into  a chest in front of the participant. Then participants drove the cart the same way as in the  baseline condition, and saw their progress in the middle screen. In the effort condition (Figure  1c and 1d), participants found themselves in a minecart inside a room with two screens  displaying the different route options and abstract coins as orange bars. After selecting a  route, a large door would open and they drove themselves into an outside natural  environment, using the same bicycle pump that they now saw integrated into their cart. Some  sections of the outside tracks were overgrown with either grass (medium effort) or shrubs  (large effort).  Before the start of the experiment, participants completed one test­trial in every  environment, to make sure they understood how the task worked and what each element (the  representation of reward and effort, the progress­bar, etc.)  Figure 1a: Baseline condition    Figure 1b: Reward condition 

Figure 1c: Effort condition        Figure 1d: Effort condition ‘outside’    

  A shortened version of the _​Igroup Presence Questionnaire _​(IPQ) (Schubert, 

Friedmann & Regenbrecht, 2001) was adapted for this experiment specifically. The IPQ was  used to measure the amount of presence participants experienced during the different  conditions. The items were scored using a Likert­scale (1 through 5). A higher score indicates  a higher sense of presence.    Furthermore, SR was measured in participants. To measure SR, participants  completed a subscale of _​The Sensitivity to Punishment and Sensitivity to Reward 

Questionnaire _​(SPSRQ) (Torrubia et al. 2001). The participants completed the _​Sensitivity to  Reward _​(SR)­subscale, which contained 24 yes/no items. For every item, one point can be  obtained, with a minimum of zero points and a maximum of 24 points in total. A higher score  on the SR­subscale indicates a higher sensitivity to reward. The SR­subscale is positively  related to Eysenck’s _​Impulsiveness _​Scale_​ ​and the Zuckerman’s _​Sensation Seeking_​ Scales  (Zuckerman & Cloninger, 1996; Torrubia et al. 2001). 

  For this experiment we created a custom­made input device. The goal of this input  device is to make participants expend considerable effort and to enhance one’s immersion by  mimicking the VE. In the VE, participants are driving a minecart, similar to_​ ​a human  powered handcar. To mimic the motion made operating such a cart, we chose a bicycle pump  as the base of our input device. Operating a bicycle pump (‘pumping’) resembles the motion  one would make operating a handcar. Furthermore, the (air) resistance felt while operating  the bicycle pump, makes its usage an effortful activity.  In order to make this bicycle pump an appropriate input device for a computer, we  attached a strip of aluminium to the handle of the pump. This strip of aluminium covers the  entire length of the pump. Since this strip is only attached to the handle, it goes up and down,  along with the pumping motion. Over the aluminium strip, a computer mouse (Logitech  G300) was fixed. Consequently, when moving the bicycle pump­handle up and down, the  aluminium strips moves similarly along the fixed computer mouse. In this manner, the  computer mouse can register the motions of the pump.  To keep the pump in its place while it was being used, we fixed the underside of the  pump to a MDF board. This way, potential differences in tilting of the pump and  participant­to­pump distance between participants are minimized.    Point of Indifference    As a measure of the relationship between reward­ and effort valuation, the point of  indifference (POI) for each subject was determined per condition. Assigning POI values has  demonstrated to be a reliable method for measuring individual differences in subjective effort  (Westbrook, Kester, & Braver, 2013) The POI is reached when the subject no longer 

expresses a preference for the options. At this point the subject will choose the HE/HR just as  much as the LE/LR.    The POI can take on a value between 0 and 1.25. To determine the POI value for each  condition, the average of the values of ‘reward per unit effort’ modifier of the last four trials  is calculated. When the POI is low, the subject needs less reward to choose the HE/HR  option. A higher POI means that the subject needs a higher reward to choose the HE/HR  option. When the POI is equal to zero the subject chooses the HE/HR option, regardless of  effort.  The differences in POI values represent the differences in effort valuation. The  representation of the effort and reward could account for these differences. When reward  representation is constant, differences in the POI values are due to effort valuation. When  effort valuation is held constant, differences in the POI values can be attributed to reward  valuation.     Reward Modifier    The reward­modifier decreases the difference in reward between tracks with each HE  choice, while the difference between track­rewards increases for each LE choice. For each  trial the reward for both tracks is calculated  by subtracting the total effort values from both  tracks (zero for green, two for orange and four for red) and multiplying this value with the  reward­modifier. The outcome is then added to ten for the HE­track and subtracted from ten  for the LE­track.  The value of the reward­modifier ranges between 0, which means no difference  between rewards, and 1.25, which is the maximum possible reward (20 coins) divided by the  maximum possible difference between tracks (16). Each trial starts with a reward­modifier 

value of 0.625, which is the maximum reward­modifier value divided by two. For each  HE­choice, a value is subtracted from the reward­modifier value and for each LE­choice a  value is added to the reward­modifier. The added or subtracted value grows for each  consecutive choice of the same effort type. This value is 0.02 for the first choice, 0.05 for the  second, 0.1 for the third and 0.2 for the fourth (or a higher) consecutive choice of the same  type of effort. With each switch in effort type (from HE to LE or vice versa) this value drops  back to 0.02. The minimum value of the reward modifier has been set to 0 to avoid that the  LE choice pertains a higher reward than the HE choice. The maximum value of the  reward­modifier has been set to 1.25 to avoid scores that are higher than 20 coins .    Analysis  The data will be analyzed using a one­way repeated measures ANOVA (with presence  as predictor variable with three levels). First, we expect a main effect of presence. Second,  we expect that POI’s will be higher in the reward condition, and POI’s will be lower in the  effort condition, compared to the baseline condition. For our manipulation­check (the IPQ)  the same analysis will be used.  To take SR into account, the SR­scores (using a median split) will be used as a  between­subjects factor in a factorial mixed ANOVA. When SR is controlled for, we expect  the POI’s to be lower in all conditions. Furthermore, when SR is taken into account we  expect both POI’s in the baseline­ and effort to be lower, while we expect POI’s in the reward  condition to be dramatically lower. Figure 2 shows a simplified visualisation of these  expectations: using a median split, SR is divided into two groups (high­ and low­SR  individuals). For low­SR individuals POI’s will be (slightly) lower in all conditions. For  high­SR individuals POI’s would be lower in the baseline­ and effort condition. POI’s in the 

reward condition however, would be dramatically lower.      Figure 2. _​Mean POI’s in the Baseline­, Reward­ and Effort condition for High­ and Low SR  individuals (simplified visualisation of expectations).           _​Results  Thirty four participants were included in the analysis. Sixteen participants were  excluded from analysis due to ceiling effects in measurements. One participant did not  partake in all three of the conditions due to nausea, and was excluded. Three participants did  not fill in the IPQ.  First, IPQ­data were analysed using a one­way repeated measures ANOVA. Mean  IPQ­scores and standard deviations are displayed in table 1a. Figure 3a shows the mean  IPQ­score of each condition with corresponding 95% confidence intervals. Mauchly’s W  indicated that the assumption of sphericity was not violated (χ_​2_​= 1.608, _​p _​= 0.447). There 

was a main effect of presence (_​F_​(2,60)_​ ​= 64,674, _​p _​<0.01). Planned contrasts revealed that  presence was significantly higher in both the reward condition (_​F_​(1,30)_​ ​= 9.384,  _​p _​= 0.05)  and the  effort condition (_​F_​(1,30)_​ ​= 42.766 , _​p _​< 0.01.) compared to the baseline condition.  Table 1a.  Mean IPQ­score and Standard Deviation (between Brackets) for the Baseline­, Reward­ and Effort  Condition                                Figure 3a. _​Mean IPQ­score in the Baseline­, Reward­ and Effort condition with corresponding 95%  confidence intervals, adjusted for a within­subjects design.   

    The POI­data were analysed using a one way repeated measures ANOVA. Mean  POI’s and standard deviations are displayed in table 1b. Figure 3b shows the mean POI of the  three conditions with corresponding 95% confidence intervals. Mauchly’s W indicates that  the assumption of sphericity is not violated (χ_​2 _​= 3.512, _​p _​= 0.173). There was no main effect  of presence on POI (_​F_​(2,66)_​ ​= 1.448, _​p _​= 0.242). Planned contrasts revealed that there was no  significant difference in POI between the reward­ and baseline condition (_​F_​(1,33)_​ = _​0.318,  _​p  = 0.577). Furthermore, there was no difference in POI between the effort­ and baseline  condition, but a trend was showing, however: _​F_​(1,33)_​ ​= 3.680, _​p _​= 0.064.  Table 1b  Mean POI and Standard Deviation (between Brackets) for the Baseline­, Reward­ and Effort  Condition                            Figure 3b.  _​Mean POI in the Baseline­, Reward­ and Effort condition with corresponding 95% 

confidence intervals, adjusted for a within­subjects design.    The POI­data were also analysed with SR­scores as a between subjects factor, using a  factorial mixed ANOVA. Mauchly’s W indicates that the assumption of sphericity was not  violated (χ_​2 _​= 3.631, _​p _​= 0.163). Also the assumption of equality of variance was not violated  for all measurements (_​p_​ < 0.05). There were no differences in POI between high­ and low SR  F_​(1,32) = .667, _​p _​= 0.420. Furthermore, SR had no main effect on POI (_​F _​(2,64)= 0.279, _​p_​ =  0.757). Planned contrast revealed that was no difference in POI between the reward­ (_​F_​(1,32)  = 0.180, _​p _​= 0.675) and baseline condition. Compared to the baseline condition, the effort  condition had no effect (_​F_​(1,32)_​ ​= 0.746, _​p _​= 0.394). Mean POI­scores for low­ and high­ SR  are displayed in figure 4.                    Figure 4. _​Mean POI for High­ and Low SR (median split) for the Baseline­ Reward­ and  Effort condition, with correspoding 95% confidence intervals, adjusted for a within­subjects  design.  Discussion 

In the current study, we assessed if presence affects two components of EBDM  (effort­ and reward valuation). To get a clear picture of how presence specifically affects  EBDM, we also took SR, another factor affecting EBDM (specifically: reward valuation),  into account. Our expectations were not met; there was no effect of presence on EBDM.  When SR was taken into account there was, again, no effect. Presence however, was higher  in the reward­ and effort condition, compared to the baseline condition, as expected. While  presence was enhanced, this had no effect on EBDM. This might imply that there simply is  no effect of presence on EBDM. However, this study has some technical flaws which might  have contributed to this non­effect. For instance, VR is a relatively new technology, and there  is still much to learn about its characteristics (Fox, 2009). Another technical flaw is that a  large portion of the participants were excluded from analysis due to ceiling­effects. The POI  was not reached, because the POI was ‘out of range’ for our measurements. This can have a  number of causes.      One possible cause for this ceiling­effect, may be due to participants making their  decision regardless of effort. This can happen because the required effort simply isn’t  effortful enough. When there is no effort to be considered, one would naturally opt for the  HR. In this experiment, we used physical activity as effort. Making physical activity more  effortful might not be a solution, however. Again, participants are prone to fatigue. When the  required effort is too high, participants will not have the strength and endurance to complete  the task. However, physical activity does not necessarily have to be ‘heavy’ to require effort.  Heavy physical effort is wearisome, but wearisome activity does not have to be physically  heavy.  For instance, threading a needle is considered to be tedious and effort­requiring, but  not a physical burden. Finding a way to elicit effort in participants, without being (too)  physically heavy, might reduce the ceiling­effect. 

  Furthermore, in psychological research, VR is a relatively new technology.  Therefore, it is still unclear what the specific characteristics of VR are and how this relates  to­ and affects psychological research (Fox, 2009; Turner & Casey, 2014). For instance,  while using VR in psychological research, VR itself might affect participants, and thereby  VR might be a confounding variable (like invoking high arousal or symptoms of motion  sickness) (Bruck & Waters, 2009). However, there are multiple examples of VR being an  effective tool in (neuro­) psychological research, like using VR as an effective tool for  psychological interventions (Turner & Casey, 2014). Another example is VR’s compatibility  with neuroimaging techniques, where a VR­system can immerse the senses and thereby  successfully eliciting psychological construct of interest (Bohil et al. 2012). Since VR can be  an effective tool in (neuro­)psychological research, VR may give new insights to EBDM as  well.    Based on the current study, we cannot conclude that presence affects EBDM.  However, this study was prone to multiple technical flaws. Therefore, our current goal should  be to identify and solve these technical problems. When this study (and the experiment) is  free of technical limitations, we may (finally) get a decisive answer whether presence affects  EBDM. Not only might this give more insight into EBDM, but this may also give more  insight in VR in psychological research as well. Thus, this study may contribute to a growing  body of knowledge regarding VR in psychological research.           

          References  Bohil, C. J.,  Alicea, B.,  & Biocca, F.A. (2012). Virtual reality in neuroscience research and  therapy. _​Nature Reviews, 12, _​752­762    Bruck, S. & Watters, P. A. (2009). Estimating Cybersickness of Simulated Motion Using the  Simulator Sickness, _​International Conference on Computer Graphics, Imaging and  Visualization, 6, _​486­488    Davis, C., Pattea K., Levitan, R. & Reida, C., Tweed, S. & Curtisa C. (2007). From  motivation to behaviour: A model of reward sensitivity, overeating, and food preferences in  the risk profile for obesity, _​Appetite 48,_​ 12–19    Fox, J., Arena, D. & Bailenson, J.N. (2009). Virtual Reality: A Survival Guide for the Social  Scientist, _​Journal of Media Psychology, 21 (3), _​95­113    Kim, T., & Biocca, F. (1997). Telepresence via television: Two dimensions of telepresence  may have different connections to memory and persuasion. _​Journal of Computer­Mediated  Communication, 3(2)_​. Opgehaald van  http://onlinelibrary.wiley.com/doi/10.1111/j.1083­6101.1997.tb00073.x/full    Kumiawan, I.T., Guitart­Masip, M. & Dolan, R.J. (2011). Dopamine and effort based  decision making, _​Frontiers in Neuroscience, 5_​, 1­10    Ling, Y., Nefs, H. T., Brinkman, W. ­P., Qu, C., & Heynderickx, I. (2013). The relationship  between individual characteristics and experienced presence, _​Computers in Human Behavior.  29(4)_​, 1519­1530.    Oculus VR. (2014). Oculus DK2. Retrieved from https://www.oculus.com/dk2/    Schubert, T., Friedmann, F., & Regenbrecht, H. (2001). The Experience of Presence: Factor  Analytic Insights, _​Presence, 10 (3), _​266­281    Schuemie, M.J., Van der Straaten, P., Krijn, M. & Van de Mast, C.A.P.G (2001) Research on  Presence in Virtual Reality: A Survey, _​CyberPsychology & Behavior 4 (2),_​ 183­201    Slater, M. (2009). Place illusion and plausibility can lead to realistic behaviour in immersive  virtual environments. _​Philosophical Transactions of the Royal Society B, 364, _​3549–3557 

  Torrubia, R., Ávila, C., Moltó, J. & Caseras, X. (2001). The Sensitivity to Punishment and  Sensitivity to Reward Questionnarie (SPSRQ) as a measure of Gray’s anxiety and impulsivity  dimensions. _​Personality and Individual Differences, 31, _​837­862    Treadway, M.T., Buckholtz, J.W., Cowan, R.L., Woodward, N.D., Li, R., Ansari, M.S.,    Baldwin, R.M., Schwartzman, A.N., Kessler, I.R.M., & Zald D.H. (2012). Dopaminergic  Mechanisms of Individual Differences in Human Effort­Based Decision­Making. _​The  Journal of Neuroscience, 32 (18),_​ 6170­6176    Turner, W.A. & Casey, L.M. (2014) Outcomes associated with virtual reality in  psychological  interventions: where are we now? _​Clinical Psychology Review, 34, _​634­644    Van Leijenhorst, L., Zanolie, K., Van Meel, C.S., Westenberg, P.M., Rombouts, S.A.R.B. &  Crone, E.A. (2010). What Motivates the Adolescent? Brain Regions Mediating Reward  Sensitivity across Adolescence, _​Cerebral Cortex, 20, _​61­69    Welch, R.B. (1999). How can we determine if the sense of presence affects task  performance? _​Presence, 8_​, 574–577.    Westbrook, A., Kester, D., & Braver, T. S. (2013). What is the subjective cost of cognitive  effort? Load, trait, and aging effects revealed by economic preference. PLoS One, 8(7),  e68210.    Zuckerman, M., Cloninger, C. R. (1996). Relationships between Cloninger’s, Zuckerman’s  and Eysenck’s dimensions of personality._​ Personality and Individual Differences, 21,  283­286