Measuring implicit self-esteem in adolescence : evaluating the psychometric qualities of an adapted version of the Implicit Association Test

          Measuring Implicit Self­Esteem in Adolescence: Evaluating the Psychometric Qualities  of an Adapted Version of the Implicit Association Test    Lisan N. Kroese  University of Amsterdam                          Student: Lisan Kroese  Student number: 10323759  Professor: Marija Maric  University: University of Amsterdam  Word count: 4988  Word count abstract: 120 

Abstract  The psychometric qualities of an adapted Implicit Association Test specific for adolescents  (IAT­A) were evaluated. The participants were 152 adolescents (82 female) aged 12­18  years (_​M​ = 15.04, _​SD​ = 1.81) from primary and secondary schools in the Netherlands.  Participants completed the IAT­A, the revised Rosenberg’s Self­Esteem Scale (RSES­A)  and the revised Self Perception Profile for Adolescents (SPPA­R) on a computer. Results  showed that the IAT­A had good internal consistency and divergent validity. However,  inter­item and item­total correlations of the IAT­A were not yet satisfactory. Therefore it is  argued that this study was a good initial step towards developing a psychometrically sound  IAT that can accurately measure implicit self­esteem in adolescence, but that more research  is needed for further improvement.     Implicit and Explicit Self­esteem  Self­esteem is considered an important construct in social sciences because of its  role in the development and maintenance of internalizing problems_​1,2​_{. Self­esteem is}  described as the degree to which one values oneself (3, p. 115)_​. _​Greenwald and Banaji_​4  recognized that there is an explicit and an implicit mode of self­esteem_​4​_{. ​Explicit self­esteem}  is the conscious mode of self­esteem_​4,5​_{. For example, ​when people are asked how they feel}  about themselves and they would have the time to consciously reflect on this, their answer  would be an indicator of their explicit self­esteem_​5​_{. Implicit self­esteem, on the other hand,}  is the unconscious mode of self­esteem_​4,5​_{. For example, when people are asked to rate the}  letters of their own name on their positivity or negativity as fast as they can, without  reflecting on it consciously, their positive or negative rating could be used as an indicator of  their implicit self­esteem_​5,6​_.  

The dominant theory about the relation between implicit and explicit self­esteem is  the dual process theory_​7​_{. The dual process theory describes that there is a reflective and an}  associative way of information­processing. In the reflective way of information­processing  information is processed in a rational and conscious manner. In the associative way of  information­processing information is processed in an automatic and unconscious manner_​1​_.  As for self­esteem, explicit self­esteem would be a result of the reflective way of processing  whereas implicit self­esteem would be a result of the associative way of processing. Because  implicit and explicit self­esteem derive from qualitatively different cognitive processes, they  can change distinctively and therefore they can differ_​1​_{. In line with this, research has shown}  that implicit and explicit self­esteem are only moderately correlated_​8.9    The Importance of Implicit Self­esteem  While most research has focused on explicit self­esteem, implicit self­esteem seems  distinct from explicit self­esteem and should therefore be taken into account as well_​2​_.  Moreover, implicit self­esteem might be an important construct to consider in the relation  between self­esteem and internalizing problem_​1,4,9​_{. While a direct link between implicit}  self­esteem and internalizing problems has not yet been found, there are numerous studies  that show that the discrepancy between implicit and explicit self­esteem is an important  predictor of internalizing problems_​1,2,10​_{. As Leeuwis et al.​}2​ _{suggested: ”Self­esteem} 

discrepancies are suggested to be maladaptive because they imply that individuals hold two  inconsistent views of the self.” (p. 910). To detect a self­esteem discrepancy, information  about the implicit self­esteem in addition to the explicit self­esteem is needed and therefore  properly measuring implicit self­esteem is an important endeavor_​2,11,12​_. 

The Importance of Implicit Self­esteem in Adolescence  Measuring implicit self­esteem might especially be important in adolescence. Not  only has research shown that implicit self­esteem tends to be at its lowest point at this period  in life, but also that implicit self­esteem continuously declines during adolescence while  explicit self­esteem increases at the beginning but declines at the end_​11​_{. These kind of}  asymmetrical changes in self­esteem increase the risk for developing self­esteem  discrepancies_​1​_{. In adolescence, self­esteem discrepancies have been linked to social anxiety}  and depression with suicide ideation_​2,12​_{. Taking this into consideration, it is of great}  importance to detect such a discrepancy in adolescence so that suitable therapy can be  offered. As information about the implicit self­esteem is required for this, it might be of  crucial importance to assess implicit self­esteem in adolescence_​13,14,15​_.    Since implicit self­esteem seems distinct from explicit self­esteem it should also be  measured in a different way_​4,8,11,16​_{. While explicit self­esteem can be assessed by asking}  people to directly report how they feel about themselves using self­report measures, this  strategy is not suitable for measuring implicit self­esteem_​5,17​_{. Implicit self­esteem, due to its}  unconscious nature, can only be assessed using indirect measures_​5​_.     The Implicit Association Test  Because of the increased interest in the role of implicit self­esteem, researchers have  developed several implicit self­esteem measures_​8,11​_{. One of the most widely used}  instruments for measuring implicit self­esteem is the Implicit Association Test (IAT)_​18​_. The  IAT is a computer­task that aims to measure implicit self­esteem by assessing automatic and  unconscious associations related to the self_​7​_{. For example, people with high implicit}  self­esteem would unconsciously associate positive words like “good” and “smart” with 

themselves whereas for people with low implicit self­esteem this would be the case for  negative words like “bad” and “stupid”_​7​_{. The IAT intents to measure these associations by}  assessing ”the association between a _{​target­concept discrimination​} and an _​attribute 

dimension_​” (7, p. 1465). The _{​target­concept discrimination ​}consists of “self” versus  “non­self” words and the _{​attribute dimension ​}consists of “pleasant” versus “unpleasant”  words_​7​_{. Words are shown in the centre of the screen and participants are asked to categorize}  these words by pressing either a left or a right key on the keyboard. An example of one trial  of an IAT self­esteem is shown in Figure 1.     Figure 1. _​Screenshot of a trial in the compatible block of a Dutch IAT self­esteem described  in “Damaged self­esteem is associated with internalizing problems,” by D. H. Creemers, R.  H. Scholte, R. C. Engels, M. J. Prinstein, and R. W. Wiers, 2013, _{​Frontiers in psychology, 4,}  p. 2. The left key corresponds with both categories shown on the upper left of the screen  while the right key corresponds with both categories shown on the upper right of the screen.  For every trial a new word appears in the middle of the screen that has to be categorized by  pressing either the left or the right key.   

In the first two blocks of the test, participants categorize words from one dimension  by pressing the corresponding key. For example, “self” words correspond with the left key  while “non­self” words correspond with the right key. After this, there are two compatible  and two incompatible blocks in which participants categorize words from both dimensions  by pressing the corresponding key. For example, in the compatible blocks both “self” and  “pleasant” words correspond with the left key, while both “non­self” and “unpleasant”  words correspond with the right key (see Figure 1). Implicit self­esteem is assessed by  taking the difference in reaction times between trials in the compatible block and the  incompatible block_​7,18​_{. If participants show faster reaction times in the compatible block}  than in the incompatible block, this is an indicator of high implicit self­esteem_​7​_{. The block}  order of the IAT is shown in Table 1.       Table 1  Block Order of the IAT Self­Esteem 

Block   No. of trials  Block name  Left key  response  

Right key  response  

1  20  Target  Self  Non­self 

2  20  Attribute  Pleasant  Unpleasant 

3  20  Compatible 

practice 

Self + Pleasant   Non­self +  Unpleasant 

4  40  Compatible test  Self + Pleasant  Non­self + 

Unpleasant 

5  20  Reversed target  Non­self  Self 

6  20  Incompatible  practice  Non­self +  Pleasant  Self +  Unpleasant  7  40  Incompatible  test  Non­self +  Pleasant  Self +  Unpleasant  Note. _​Names shown for both left key and right key response columns are the names of the  categories of words that correspond to that key. Each of these categories contains several  words. Block 5 is the same as block 1, but with reversed corresponding keys. 

    Various studies have shown that the IAT possesses the best overall psychometric  qualities, compared to other implicit self­esteem measures_​19​_{. Reliability is the extent to}  which a measure produces consistent results that stay the same under the same conditions.  Validity is the extent to which a measure actually measures what it is intended to measure  (20, p. 12). Studies on the psychometric qualities of the IAT self­esteem provided evidence  for satisfactory to good reliability and validity_​7,8,16,17,21​_{. Considering reliability, studies}  reported good internal consistency, which is the extent to which the items of a measure  produce results that are consistent with the overall measure (20, p.708). For the IAT  self­esteem,  a Cronbach’s _​α​ of .82 and Spearman­Brown split­half reliabilities of .83 and  .85 were found_​17,21​_{. Considering validity, studies reported good divergent validity, which is}  the extent to which two measures of distinct concepts are unrelated_​22​_{. For the IAT,}  correlations between implicit and explicit measures of self­esteem of .13, .17, .18 and .22  were found_​7,8,16,21​_.   However, it must be noted that the usefulness of the correlation between implicit and  explicit self­esteem as an indicator of divergent validity is under debate_​8,9,23​_{. Central in this}  debate is the concept of construct validity, which is the extent to which a measure actually  measures the construct that it is intended to measure_​22​_{. Construct validity consists of}  divergent validity and convergent validity. Divergent validity, as described above, is the  extent to which two measures of distinct concepts are unrelated. Convergent validity, on the  other hand, is the extent to which two measures of the same concept are related_​22​_. According  to the dual process theory, the moderate to low correlation mostly found between implicit  and explicit self­esteem is desirable, because it demonstrates that they are distinct 

Greenwald et al._​23 ​_{argue that implicit and explicit self­esteem share a latent variable}  indicated as association strength, and therefore a higher implicit­explicit correlation is  desirable since it would be an indicator of construct validity_​23​_{. In their view, the}  implicit­explicit correlation could be higher for a more sensitive measure of implicit  self­esteem, that is, in case the explicit self­esteem measure is also a proper measure.  Therefore they argue that a higher implicit­explicit correlation is possible if implicit  self­esteem measures would be improved, for example by using improved scoring  algorithms_​23​_.   Taking all this into account, two things can be concluded about measuring implicit  self­esteem in adolescence. First, since the psychometric qualities of the IAT outperformed  those of other implicit self­esteem measures, the IAT should be the first choice when  intending to measure implicit self­esteem in adolescence_​7,8,16,17,21​_{. Second, it is important to}  keep in mind that there is no consensus about the way the validity of the IAT should be  interpreted and therefore one should be cautious when evaluating the validity of the IAT in  adolescence_​8,9,23​_.    The Implicit Association Test for Adolescents  The IAT has been used to measure implicit self­esteem in adolescents in a small  number of studies_​24,25,26,27​_{. However, two limitations of previous studies are worth}  mentioning. First, the way in which the IAT was adapted for adolescents was lacking a  systematic and argumentative procedure. The earliest study that reported using the IAT to  measure self­esteem in adolescence was the study of Sandstrom and Jordan_​26​_{. They used the}  IAT for measuring self­esteem in adults by Greenwald and Farnham_​16​ _{without adapting it}  for the use with adolescents_​26​_{. The next study was that of Bos, Huijding, Muris, Vogel and} 

Biesheuvel_​24​_{. The only thing they reported about how they adapted their IAT was that they}  adapted it in accordance with the procedure described in Field and Lawson_​28​_{. In this study,}  however, the only procedure described was that of the standard IAT design_​18,28​_{. Moreover, in}  the study of Field and Lawson, an IAT that evaluates animal types in children is used. Since  Bos et al. intended to evaluate self­esteem in adolescents, it is not exactly clear why they  refer to that study for their procedure to adapt the IAT. About the stimulus words used, Bos  et al. mention some examples such as “nice”, “smart”, “stupid” and “dumb”. However, why  they used these stimuli words and where they got them from, is not mentioned_​24​_{. It therefore}  remains unclear what Bos et al. adapted exactly to design their IAT. The remaining two  studies that used the IAT to measure self­esteem in adolescence only noted that they used  the same stimuli words for their IAT as Bos et al. did. However, they did not mention their  reason for this_​25,27​_{. In sum, IATs have been used to measure implicit self­esteem in}  adolescence, but the way they have been adapted for the use with adolescents was lacking  systematic and argumentative procedure.   Second, despite that studies mentioned above used some new, adapted version of the  IAT, none of these were conducted with the goal of assessing the psychometric qualities of  the IAT used. As a consequence, only two of the studies reported the validity and reliability  of the IAT. For the validity, correlations between the IAT and explicit self­esteem measures  of .02, .03 and .05 were reported_​24,27​_{. For the reliability, Bos et al. reported a considerably}  low Spearman­Brown reliability of .49, whereas van Tuijl et al. reported satisfactory  Spearman­Brown reliabilities of .74 and .77 (20, p. 709). This seems ambiguous,  considering that the same stimulus words and algorithm for analysing the data were used  24,27​_{. An explanation for that could be that with the Spearman­Brown split­half method there}  are a lot of different ways in which the data set can be split into two, since splitting occurs 

randomly. Thereby, the way the data were split could have influenced the results (20, p.  708). The spearman­brown reliability being the only measure of reliability in these studies  could therefore be an explanation of the inconsistent results, and other ways of investigating  reliability should be used in addition. In sum, the IAT has been used to measure implicit  self­esteem in adolescents, but studies on the psychometric qualities of these IAT measures  in adolescence are lacking.   Taking all this into account, two things can be concluded about the IAT measures  that have been used to measure implicit self­esteem in adolescence. First, a study that uses  and describes a systematic and argumentative procedure for adapting their IAT and  choosing their stimuli words for the use with adolescents, is lacking. Second, there has not  yet been a study that is conducted to evaluate the psychometric qualities of an adapted IAT.     This Study  In this study, the IAT self­esteem used in young adults by Creemers et al._​1​ _was  adapted for the use with adolescents. The goal of the current study was to evaluate the  psychometric qualities of the adapted IAT for adolescents (IAT­A). The first research  question was: what is the reliability of the IAT­A? Since the IAT­A was adapted  systematically for the use with adolescent according to the results of a pilot study conducted  in this age group, it was expected that the reliability of the IAT­A was at least as high as the  reliability of the IAT for adults by Creemers et al._​1​_{. The second research question was: what}  is the validity of the IAT­A? Because of the existing disagreement on the utility of the  implicit­explicit correlation as either divergent validity or convergent validity, this question  was exploratory in nature, so that it was not guided by specific hypotheses but by the 

following question: Does the IAT­A display construct validity by demonstrating either  divergent validity or convergent validity?     Method  Participants  The participants were 152 adolescents (82 female) aged 12­18 years (_​M​ = 15.04, _​SD  = 1.81) from seven primary and secondary schools in the Netherlands. The primary school  participants were in sixth grade, the secondary school participants were in senior general  secondary education or in pre­university education. The nationality was Dutch for 94% of  the participants, the remaining 6% had other nationalities. The adolescents were recruited by  approaching 15 primary and secondary schools in the Netherlands. Parental and adolescent  active consent were obtained before testing took place.     Materials  Implicit self­esteem was assessed with the IAT­A, which was an adapted version of  the IAT self­esteem used in young adults by Creemers et al. (2013). The IAT of Creemers et  al. had a significant internal consistency, assessed by computing a correlation between test  and practice blocks (r = .62, p < 0.001). The stimulus words used were selected based on  their relevance, measured by their positive or negative valence, in a survey study among  adults (29, as cited in 30).  The IAT­A used in this study was derived according to the following procedure.  First, permission from the first author was acquired to use and adapt the IAT self­esteem of  Creemers et al. (2013). Second, a pilot study was conducted among five adolescents (three  male) aged 12­16 years to assess if the stimulus words were understandable and applicable 

for adolescents. Third, based on the pilot study, the category labels and some of the stimulus  words for the _{​attribute dimension​} of the IAT were changed. The stimulus words used in the 

target­concept discrimination_​ were adopted without changing them. The original and  adapted category labels and stimulus words are shown in Table 2.     Table 2.   Original and Adapted Category Labels and Stimulus Words of the Attribute Dimension  Original category  label   Original stimulus  words  Adapted category  label  Adapted stimulus  words 

Valuable  Valuable  Important  Important 

  Competent    Good 

  Loved    Popular 

  Powerful    Strong 

  Successful    Successful 

  Capable    Handy 

Worthless  Worthless  Unimportant  Unimportant 

  Weak    Weak    Failed    Failed    Inferior    Bad     Loser    Loser    Dumb    Dumb  Note. _​Words that were changed in the adapted version of the IAT­A are shown in boldface.  The original category labels and stimulus words were these used in the IAT described in  “Damaged self­esteem is associated with internalizing problems,” by D. H. Creemers, R. H.  Scholte, R. C. Engels, M. J. Prinstein, and R. W. Wiers, 2013, _{​Frontiers in psychology, 4, ​}p.  2. The adapted category labels and stimulus words were these used in the IAT­A. All  stimulus words were translated from Dutch. Note that the meaning and affective valence of  the stimulus words in the English translation might be slightly different than the meaning  and affective valence of the Dutch words used in this study.        

To measure implicit self­esteem the difference in mean reaction times between trials  in the compatible block and trials in the incompatible block was computed. A high score on  the IAT­A indicated a high implicit self­esteem_​1​_{. The same block order was used as shown}  in Table 1. However, blocks within the IAT­A were counterbalanced in order to overcome  the unwanted effect of block order in the IAT reported by Greenwald and Nosek (2001).  They reported that a stronger association strength is usually found in the first of the  combined blocks compared to the second one, irrespectively of the content of the blocks  (23; as cited in 31). The IAT­A was programmed in Inquisit.   Explicit self­esteem was assessed using a revised version of the Dutch Rosenberg’s  Self­Esteem Scale (RSES)_​32​ _{for adolescents and a revised version of the Dutch Self}  Perception Profile for Adolescents (SPPA)_​33​_{. The revised version of the Dutch RSES}  (RSES­A) was adapted for the use with adolescents and is described in the thesis study of  Maan_​34​_{. Based on the pilot study, in some items only one word was changed, for example}  “others” was changed into “adolescents” or “peers”. In other items the whole statement was  changed, for example “I stand positive towards myself” was changed into “I am happy with  myself”. The RSES is a self­report questionnaire that measures global feelings of  self­esteem and consists of 10 items with statements such as “Sometimes I feel completely  useless”. Answers were scored on a 4­point scale, ranging from 1 (_{​totally agree​}) to 4 (_​totally 

disagree_​). Internal consistency and convergent validity of the RSES­A were good_​34​_.   The revised version of the Dutch SPPA (SPPA­R) was adapted to make it more  applicable for the use with adolescents and is described in the thesis study of Sinceretti_​35​_. In  the revised version, the left statement from the original questionnaire was taken on every  trial and changed into a first­person statement, with answers being scored on a 4­point scale.  The content and number of the items stayed the same. The SPPA is a self­report 

questionnaire that measures general feelings of self­worth and specific competencies in  adolescents between 12 and 18 years old_​33​_{. It consists of 35 items containing statements}  such as “I am very satisfied with the way I look”. Answer were scored on a 4­point scale,  ranging from 1 (_{​not at all applicable​}) to 4 (_{​very applicable​}). Internal consistency and  construct validity of the SPPA­R were good_​35​_.     Procedure  This study was approved by the Ethics Committee Psychology before data collection  took place. Participants completed all measures on a computer within the timeframe of one  lesson (ranging from 45 minutes to 60 minutes) in a computer room in their school. The  participants signed an informed consent before testing. Since the order of presenting IAT  and self­report measures of self­esteem has been shown to affect the correlation between  these measures, the order of the measures were counterbalanced so that half the participants  completed the questionnaires first whereas the other half completed the IAT­A first_​31​_.  Participants were asked to carry out the test seriously. The researchers were present in case  anyone needed assistance.      Data analysis strategy  Data processing  The raw data in the data analysis were used to evaluate the reliability of the IAT­A.  To evaluate the validity of the IAT­A, IAT effect scores were needed (D scores). The D  scores ranged from ­2 to +2_​36​_{. ​To get the D scores, the data were transformed using the}  D600 algorithm recommended by Greenwald et al._​23​_.    

Reliability  The reliability of the IAT­A was evaluated by assessing the internal consistency.  This was done by computing a test­practice correlation, a Spearman­Brown split­half  reliability and a Cronbach’s _​α​. Because of the possible limitations of both the  Spearman­Brown method and the test­practice correlation considering data were just split in  one way, a Cronbach’s _​α​ was considered to be needed in addition (20, p. 708).   First, a the test­practice correlation was computed for both combined blocks.  Second, difference scores between trials in the combined blocks were computed. This was  done by subtracting the reaction time on a trial in the compatible block from the reaction  time on the corresponding trial in the incompatible block (e.g. subtracting the reaction time  of trial 1 of block 3 from the reaction time of trial 1 of block 6). This method made it  possible to control for individual differences in baseline reaction time and for order effects  that may have occurred_​8​_{. After this, a Spearman­Brown and Cronbach’s ​α​ were computed}  on these difference scores. The outcome reflected the consistency of the participants to  associate the self with either positive or negative words_​8​_.     Validity   The validity of the IAT­A was evaluated by assessing the construct validity. This  was done by computing a Pearson correlation between the IAT­A and RSES­A, as well as  between the IAT and SPPA­R.    Results  Of the 150 participants in this study 7 participants completed the wrong version of  the IAT­A, that accidentally contained the original words “valuable” and “worthless” 

instead of the adapted words “important” and “unimportant”. Because in this study the  psychometric qualities of the adapted version of the IAT­A containing the adapted words  were evaluated, the data of these participants were excluded from further data analysis.   While transforming the raw IAT­A data using the D600 algorithm, trials with  latencies longer than 10000 ms were eliminated, as well as participants who responded to  more than 10% of their trials with a latency of less than 300 ms_​23​_{. Two participants had a}  response latency of less than 300 ms on more than 10% of their trials. The data of these  participants were excluded from further data analysis.   The data of the remaining 141 participants were used for data analysis. The mean  response latency on trials was 1161.56 ms (_​SD ​= 285.30) in the compatible block and  1167.23 ms (_​SD ​= 352.57) in the incompatible block. The mean D score was 0.08 (_​SD ​=  0.63).   Pearson correlations between test and practice blocks were computed for the IAT­A.  The test­practice correlation was significant for the compatible block, _​r​ = .57, _​p​ < .001, and  for the incompatible block, _​r​ = .76, _​p​ < .001. The mean test­practice correlation was _​r​ = .66.  Spearman­Brown and Cronbach’s _​α ​were also computed for the IAT­A. Results showed that  the IAT­A had high reliability, Spearman­Brown = .88, Cronbach’s _​α​ = .92. Item­total  correlations of the IAT­A ranged from .14 to .61, with 14 item­total correlations below .3.  The mean inter­item correlation was _​r ​= .17.    Pearson correlations between the IAT­A and RSES­A as well as between the IAT­A  and SPPA­R were computed to assess the association between implicit and explicit  self­esteem. There was no significant association between implicit and explicit self­esteem  for the correlation between the IAT­A and the RSES­A, _​r​ = .02, _​p​ = .778, and for the  correlation between the IAT­A and the SPPA­R, _​r = ​­.03, _​p ​= .767.  

  Discussion  In this study, the psychometric qualities of the adapted IAT self­esteem for  adolescents were evaluated. Results indicated that the IAT­A showed good reliability. This  was in line with the first hypothesis because the reported reliability using the mean  test­practice correlation was higher than that in the study of Creemers et al._​1​_{, this was also}  true for the Spearman­Brown and Cronbach’s _​α​. The high reliability values of the IAT­A  were similar to these reported in other studies that used the IAT self­esteem in adults and  higher than the ones reported in earlier studies that used the IAT self­esteem in  adolescents_​17,21,24,27​_{.​ Based on these results, the IAT­A seemed to be a more reliable measure}  than earlier IAT self­esteem measures that were adapted for the use with adolescents.  In terms of validity, _{​the IAT­A showed good divergent validity. The second research}  question was exploratory in nature and was guided by the question if the IAT­A displayed  construct validity by demonstrating either divergent validity or convergent validity. _​Results  indicated that the _{​IAT­A demonstrated divergent validity. The implicit­explicit correlations}  found between the IAT­A and RSES­A, as well as between the IAT­A and SPPA­R, were  lower than the implicit­explicit correlations found in studies that used the IAT self­esteem in  adults and similar to these in earlier studies that used the IAT self­esteem in  adolescents_​7,8,16,21,24,27​_{. This suggests that implicit and explicit self­esteem might even be}  more distinct in adolescents than in adults.   The evidence for divergent validity of the IAT­A found in this study suggests that  the constructs of implicit and explicit self­esteem in adolescence are truly distinct. The  results therefore support the dual process theory_​8,9​_.  

However, some limitations of this study are worth mentioning. First, despite the high  Spearman­Brown and Cronbach’s _​α​ values for internal consistency, 25% of the items had an  item­total correlation below _​r ​= .3. This indicates that the high internal consistency of the  IAT­A might be questionable, considering that the difference items with values below _​r ​= .3  do not correlate well enough with the measure as a whole (20, p. 713). The average  inter­item correlation was also low, indicating that the different items did not correlate well  enough with each other (20, p. 712). This suggests that the high Spearman­Brown and  Cronbach’s _​α ​values found might not have been caused by the IAT­A truly being highly  internally consistent. Since the number of items is known to influence the _{​Spearman­Brown}  and Cronbach’s _​α ​values, _{​an alternative explanation ​could be that the high number of items}  that the reliability analysis was conducted on caused the _{​Spearman­Brown and Cronbach’s ​α}  values to go up (20, p. 709). In accordance with the D600 algorithm the practice blocks were  included in the analysis, which resulted in 60 difference scores that the reliability analysis  was conducted on. Thus, despite the high internal consistency values reported, the reliability  of the IAT­A might still be questionable. Since other studies using the IAT self­esteem did  not report the item­total or average inter­item correlations, it might be that these values were  unsatisfying in other studies as well. The IAT­A could then still be a reliable implicit  self­esteem measure for adolescents, compared to other measures. However, it can be  concluded that the IAT­A is not as highly reliable as the results suggested.   Second, since the reliability of the IAT­A might still be questionable, deriving  conclusions from the correlation found between implicit and explicit self­esteem should be  done cautiously. Because of its reliability being questionable, the IAT­A might not have  been a perfectly accurate measure of implicit self­esteem. Because of this it might not have  been able to detect the true correlation between implicit and explicit self­esteem yet. The 

very low implicit­explicit correlations reported in this study could have been influenced by  measurement error and should therefore be interpreted cautiously. It might be that a higher  correlation would have been obtained if the IAT­A was perfectly internally consistent. Even  though the results of this study support the dual process theory, it could still be that if  item­total and average inter­item correlations were satisfying, a higher correlation could  have been obtained, suggesting convergent validity. This would have been supporting the  view of Greenwald et al._​23​_{. The low implicit­explicit correlations found in adolescence}  might be caused by the implicit self­esteem measures being less developed for adolescents,  considering only a few studies used the IAT in adolescents_​24,25,26,27​_{. Therefore, more research}  is needed in order to make a decisive argument in the debate about the relation between  implicit and explicit self­esteem in adolescence.   Third, because the secondary school participants in this study were all in senior  general secondary education or in pre­university education, they were not representative for  the whole population of adolescents in the Netherlands. Therefore, the results found in this  study only apply to a part of the population of adolescents in the Netherlands.   A number of suggestions are made for future research. First, it is suggested that the  reliability analysis could be conducted on all the items or the uneven items of the combined  test blocks only, thereby reducing the number of difference scores to 40 or 20. The  Spearman­Brown reliability values in this study were lower if conducted on either 40 or 20  items (.81 or .79). This was also true for Cronbach’s _​α ​(.88 or .79). By conducting the  reliability analysis on a smaller number of items, _{​it would be easier to conclude that a high}  internal consistency value found is caused by the IAT really being internally consistent.   Second, it is suggested that in future research participants should be equally divided  among all levels of secondary school. In this way, a representative sample of Dutch 

adolescents will be used, which will be important in developing a representative IAT  self­esteem for adolescents.   Third, in future research it might be useful to conduct a pilot study on a larger  number of adolescents, so that the choice for the adaptation of stimulus words would be  based on data from a larger and therefore more representative sample. In this way, the  adapted words used in the IAT self­esteem for adolescents could be more relevant and  applicable for adolescents. An additional option could be to develop an IAT self­esteem  from scratch. To select relevant words for adolescents, a large pilot study could be  conducted in which adolescents rate a list of words on their positive or negative valence,  like in the study of Hermans and de Houwer_​29​_{. Based on this pilot study, words that were}  rated most strongly positive or negative could then be used in the new IAT self­esteem for  adolescents. In this way, words that are most relevant for adolescents will be used, which  could have a positive influence on the psychometric qualities of the IAT self­esteem for  adolescents.  The research findings in this study suggest that adapting an IAT self­esteem for  adolescents in a systematic and argumentative way can produce promising results. However,  there is still much room for improvement considering the psychometric qualities of the IAT.  Further improving and optimizing the IAT self­esteem for adolescents is highly important,  because only with a psychometrically sound measure can implicit self­esteem be measured  accurately. Then adolescents can be offered the best suitable treatment based on both their  implicit and explicit level of self­esteem. This is relevant because _{​solely focusing on}  enhancing explicit self­esteem might in some cases, such as when both implicit and explicit  self­esteem are low, have a negative effect since it could increase the implicit­explicit  discrepancy_​14​_{. Here, an intervention that enhances implicit self­esteem, for example with} 

methods of classical conditioning, might be needed in addition to an intervention than  enhances explicit self­esteem, like cognitive behavioural treatment_​37​_{. When ​a self­esteem}  discrepancy exists, a mindfulness component in therapy might be suitable _{​since it has}  proved to increase congruence between implicit and explicit self­esteem by allowing people  to bring their intuitive and explicit self­views more in line, hereby increasing inner harmony  and decreasing the implicit­explicit discrepancy_​13​_.   Therefore, if this study would encourage other researchers to study and improve the  IAT self­esteem for adolescents, offering suitable treatment for the variety of self­esteem  problems in adolescents could be achievable.     References  1. Creemers, D. H., Scholte, R. H., Engels, R. C., Prinstein, M. J., & Wiers, R. W. (2013).   Damaged self­esteem is associated with internalizing problems. _{​Frontiers in}   Psychology, 4, _​1­7.   2. Leeuwis, F. H., Koot, H. M., Creemers, D. H., & van Lier, P. A. (2014). Implicit and   Explicit Self­Esteem Discrepancies, Victimization and the Development of Late   Childhood Internalizing Problems. _{​Journal of Abnormal Child Psychology​}, _​43,   909­919.   3. Blascovich, J., & Tomaka, J. (1991). Measures of self­esteem. In J. P. Robinson, P. R.   Shaver & L. S. Wrightsman (Eds.), _{​Measures of Personality and Social}   Psychological Attitudes _​(pp. _{​115­160). San Diego, CA: Academic Press.}  4. Greenwald, A. G., & Banaji, M. R. (1995). Implicit social cognition: Attitudes,   self­esteem, and stereotypes. _{​Psychological Review, 102​}(1), 4­27.   5. Kernis, M. H. (2003). Toward a conceptualization of optimal self­esteem. _{​Psychological}  

Inquiry_​, _​14​(1), 1­26.   

6. Koole, S. L., Dijksterhuis, A., & van Knippenberg, A. (2001). What's in a name: Implicit   self­esteem and the automatic self. _{​Journal of ​}Personality and Social_​ Psychology_​,   80_​(4), 669­685.  7. Buhrmester, M. D., Blanton, H., & Swann Jr, W. B. (2011). Implicit self­esteem: Nature,   measurement, and a new way forward._{​ Journal of Personality and Social}   Psychology, 100_​(2)_​,​ 365­385.   8. Bosson, J. K., Swann Jr, W. B., & Pennebaker, J. W. (2000). Stalking the perfect measure   of implicit self­esteem: The blind men and the elephant revisited?. _{​Journal of}   Personality and Social Psychology, 79_​(4), 631­643.   9. Roefs, A., Huijding, J., Smulders, F. T., MacLeod, C. M., de Jong, P. J., Wiers, R. W., &   Jansen, A. (2011). Implicit measures of association in psychopathology research.   Psychological Bulletin, 137_​(1), 149­193.  10. Schröder_{‐Abé, M., Rudolph, A., & Schütz, A. (2007). High implicit self‐esteem is not}   necessarily advantageous: Discrepancies between explicit and implicit self_‐esteem   and their relationship with anger expression and psychological health. _​European   Journal of Personality, 21_​(3), 319­339.  11. Cai, H., Wu, M., Luo, Y. L., & Yang, J. (2014). Implicit self­esteem decreases in   adolescence: A cross­sectional study. _{​PloS one​}, _{​9(2), ​}1­5.   12. Franck, E., De Raedt, R., Barbez, C., & Rosseel, Y. (2008). Psychometric properties of   the Dutch Rosenberg self­esteem scale._{​ Psychologica Belgica, 48​}(1), 25­35.   13. Koole, S. L., Govorun, O., Cheng, C. M., & Gallucci, M. (2009). Pulling yourself   together: Meditation promotes congruence between implicit and explicit self­esteem.   Journal of Experimental Social Psychology, 45_​(6), 1220­1226. 

14. Korrelboom, K., de Jong, M., Huijbrechts, I., & Daansen, P. (2009). Competitive   memory training (COMET) for treating low self­esteem in patients with eating   disorders: A randomized clinical trial. _{​Journal of Consulting and Clinical}   Psychology, 77_​(5), 974­980.  15. Robins, R. W., & Trzesniewski, K. H. (2005). Self­esteem development across the   lifespan. _{​Current Directions in Psychological Science, 14​}(3), 158­162.   16. Greenwald, A. G., & Farnham, S. D. (2000). Using the implicit association test to   measure self­esteem and self­concept. _{​Journal of Personality and Social Psychology,}   79(6), _​1022­1038.   17. Rudolph, A., Schröder­Abé, M., Schütz, A., Gregg, A. P., & Sedikides, C. (2008).   Through a glass, less darkly? Reassessing convergent and discriminant validity in   measures of implicit self­esteem. _{​European Journal of Psychological Assessment,}   24_​(4), 273­281.  18. Greenwald, A. G., McGhee, D. E., & Schwartz, J. L. (1998). Measuring individual   differences in implicit cognition: The implicit association test. _{​Journal of Personality}   and Social Psychology, 74_​(6), 1464­1480.   19. Krause, S., Back, M. D., Egloff, B., & Schmukle, S. C. (2011). Reliability of implicit   self_{‐esteem measures revisited. ​European Journal of Personality, 25​}(3), 239­251.   20. Field, A. (2013). _{​Discovering statistics using IBM SPSS statistics.​} Sage. 

21. Bar­Anan, Y., & Nosek, B. A. (2014). A comparative investigation of seven indirect   attitude measures. _{​Behavior Research Methods​}, _​46​(3), 668­688. 

22. Bagozzi, R. P., Yi, Y., & Phillips, L. W. (1991). Assessing construct validity in   organizational research. _{​Administrative Science Quarterly​}, _​36​(3), 421­458. 

implicit association test: I. An improved scoring algorithm. _{​Journal of Personality}   and Social Psychology, 85_​(2), 197­216.   24. Bos, A. E., Huijding, J., Muris, P., Vogel, L. R., & Biesheuvel, J. (2010). Global,   contingent and implicit self­esteem and psychopathological symptoms in   adolescents. _{​Personality and Individual Differences, 48​}(3), 311­316.   25. Jo_​ng, P. J. de, Sportel, B. E., De Hullu, E., & Nauta, M. H. (2012). Co­occurrence of   social anxiety and depression symptoms in adolescence: Differential links with   implicit and explicit self­esteem?. _{​Psychological Medicine​}, _​42​(03), 475­484.  26. Sandstrom, M. J., & Jordan, R. (2008). Defensive self­esteem and aggression in   childhood. _{​Journal of Research in Personality, 42​}(2), 506­514.  27. Tuijl, L. A. van, de Jong, P. J., Sportel, B. E., de Hullu, E., & Nauta, M. H. (2014).   Implicit and explicit self­esteem and their reciprocal relationship with symptoms of   depression and social anxiety: A longitudinal study in adolescents. _{​Journal of}  Behavior Therapy and Experimental Psychiatry, 45_​(1), 113­121.  28. Field, A. P., & Lawson, J. (2003). Fear information and the development of fears during   childhood: Effects on implicit fear responses and behavioural avoidance. _​Behaviour   Research and Therapy, 41_​(11), 1277­1293.  29. Hermans, D., & De Houwer, J. (1994). Affective and subjective familiarity ratings of   740 Dutch words, _{​Psychologica Belgica, 34​}(2­3), 115­139.   30. Franck, E., De Raedt, R., Dereu, M., & Van den Abbeele, D. (2007). Implicit and   explicit self­esteem in currently depressed individuals with and without suicidal   ideation. _{​Journal of Behavior Therapy and Experimental Psychiatry, 38​}(1)_​,​ 75­85.  31. Nosek, B. A., Greenwald, A. G., & Banaji, M. R. (2005). Understanding and using the   Implicit Association Test: II. Method variables and construct validity. _{​Personality}  

and Social Psychology Bulletin, 31_​(2), 166­180. 

32. Rosenberg, M. (1979). _{​Conceiving the self.​} New York: Basic Books.  

33. Treffers, P. D. A., Goedhart, A. W., Veerman, J. W., Van den Bergh, B. R. H., Ackaert,   L., & De Rycke, L. (2004). Competentie belevingsschaal voor Adolescenten.   Tijdschrift voor Psychiatrie_​, _​7​, 468­469.  34. Maan, Y. (2016). Onderzoek naar Aanpassing van de Rosenberg’s Self­Esteem Scale   voor Adolescenten [Study on the revise of the Rosenberg’s Self­Esteem Scale for   Adolescents] (Undergraduate). University of Amsterdam, Amsterdam.   35. Sinceretti, M. (2016). Psychometrische eigenschappen van de competentie   belevingsschaal voor adolescenten [Psychometric features of the Dutch Self   Perception Profile for Adolescents] (Undergraduate). University of Amsterdam,   Amsterdam.   36. Nosek, B. A., Greenwald, A. G., & Banaji, M. R. (2007). The Implicit Association Test   at age 7: A methodological and conceptual review. _{​Automatic Processes in Social}   Thinking and Behavior_​, 265­292.  37. Baccus, J. R., Baldwin, M. W., & Packer, D. J. (2004). Increasing implicit self­esteem   through classical conditioning._{​ Psychological Science, 15​}(7), 498­502.