Perceived Causal Relations as a research method for estimating individual attitude structure
Bachelorthesis attitude network approach
Iris Lemmens 10151648 J. Dalege University of Amsterdam 2016 Word count: 3122
2 Abstract
In this research we conducted the first correlational research to estimate individual attitude networks by using the method of perceived causal relations (PCR), in which
participants were asked about possible links between already existing attitude elements. The PCR was validated by both centrality and connectivity, two important features of attitude networks. A positive correlation for centrality with importance was expected as well as a positive correlation for centrality with both extremity and political interest. A total of 91 psychology students of the University of Amsterdam were asked about their attitude toward the Dutch prime minister Mark Rutte. Results showed a weak to moderate positive correlation for centrality and moderate to strong positive correlations for connectivity, indicating that PCR is a valid method to estimate individual attitude networks.
3 Perceived Causal Relations as a research method for estimating individual attitude
structure
Even though attitudes play an important role in everyday life because they influence the way we interpret the world around us and therefore make us behave in a certain way, we haven’t been able to establish a precise definition of attitudes (Dalege , Borsboom, van Harreveld, & van der Maas, 2016a). Despite the vast body of literature we only have rough knowledge about the general features of the structure of attitudes, like attitudes being networks consisting of nodes and edges, where nodes are evaluative reactions and edges the connections between these evaluative reactions (Dalege et al, 2015). However, another possible feature of attitude structures is that it may not be uniform across individuals and we remained uninformed about this concept since we lacked a measurement model to measure this concept. More knowledge about this subject might give us better insight in individual network structures and what behavior one will express according to one’s own individual shaped attitude, making it easier to develop an individual-level strategy to influence (bad) behavior (Dalege, Borsboom, van Harreveld, & van der Maas, 2016a). In this research we will focus on a new research method for estimating individual attitude structures.
Research shows that attitudes are a collection of attitude elements that are associated and therefore form a network. They arise from evaluative reactions of an attitude element consisting of feelings, beliefs and behavior (Ajzen & Fishbein, 1975; Breckler, 1984; Ajzen, 1989). The concept of these network models originate in clinical psychology, where it was found that symptoms do not seem to result from some latent variable, but function as a system of mutually interacting symptoms that can differ for each individual (Borsboom, 2013;
Brogan & Hevey, 2009). Hence, for attitudes we assume the same principle. Just like someone with a panic disorder might avoid social situations because of a fear of having a panic attack in public, one might or might not vote for Mark Rutte because of positive or negative inferences about his political tendencies. These inferences may differ for each individual, just like different people can experience different symptoms for the same mental disorder.
PCR as a method for predicting attitude networks
It is important to note that it is not possible to retrieve desired information directly from the attitude network since networks are too complex (Borsboom et al., 2011). So,
4 concerning current research on estimating attitude networks, there have been correlational studies on attitude networks using the open-access data sets of the American National Election Studies (ANES) of 1980-2012 on attitudes toward presidential candidates (Dalege, Borsboom, van Harreveld, & van der Maas, 2016b). Even though this research is insightful in CAN being a promising model for measuring attitudes and even defining what attitudes are, we remain uninformed about individual attitude networks. Recently a methodology has been developed for investigating the existence of causal relations between symptoms of mental disorders, called Perceived Causal Relations (PCR) (Frewen et al, 2013; Borsboom 2013). Participants are asked for the extent to which they think what given symptom is caused by another which helps to create an image of causal related symptoms of mental disorders per individual. However, symptoms of mental disorders are physically noticeable and it might therefore be easier to measure causal relations because of this physical aspect. Attitude elements and structures are mental representations without any physical aspect and it may therefore be harder to make inferences about causal relations. Therefore PCR will be used in this research to estimate individual relations among attitude elements. It is expected that PCR is a valid method to predict individual attitude networks.
Attitude strength and centrality to validate PCR
To form an attitude, one will make personal inferences about situations and events and will generally want to find information that fits the first evaluative reaction. This theory derived from the free-energy principle (Friston, 2009; Hart, 2009). Assuming that one will find lots of information that fits his or her attitude, this attitude becomes easier accessible and therefore stronger connected, which implies more attitude-behavior consistency than less strong attitude networks (Dalege et al, 2016; Harreveld, 2000).
Previous research has shown that stronger attitudes play a major part in attitude-behavior consistency because of higher connectivity of attitude networks (Krosnick & Patty, 1995, Dalege et al., 2015; Harreveld, Pligt & de Vries, 2000). For connectivity the effect of a high connected attitude implies a more overall drive for consistency of the network and its elements. It is therefore that more consistent behavior may emerge (Dalege et al., 2015; Harreveld, Pligt & de Vries, 2000).
Connectivity makes that a stronger attitude is a better predictor of behavior, but research has also shown that strong attitudes are more resistant to change, highly stable and more influential on the way information is processed (Dalege, Borsboom, van Harreveld, &
5 van der Maas, 2016b). It is for these consistencies that attitude strength, and therefore
connectivity, is a suitable validation for PCR as a method for predicting individual attitude networks.
It is important to note that not just connectivity is a predictor of attitude-behavior consistency, but centrality is too. It is defined by the closeness of associated nodes. Closeness depends on the lengths of the edges from one node to another (Opsahl, Agneessens &
Skvoretz, 2010). More central nodes are thought to have shorter edges and are therefore assumed to be more important, since they contain more information about an attitude than peripheral nodes. It is therefore that central attitude elements have more impact on one’s behavior (Dalege et al., 2015), making centrality a suitable validation for PCR as a method for predicting individual attitude networks.
The Current Study
To apply PCR to attitude networks it is important to expose participants firstly with a variation of possible attitude elements about an attitude object, being the Dutch prime minister Mark Rutte. Because this research takes place in the Netherlands, it is assumed he generally holds a highly relevant attitude for lots of people since he is prime minister for almost six years now. Subsequently participants will make a selection between the attitude elements that either apply or do not apply to them. The elements that are indicated to either apply or not to the participant are assumed to be part of an already existing attitude network about the prime minister. It is these elements that will be taken into account in PCR in which these selected attitude elements will be combined one by one to make inferences about the connection among these elements.
These attitude networks brought forward by using PCR will be validated by centrality and connectivity to see if this method is useful for estimating individual attitude networks. By asking about the importance of the attitude elements, is assumed that items answered as more important are more central in the attitude network about the prime minister, making
importance the valid operationalization of centrality. The attitude networks will also be validated by connectivity using extremity and political interest. The more extreme one’s opinion towards Mark Rutte, the more one is assumed to have formed a consistent attitude about him. A high political interest can be an indication of a highly connected and therefore stronger attitude network towards the prime minister.
6 Method
Participants. We administered an online questionnaire consisting of a maximum of 107 items
to 91first-year psychology students of the University of Amsterdam. Demographic data
showed that Dutch was not the native tongue of all participants. There were six participants with a different native tongue of which four had German as a native tongue, one Tagalog and one Kurdish. There were two participants left out of our data since they stated that they were not serious in answering the questions, leaving us with a dataset of 89 participants. Analysis of nodes showed great variation in the number of nodes for participants. With a range of 13 nodes data showed M=7.778, SE=.44.
Measures. The measures consisted of perceived causal relations based on the individual attitudes towards the Dutch prime minister, a measurement of the personal importance of the image one has of the prime minister, a measure of political interest of the participant and a measure of extremity of the attitude.
Perceived Causal Relations. To make inferences about any causal relations in individual attitude networks, participants were firstly given 14 attitude items covering the affective, cognitive and behavioral elements of their attitude about the prime minister. For the affective items the questions looked like ‘Mark Rutte makes me (feel) …’, completed by different emotions. The cognitive items consisted of ‘I think Mark Rutte is …’ and ended with cognitive terms like competent, unreliable or intelligent. The behavioral items consisted of ‘During the next elections I will vote for Mark Rutte’ and ‘For next elections I will encourage others to vote for Mark Rutte’, suggesting a difference in the strength of voting behavior. Items were assessed on a dichotomous scale of ‘agree’ or ‘disagree’ with an extra option of irrelevance (n.v.t. in Dutch) which participants could choose if they never thought about the statement before, since it’s important for the participants to write down the first thing that comes to mind without rewiring the original attitude network.
Subsequently participants were exposed to items based on their answers on the attitude items, in which the cognitive, affective and behavioral attitude items answered with ‘agree’ or ‘disagree’ were linked to each other by, for example, an item like ‘That Mark Rutte makes me feel <angry>, has to do with my idea of him being <manipulative>’. Both spaces marked with ‘<, >’ are filled with the terms one agreed on previously. Again items were assessed on a slider ranging from ‘agree’ or ‘disagree’.
Importance of attitude elements. Participants were asked how important the terms they agreed upon in the attitude items were to them. The ending part of the sentence was the same for each item and only the first part differed, depending on the category. For the affective
7 terms the beginning was ‘The idea that Mark Rutte makes me <proud>…’. The beginning of cognitive items consisted of ‘The idea that I think Mark Rutte is <incompetent>, …’ and the behavioral items started with ‘The idea that I will vote for Mark Rutte during the next elections…’ and ‘The idea that I will encourage others to vote for Mark Rutte…’. Each importance item ended with ‘…is important for the image I have of him’. The items were assessed with a slider ranging from ‘agree’ to ‘disagree’.
Political interest. Political interest is an indicator of the interest in the attitude towards the prime minister and thereby an indirect measure of the attitude. The syntax of the political interest items were ‘I am … in Dutch politics’ and ‘I am … in the VVD’ (of which Mark Rutte is party leader). The blanks were to be assessed with a three-point scale of ‘very interested’, ‘somewhat interested’ and ‘not interested’. We used the mean of these two items as an indication of political interest. The correlation between the items was r=.44, p <.001.
Extremity. At the end of the questionnaire participants were asked to give a rating of Mark Rutte, thereby giving an indication of their overall opinion towards him. The item’s wording was ‘Give a rating of Mark Rutte on this feeling thermometer’.
A complete list of the items used in this survey can be found in Appendix A.
Data analysis. We expected to find positive correlations corresponding to previous attitude network research by using centrality and connectivity to make inferences about PCR being a valid method for predicting attitude networks.
Network estimation. To make an estimation and form an image about one’s individual attitude network, the attitude items which are answered with ‘agree’ or ‘disagree’ will
represent the nodes of this network. The ratings of how strong people estimate the connection between the agreed or disagreed upon attitude items will be taken into account as edge
weights. The calculations of centrality and connectivity will be based on these resulting PCR-based attitude networks. Centrality will be calculated by closeness, which then will be
correlated with the importance questions. For this analysis there are several data points per participant. We expect that closeness and importance of the attitude items are positively correlated. Connectivity will be calculated using the sum of the connections and will be correlated with the political interest measure and extremity measure. Political interest will be calculated by calculating the mean of all scores on this item. For extremity both a score of 0 and 100 is extreme, therefore the scores on this item will be standardized by the absolute value and subtracting 50 score points from each score. This leaves us with a standardized scale ranging from non-extreme to extreme scores. We will also calculate a correlation
8 between connectivity and political interest and extremity. For connectivity we expect to find a positive correlation for both political interest and extremity.
Results
The histogram about the spread of the amount of nodes in figure 1 depicts the idea of attitude networks being different for each individual. Figure 2 visually shows the difference in connectivity for a participant with high connectivity and a participant with low connectivity.
9
Low strength High strength
Figure 2. Estimated networks of connectivity for the attitude about Mark Rutte. The nodes are the existing associations with Mark Rutte, The green lines represent a positive connection. A thicker line represents a stronger connection than a thinner line and closer nodes are more near each other.
The first prediction was to find a positive correlation for connectivity with both extremity and political interest. First a significant moderate positive correlation has been found for political interest and extremity r=.30, p<.01. The results of the analysis of
connectivity showed, like predicted, a significant moderate to strong positive correlation for connectivity and political interest r=.40, p< .001 and a moderate positive correlation for connectivity and extremity, r=.31, p<.05, as depicted in figure 4. For connectivity, this outcome indicates that PCR is a valid method for estimating individual attitude networks.
The second prediction was to find a positive correlation between centrality and importance of the attitude. The results of the analysis of centrality show, like predicted, a significant weak to moderate positive correlation between closeness and importance of attitudes, r=.23, p<.001 as depicted in figure 5. The results of this study show that PCR is a valid method for measuring individual attitude structures.
10 Figure 4. Scatterplots of the correlation between the connectivity and political interest and connectivity and extremity
11 Discussion
Even though the results that have been found are promising, more research is needed about this subject to make more inferences about these findings. For example, there may be a larger effect if the same survey is executed in a more wide-spread demographic. For this research 91 first year psychology students of the University of Amsterdam were involved, which might have made our outcome more monotonously since they are all people around the same age, with the same amount of intelligence and probably the same background. It could be possible that students of this age and background are preoccupied with other things than politics and therefore it might be hard to estimate their attitude structures about politics. An effect of a more widespread demographic may be an increase in the number of people with multiple attitude elements about politics (figure 1) since political interest increases with age (Glenn & Grimes, 1968). It is therefore that more variation in participants is needed to make inferences about PCR as a method for estimating individual attitude networks.
There is also a possibility that actual correlations might be higher than the correlations found in this study, due to the fact that elections are about one year away from now in the Netherlands. Elections are every four years and especially because it has been three years since people voted and politics change rapidly, former attitudes may have become weaker during this period of time. It is therefore interesting to replicate this research in a little less than a year, assuming that people by then will have formed a stronger attitude about politics and subsequently make stronger effects in this study come forward. This replication can also be held using the same participants, making this study both correlational and longitudinal and thereby also providing us with insights in how individual attitude structures change over time.
Besides the current study of estimating individual attitude networks and previous correlational studies about attitude networks in general, there have also been time-series studies. The idea was that measuring the same participants several times may also give insight in the concept of individual attitude networks, because change of an attitude might give more insight in the shape of it. This study, executed by Bringmann et al. (2013), measured the same participants repeatedly over a short period of time. It is interesting to compare results of this time-series study with a longitudinal version of the current study to see if similar results can be found. The time-series study might then be a validation of the current study, or the other way around.
It is important to mention that PCR originally is a method for estimating causal relations in individual networks. For this research, however, we focused on the feature of PCR being able to estimate individual network structures and not on its feature of exposing
12 causal relations. Nonetheless it might be interesting for future research to investigate causal relations in attitude networks, since it might give us more insight in how attitudes are formed and thereby making it easier to predict and influence behavior. Unfortunately, research about causality in attitude networks is yet non-existing. This study shows that PCR is a valid method for estimating individual attitude networks and might possibly form a basis in investigating causality in attitude structures for future research.
13 References
Ajzen, I. (1989). Attitude structure and function. New Jersey: Lawrence Erlbaum associates. Borsboom D., & Cramer, A. O. J. (2013). Network analysis: An integrative approach to the
structure of psychopathology. Annual Review of Clinical Psychology, 9, 91–121. Borsboom, D., Cramer, A. O. J., Schmittmann, V. D., Epskamp, S., & Waldorp, L. J. (2011).
The small world of psychopathology. PLoS One, 6, e27407. doi:10.1371/journal. pone.0027407
Breckler S. J. (1984). Empirical validation of affect, behavior, and cognition as distinct
components of attitude. Journal of Personality and Social Psychology, 47, 1191–1205. Bringmann L. F., Vissers N., Wichers M., Geschwind N., Kuppens P., Peeters F., Tuerlinckx
F., et al. (2013). A network approach to psychopathology: New insights into clinical longitudinal data. PLoS ONE, 8, e60188.
Brogan, A., & Hevey, D. (2009). The structure of the causal attribution belief network of patients with obesity. British Journal of Health Psychology, 14, 35-48. doi: 10.1348/135910708X292788
Dalege, J., Borsboom, D., van Harreveld, F., van den Berg, H., Conner, M., & van der Maas, H. L. J. (2015). Toward a formalized account of attitudes: The causal attitude network (CAN) model. Psychological Review, 123, 2-22. doi:10.1037/a0039802
Dalege, J., Borsboom, D., van Harreveld, F., & van der Maas, H. L. J. (2016). Network structure explains the impact of attitudes on voting decisions. Manuscript submitted for publication.
Dalege, J., Borsboom, D., van Harreveld, F., & van der Maas, H. L. J. (2016). A network perspective on attitudes: Implications for attitude strength, attitude structure and attitude-behavior consistency. Manuscript in preparation.
Fishbein M., Ajzen I. (1975). Belief, attitude, intention and behavior: An introduction to theory and research. Reading, MA: Addison Wesley.
Frewen, P. A., Schmittmann, V. D., Bringmann, L. F., & Borsboom, D. (2013). Perceived causal relations between anxiety, posttraumatic stress and depression: Extension to moderation, mediation and network analysis. European Journal of
Psycho-Traumatology, 4.
Friston K. (2009). The free-energy principle: A rough guide to the brain? Trends in Cognitive Sciences, 13, 293–301.
Glenn, N. D., & Grimes, M., (1968). Aging, voting, and political interest. American Sociological Review, 33, 563-575.
14 Hart W., Albarracín D., Eagly A. H., Brechan I., Lindberg M. J., Merrill L. (2009). Feeling
validated versus being correct: A meta-analysis of selective exposure to information. Psychological Bulletin, 135, 555–588.
Krosnick J. A., Petty R. E. (1995). Attitude strength: An overview. In R. E. Petty, J. A. Krosnick, Attitude strength: Antecedents and consequences (pp. 1–24). Hillsdale, NJ: Erlbaum.
Opsahl T., Agneessens F., Skvoretz J. (2010). Node centrality in weighted networks: Generalizing degree and shortest paths. Social Networks, 32, 245–251.
van Harreveld, F., van der Pligt, J., & de Vries, N. K. (2000). The structure of attitudes: Attribute importance, accessibility and judgment. British Journal of Social Psychology, 39, 363-380.
15 APPENDIX A
Items included in dataset
13 ATTITUDE-ITEMS
1. Ik vind Mark Rutte oprecht. 2. Ik vind Mark Rutte betrouwbaar. 3. Ik vind Mark Rutte intelligent. 4. Ik vind Mark Rutte competent. 5. Ik vind Mark Rutte charismatisch. 6. Ik vind Mark Rutte zelfingenomen. 7. Ik vind Mark Rutte manipulatief. 8. Mark Rutte maakt me boos. 9. Mark Rutte maakt me trots. 10. Mark Rutte maakt me hoopvol. 11. Mark Rutte maakt me bang.
12. Bij de volgende verkiezingen zou ik op Mark Rutte stemmen.
13. Bij de volgende verkiezingen zou ik vrienden aanmoedigen om op Mark Rutte te stemmen.
Options to answer: a) nog nooit over nagedacht, b) eens, c) oneens.
78 COMBINATION-ITEMS:
1. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat ik Mark Rutte wel of niet betrouwbaar vind.
2. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat ik Mark Rutte wel of niet intelligent vind.
3. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat ik Mark Rutte wel of niet competent vind.
4. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat ik Mark Rutte wel of niet charismatisch vind.
5. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat ik Mark Rutte wel of niet zelfingenomen vind.
6. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat ik Mark Rutte wel of niet manipulatief vind.
7. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat Mark Rutte me wel of niet boos maakt.
8. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat Mark Rutte me wel of niet trots maakt.
9. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat Mark Rutte me wel of niet hoopvol maakt.
10. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat Mark Rutte me wel of niet bang maakt.
16 11. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat ik bij de volgende
verkiezingen wel of niet op Mark Rutte zou stemmen.
12. Dat ik Mark Rutte wel of niet oprecht vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte te stemmen. 13. Dat ik Mark Rutte wel of niet betrouwbaar vind, heeft te maken met dat ik Mark Rutte
wel of niet intelligent vind.
14. Dat ik Mark Rutte wel of niet betrouwbaar vind, heeft te maken met dat ik Mark Rutte wel of niet competent vind.
15. Dat ik Mark Rutte wel of niet betrouwbaar vind, heeft te maken met dat ik Mark Rutte wel of niet charismatisch vind.
16. Dat ik Mark Rutte wel of niet betrouwbaar vind, heeft te maken met dat ik Mark Rutte wel of niet zelfingenomen vind.
17. Dat ik Mark Rutte wel of niet betrouwbaar vind, heeft te maken met dat ik Mark Rutte wel of niet manipulatief vind.
18. Dat ik Mark Rutte wel of niet betrouwbaar vind, heeft te maken met dat Mark Rutte me wel of niet boos maakt.
19. Dat ik Mark Rutte wel of niet betrouwbaar vind, heeft te maken met dat Mark Rutte me wel of niet trots maakt.
20. Dat ik Mark Rutte wel of niet betrouwbaar vind, heeft te maken met dat Mark Rutte me wel of niet hoopvol maakt.
21. Dat ik Mark Rutte wel of niet betrouwbaar vind, heeft te maken met dat Mark Rutte me wel of niet bang maakt.
22. Dat ik Mark Rutte wel of niet betrouwbaar vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet op Mark Rutte zou stemmen.
23. Dat ik Mark Rutte wel of niet betrouwbaar vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte te stemmen.
24. Dat ik Mark Rutte wel of niet intelligent vind, heeft te maken met dat ik Mark Rutte wel of niet competent vind.
25. Dat ik Mark Rutte wel of niet intelligent vind, heeft te maken met dat ik Mark Rutte wel of niet charismatisch vind.
26. Dat ik Mark Rutte wel of niet intelligent vind, heeft te maken met dat ik Mark Rutte wel of niet zelfingenomen vind.
27. Dat ik Mark Rutte wel of niet intelligent vind, heeft te maken met dat ik Mark Rutte wel of niet manipulatief vind.
28. Dat ik Mark Rutte wel of niet intelligent vind, heeft te maken met dat Mark Rutte me wel of niet boos maakt.
29. Dat ik Mark Rutte wel of niet intelligent vind, heeft te maken met dat Mark Rutte me wel of niet trots maakt.
30. Dat ik Mark Rutte wel of niet intelligent vind, heeft te maken met dat Mark Rutte me wel of niet hoopvol maakt.
31. Dat ik Mark Rutte wel of niet intelligent vind, heeft te maken met dat Mark Rutte me wel of niet bang maakt.
17 32. Dat ik Mark Rutte wel of niet intelligent vind, heeft te maken met dat ik bij de
volgende verkiezingen wel of niet op Mark Rutte zou stemmen.
33. Dat ik Mark Rutte wel of niet intelligent vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte te stemmen.
34. Dat ik Mark Rutte wel of niet competent vind, heeft te maken met dat ik Mark Rutte wel of niet charismatisch vind.
35. Dat ik Mark Rutte wel of niet competent vind, heeft te maken met dat ik Mark Rutte wel of niet zelfingenomen vind.
36. Dat ik Mark Rutte wel of niet competent vind, heeft te maken met dat ik Mark Rutte wel of niet manipulatief vind.
37. Dat ik Mark Rutte wel of niet competent vind, heeft te maken met dat Mark Rutte me wel of niet boos maakt.
38. Dat ik Mark Rutte wel of niet competent vind, heeft te maken met dat Mark Rutte me wel of niet trots maakt.
39. Dat ik Mark Rutte wel of niet competent vind, heeft te maken met dat Mark Rutte me wel of niet hoopvol maakt.
40. Dat ik Mark Rutte wel of niet competent vind, heeft te maken met dat Mark Rutte me wel of niet bang maakt.
41. Dat ik Mark Rutte wel of niet competent vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet op Mark Rutte zou stemmen.
42. Dat ik Mark Rutte wel of niet competent vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte te stemmen.
43. Dat ik Mark Rutte wel of niet charismatisch vind, heeft te maken met dat ik Mark Rutte wel of niet zelfingenomen vind.
44. Dat ik Mark Rutte wel of niet charismatisch vind, heeft te maken met dat ik Mark Rutte wel of niet manipulatief vind.
45. Dat ik Mark Rutte wel of niet charismatisch vind, heeft te maken met dat Mark Rutte me wel of niet boos maakt.
46. Dat ik Mark Rutte wel of niet charismatisch vind, heeft te maken met dat Mark Rutte me wel of niet trots maakt.
47. Dat ik Mark Rutte wel of niet charismatisch vind, heeft te maken met dat Mark Rutte me wel of niet hoopvol maakt.
48. Dat ik Mark Rutte wel of niet charismatisch vind, heeft te maken met dat Mark Rutte me wel of niet bang maakt.
49. Dat ik Mark Rutte wel of niet charismatisch vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet op Mark Rutte zou stemmen.
50. Dat ik Mark Rutte wel of niet charismatisch vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte te stemmen.
51. Dat ik Mark Rutte wel of niet zelfingenomen vind, heeft te maken met dat ik Mark Rutte wel of niet manipulatief vind.
18 52. Dat ik Mark Rutte wel of niet zelfingenomen vind, heeft te maken met dat Mark Rutte
me wel of niet boos maakt.
53. Dat ik Mark Rutte wel of niet zelfingenomen vind, heeft te maken met dat Mark Rutte me wel of niet trots maakt.
54. Dat ik Mark Rutte wel of niet zelfingenomen vind, heeft te maken met dat Mark Rutte me wel of niet hoopvol maakt.
55. Dat ik Mark Rutte wel of niet zelfingenomen vind, heeft te maken met dat Mark Rutte me wel of niet bang maakt.
56. Dat ik Mark Rutte wel of niet zelfingenomen vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet op Mark Rutte zou stemmen.
57. Dat ik Mark Rutte wel of niet zelfingenomen vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte te stemmen.
58. Dat ik Mark Rutte wel of niet manipulatief vind, heeft te maken met dat Mark Rutte me wel of niet boos maakt.
59. Dat ik Mark Rutte wel of niet manipulatief vind, heeft te maken met dat Mark Rutte me wel of niet trots maakt.
60. Dat ik Mark Rutte wel of niet manipulatief vind, heeft te maken met dat Mark Rutte me wel of niet hoopvol maakt.
61. Dat ik Mark Rutte wel of niet manipulatief vind, heeft te maken met dat Mark Rutte me wel of niet bang maakt.
62. Dat ik Mark Rutte wel of niet manipulatief vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet op Mark Rutte zou stemmen.
63. Dat ik Mark Rutte wel of niet manipulatief vind, heeft te maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte te stemmen.
64. Dat Mark Rutte me wel of niet boos maakt, heeft te maken met dat Mark Rutte me wel of niet trots maakt.
65. Dat Mark Rutte me wel of niet boos maakt, heeft te maken met dat Mark Rutte me wel of niet hoopvol maakt.
66. Dat Mark Rutte me wel of niet boos maakt, heeft te maken met dat Mark Rutte me wel of niet bang maakt.
67. Dat Mark Rutte me wel of niet boos maakt, heeft te maken met dat ik bij de volgende verkiezingen wel of niet op Mark Rutte zou stemmen.
68. Dat Mark Rutte me wel of niet boos maakt, heeft te maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte zou stemmen. 69. Dat Mark Rutte me wel of niet trots maakt, heeft te maken met dat Mark Rutte me wel
of niet hoopvol maakt.
70. Dat Mark Rutte me wel of niet trots maakt, heeft te maken met dat Mark Rutte me wel of niet bang maakt.
71. Dat Mark Rutte me wel of niet trots maakt, heeft te maken met dat ik bij de volgende verkiezingen wel of niet op Mark Rutte zou stemmen.
72. Dat Mark Rutte me wel of niet trots maakt, heeft te maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte zou stemmen.
19 73. Dat Mark Rutte me wel of niet hoopvol maakt, heeft te maken met dat Mark Rutte me
wel of niet bang maakt.
74. Dat Mark Rutte me wel of niet hoopvol maakt, heeft te maken met dat ik bij de volgende verkiezingen wel of niet op Mark Rutte zou stemmen.
75. Dat Mark Rutte me wel of niet hoopvol maakt, heeft te maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte zou stemmen.
76. Dat Mark Rutte me wel of niet bang maakt, heeft te maken met dat ik bij de volgende verkiezingen wel of niet op Mark Rutte zou stemmen.
77. Dat Mark Rutte me wel of niet bang maakt, heeft te maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte zou stemmen. 78. Dat ik bij de volgende verkiezingen wel of niet op Mark Rutte zou stemmen, heeft te
maken met dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte te stemmen.
Options to answer: slider eens, oneens
13 ITEMS ABOUT IMPORTANCE OF THE ATTITUDE:
1. Dat ik Mark Rutte wel of niet oprecht vind, is belangrijk voor het beeld dat ik van hem heb.
2. Dat ik Mark Rutte wel of niet betrouwbaar vind, is belangrijk voor het beeld dat ik van hem heb.
3. Dat ik Mark Rutte wel of niet intelligent vind, is belangrijk voor het beeld dat ik van hem heb.
4. Dat ik Mark Rutte wel of niet competent vind, is belangrijk voor het beeld dat ik van hem heb.
5. Dat ik Mark Rutte wel of niet charismatisch vind, is belangrijk voor het beeld dat ik van hem heb.
6. Dar ik Mark Rutte wel of niet zelfingenomen vind, is belangrijk voor het beeld dat ik van hem heb.
7. Dat ik Mark Rutte wel of niet manipulatief vind, is belangrijk voor het beeld dat ik van hem heb.
8. Dat Mark Rutte me wel of niet boos maakt, is belangrijk voor het beeld dat ik van hem heb.
9. Dat Mark Rutte me wel of niet trots maakt, is belangrijk voor het beeld dat ik van hem heb.
10. Dat Mark Rutte me wel of niet hoopvol maakt, is belangrijk voor het beeld dat ik van hem heb.
11. Dat Mark Rutte me wel of niet bang maakt, is belangrijk voor het beeld dat ik van hem heb.
12. Dat ik bij de volgende verkiezingen wel of niet op Mark Rutte zou stemmen, is belangrijk voor het beeld dat ik van hem heb.
13. Dat ik bij de volgende verkiezingen wel of niet vrienden zou aanmoedigen om op Mark Rutte te stemmen, is belangrijk voor het beeld dat ik van hem heb.
20 2 ITEMS OF POLITICAL INTEREST:
1. Ik ben … in de Nederlandse politiek. 2. Ik ben … in de VVD.
Options to answer: a) zeer geïnteresseerd, b) enigszins geïnteresseerd, c) niet erg geïnteresseerd.
1 ITEM EXTREMITY
21 Appendix B
Pilot. To explore what beliefs exist about the Dutch prime minister Mark Rutte, we executed an online pilot study which 31 participants responded to. They were asked to fill in a
maximum of 10 blanks about what thoughts and feelings came to mind about him. These results were used to create the first part of the questionnaire, the items for exploring the amount of nodes that exist about the attitude object.
