A research into research methods in Digital Humanities and Digital Sociologies: Tool Criticism

A research into research methods

in Digital Humanities and Digital

Sociologies: Tool Criticism

SUBMITTED IN PARTIAL FULLFILLMENT FOR THE DEGREE OF MASTER OF SCIENCE

Babette Wiechmann

10456635

MASTER INFORMATION STUDIES

HUMAN-CENTERED MULTIMEDIA

FACULTY OF SCIENCE

UNIVERSITY OF AMSTERDAM

1st Supervisor:

Dr. Jacco van

Ossenbruggen

CS, VU

2nd Supervisor:

Dr. Frank

Nack

ISLA, UvA

A research into research methods in Digital Humanities

and Digital Sociologies: Tool Criticism

Babette Wiechmann

babette_wiechmann@hotmail.com

ABSTRACT

The research fields of Humanities and Sociologies do not always have the knowledge of computer- or information-sciences available when making decisions about their dig-ital methodologies. By means of semi-in-depth interviews with academic researchers in the Netherlands, this study focuses on the decision-making process behind choosing a certain digital tool in the preliminary phase of a research in the relative new fields of Digital Humanities and Dig-ital Sociologies. The sub questions of the research discuss subjects concerning the deciding factors, the limitations and possible improvements for choosing digital tools in academic research. Addressed as well, is the question whether aca-demics are aware of the possibility that design decisions of digital tools can influence what information reaches them and how information is being processed. Deciding factors mentioned in the study are: availability, accessibility, con-venience, speed, replicability, the possibility of conduction research on a large scale, open source, and ease of use. The outcomes of this study suggest researchers are aware that digital tools can affect their research outcomes but about in what way a research can be effected by digital tools, the opinions diverge greatly.

ACM Classification Keywords

H.1.2 [User/Machine Systems]: Human factors,

J.4 [Social and Behavioral Science S]: Sociology, J.5 [Arts and Humanities].

KEYWORDS

Digital tools, Research Methodologies, Digital Historicism, Tool Criticism, Digital Humanities, Digital Sociologies, Com-putational Social Science, Decision-making process, Infor-mation technology.

1.

INTRODUCTION

Studying the uses of digital tools in academic research is of importance, among other reasons because if ”librarians in-creasingly support digital publication platforms, they must also understand the user experience of these tools” [9]. And it is not just in Humanities where digital tools are integrated in researches. Many disciplines in, for example, Social Sci-ences are also increasing using digital tools. ”The sociology of digital technologies/digital sociology or whatever term is

adopted must surely begin to expand as a sub- discipline in sociology, given the increasing prevalence of digital tech-nologies” [6]. Digital tools have changed how we do research. Research that was not possible before has become possible with the help of digital tools.

Research is becoming more and more interdisciplinary. Some academics are pleading for ”A new digital historicism” as Andreas Fickers (2012) calls it. ”A new digital histori-cism” consists of an interdisciplinary collaboration ”charac-terized by collaboration between archivists, computer scien-tists, historians and the public, with the aim of developing tools for a new digital source criticism”[3]. A term that can be used is ”Tool criticism”. Digital source criticism or tool criticism is still an understudied field as there is not a lot of research that addresses the issue.

The understudied field of tool criticism will be addressed by considering the usage of digital tools in the exploratory stage of a research: a case study is set up with the aim to make an inventory about what motives a researcher to use a certain tool in the research area of Digital Humanities and Digital Sociology. Sub questions that will be addressed are; How are limitations of digital tools traded in academic re-search?; What are the deciding factors for using a certain digital tool?; Are academics aware of the influence that dig-ital tools can have on the outcome of an academic study?; and what would it take to improve the decision-making pro-cess for choosing a digital tool to conduct research?

2.

RELATED WORK

2.1

Digital Tools in Research

Related work into digital tools comes from, among other, Grosseck et al. (2016) who ”aim to stress the increasing in-fluence of digital and online tools in academic research and writing” in their article ”Script towards research 2.0: The in-fluence of digital and online tools in academic research”[4]. When it comes to using digital tools in research they ob-serve: ”although our students are often called ’digital na-tives’, many of them lack digital literacy”[4]. Using digi-tal tools is one thing, understanding how digidigi-tal tools work and the implications of technical decisions is another thing. Grosseck et al. thus conclude that their ”biggest challenge was to prepare (..) students to take the step from using these digital tools with ease to using them well”[4].

Davidson et al. (2016) also contribute to the field of digital tools in research by identifying ”three critical issues for the future digital tools”[2]:

2. ”Archiving of qualitative data”

3. ”The preparation of qualitative researchers for an era of digital tools”[2].

In their third point Davidson et al. address the same issue as Grosseck et al.. This emphasize the need for more research into how digital tools are used in academic studies. Research into digital tools used in Digital Humanities or Digital Sociologies, however, is rare. There is one example that is very related to this study: the article ”Assessing Dig-ital Humanities Tools: Use of Scalar at a Research Univer-sity” (2016) from D.G. Tracy. This research presents a case study into the usage of Scalar, ”a Digital Humanities pub-lishing platform for media-rich projects, at the University of Illinois at Urbana-Champaign”[9]. For the case study into Scalar, a mixed-methods approach was used: a mix of survey (20 participants) and Interviews (8 participants)[9]. Where Tracy’s research is addressing the tool Scalar, this research does not focus on one specific tool. Instead, this research fo-cuses on what the researchers motives for choosing tools and consequently aims to provides a better understanding of the usage of tools in Digital Humanities and Digital Sociologies in general.

2.2

Source Criticism and Tool Criticism

Source criticism is a known research area related to this study. Related research into source criticism is from Miller (1998) who explains that ”source criticism resembles both art and science because it requires a certain creativity and because it proceeds by shifting data, framing hypotheses, and testing them against the data”[7]. In source criticism, there are two currents: internal and external source criti-cism. ”External source criticism refers to ascertaining the historical origin and sphere of influence of a source” and internal source criticism is concerned with the ”interpreta-tion of the content”[8] . According to Fickers (2012) the distinction should not matter as both currents ”go hand in hand” and are both essential for understanding a source[3]. A ”New digital source criticism”[3], often also referred to as Tool criticism, reviews the source (digital tools) of digital in-formation. As this study is addressing the decision-making process for digital tools in research, Source criticism or bet-ter Tool criticism is very related to this research.

2.3

Digital Methodologies in Humanities and

Sociologies

The use of digital tools in research is a methodological is-sue. Consequently, related work is concerned with the possi-ble methodologies employed in Digital Humanities and Dig-ital sociology. Methodology wise, Lupton (2012) identifies 4 ways in which sociologist use information technology in their professional live: professional digital practice; sociological analyses of digital media; digital data analysis ; and critical digital sociology[6]. Although Lupton continues her article with how to teach students digital sociology, she makes a very notable move, when her quest for an app that supports education in sociology on tertiary level is unsuccessful: ”So, as a bit of an experiment, I set about making my own app. I wanted to see how difficult it would be for someone like me who is not very computer-savvy”[6]. Making one’s own digital tool to conduct research is also an option.

Van Eijnatten et al. (2013) state ”application of new dig-ital techniques offer a number of methodological advantages over more conventional approaches in humanities research,

particularly the history of mentalities”[10]. New method-ologies in the four eras of ”heuristics, analytics, quantitative trans-disciplinarity and new forms of reproducibility” are go-ing to provide a significant contribution to future research in history studies[10]. These are just some of the digital methodologies in Humanities and Sociologies that this study can encounter, while researching the way in which a method, a digital tool, has been chosen to conduct academic research.

3.

METHODOLOGY

As previously discussed in the Related Work paragraph, this research is linked to digital tools, source / tool criti-cism and digital methodologies in academic research. Con-sequently, the methodology chosen for the study are semi-in-depth interviews. As different interview methods are suit-able for different kinds of research, various interview forms were considered. About semi-in-depth interviews academics Johnson and Rowlands proclaim that they are ”best suited to research questions of the descriptive or exploratory type”[5]. As the research question in this study is of an exploratory nature, the semi-in-depth interview methodology was em-ployed. This interview form gives the opportunity to ask questions about select topics and compare the answers. In addition, the interview form of semi-depth also provides the opportunity to interrupt and ask more and different ques-tions in response to the answers received in an interview session.

The interview amount of a research using interviews is a topic subject to debate. Tracy (2016) in his research into the tool Scalar used 8 interviews. Some academic argue that 2 to 10 interviews are enough and other argue 5 till 25 will be sufficient [1]. The moment that a research reaches saturation is also a good point to end a research but according to Beitin (2012) there are some debates of what the point of satura-tion really is[1]. The aim of this research was to perform semi-in-depth interviews with 3 researchers to clarify what motivations are involved in the decision-making process for choosing a certain digital tool in the exploratory stage of a research. The total of semi-in-depth interviews used is thus 6.

3.1

Consent form

A consent form was created in which the participants were informed of the use of their data. The consent form informed participants that the data collected is processed as anony-mous. The data is used for research purposes only and par-ticipants are given 72 hours after an interview to withdraw their consent. For the complete consent form see appendix (original consent form is in Dutch, the English version is also attached in the appendix).

3.2

Interview protocol

An interview protocol with a basis of 12 questions was set-up. The 12 questions were introduced by an opening paragraph with an introduction about tool criticism. Before every interview, the interviewee got the opportunity to read this introduction and ask questions regarding this research. Topics the interview protocol addresses are, among other, the functionalities, limitations and usefulness of digital tools. For the complete interview protocol see appendix (original interview protocol is in Dutch, the English version is also attached in the appendix).

3.3

Demarcation Research

The research will be limited to studies in which digital tools are increasingly used for research:

- Communication studies - Political studies - History studies

These fields of studies were chosen also because they are part of the faculties Humanities and Social Studies. With both large research paradigms represented, there is an op-tion to compare the outcomes per paradigm. 3 participants of this study were academics in the field of Humanities and 3 in the research area of Sociology.

3.4

Sampling

With regards to the selection of academics, 2 methods have been used: randomness and the snowball method. Con-cerning the random selection of which academic to approach for participation for this research, the choice was made to look at the 14 Dutch universities that were affiliated to the VSNU (association of cooperating Dutch universities). From these 14 Dutch universities, technical universities such as the TU Delft and TU Eindhoven, were excluded from the sam-ple as they did not house one of the fields of study in the demarcation of this research. Some university offer inter-disciplinary study programs that combine, for example, in-formation studies and sociology. These university were also excluded. The Open University was also excluded as the de-partments build up differs from traditional universities. In short, the academics that were approached for participation were affiliated to one of the below mentioned universities:

- Free University Amsterdam - University of Amsterdam - University Utrecht - Maastricht University - University Leiden

- Rijks University Groningen - Radboud University

- Wageningen University and research - Erasmus University

Regarding the snowball methods used in selecting partici-pants, the choice was made to follow up on recommendations regarding which academics to approach. In other words, if an academic that has been approached states that he or she does not use digital tools regularly but knows a colleague that does, then that colleague was approached. Academics from 5 different universities responded positive to the invi-tation to participate in the study.

3.5

Circumstances

Researchers interviewed needed to be able feel free to hon-estly reflect on their research methods. Consequently, the interviews and interview transcripts will be made anony-mous as the answers need to be as unconcealed as possible. The transcription of the interview will be made anonymous by removing any name, research, research institute, etc. The interviews have taken place in the working environment of the researcher as the interview questions addressed are work related.

The native language is in interviews always desirable as an interviewee can express him-or her-self better than in a second language. Except for one participant, for the inter-viewees in the study the native language was Dutch. The interview language was consequently Dutch. Although for

one participant Dutch was not the native language but the choice was made to include the interview in the result nev-ertheless. This is because the participant had knowledge of the Dutch language on a professional level. Second, this academic performed research in subjects that were primarily in the Dutch language. And third, this academic proofed to have a very good understanding about tool criticism already in the first reaction on the participant invitation.

4.

PRELIMINARY TESTING

The first two semi-in-depth interviews also served as a trail to test how the subjects of the interview protocol were properly understood. A small issue that arouse from the pre-liminary testing was a definition of digital tools. Although the impression of the first two semi-in-depth interviews was that a definition of digital tools formed naturally as the in-terview progressed, for future inin-terviews a definition was made: ”With digital tools in this study is referred to infor-mation technology that organizes, structures, selects, and / or analyses information” (see appendix). This definition was not made part of the interview protocol but was kept apart as supporting tool in case an interviewee would not formu-late an own definition during the semi-in-depth interview.

After reviewing the answers of the first two semi-in-depth interviews a decision was made to add a control question to the interview protocol to establish if the participants re-ally were aware of the possible influence of digital tools on research outcomes: ”do you have the idea that the use of dig-ital tools can affect a research result?”. This control question was the last question asked in the semi-in-depth interviews. The motive to include a control question was because some questions asked in the interviews of the preliminary test-ing were not answered directly. A direct control question could indicate that even if some questions were not directly answered, the participants did understand the core issue ad-dressed in the research. If the direct control question was unanswerable the interview protocol would have been con-sidered as inadequate. However, the adding of the control question was a success as the answers on it were as direct as the question itself.

Following the preliminary testing a third adaptation was made: in approaching the interviewees during the semi-in-depth interviews the interviewer would take more initiative in keeping the interview on topic. This was necessary to prevent that the content of the interviews would wander off to related, but for this research irrelevant, topics. After the change in approach was carried through, the content of the semi-in-depth interviews became more relevant for this re-search. Together with the definition of digital tools, the con-trol question and more active approach of the interviewer, the remaining semi-in-depth interviews were carried out.

4.1

Results Preliminary Testing

In the preliminary tests, some aspects concerning the decision-making process arouse. The less active approach of the interviewer made the semi-in-depth-interviews of the preliminary testing less structured, which made it impossi-ble to answer the sub questions that are part of the study. Nevertheless, notable results of the preliminary tests will be discussed briefly in the next paragraph. Please note that all quotes used are translated from Dutch and that all tran-scripts of the preliminary tests are available in the appendix in the Dutch language only.

4.2

Humanities

The semi-in-depth interview in the field of Humanities that served as a preliminary test indicated the quality of information / documents that a tool unlocks is very impor-tant when choosing a digital tool. The participant (inter-view 1) in the preliminary test preferred to create a personal database with photos of achieve material to make the links necessary for research. This methodological chose was made because ”I can get it done quickly (making an own database red.) and I think that is really more convenient”. A topic of importance also discussed in this interview were paywalls, which were not considered a problem if the information was essential to a research.

4.3

Sociology

The preliminary test semi-in-depth interview in the field of Sociology indicated that digital tools can be chosen because of the large scale of a research. In addition, the participant (interview 2) in the preliminary test also indicated that the choice for a tool can be because one’s familiarity with it. ”I had an account there and I knew how it worked”. In addition, language recognition was discussed as somewhat of a weakness in some digital tools.

5.

RESULTS

The next paragraph will discuss the results of the study via sub-questions. As said before, all quotes are translated from Dutch to English with the upper most care in pre-serving the meaning of the answer in the translating. The transcripts of all the interviews can be found in the appendix in the Dutch language. The interviews are made anonymous and any names of digital tools are removed.

5.1

WHAT ARE THE DECIDING FACTORS

FOR USING A CERTAIN TOOL IN

RESEARCH?

Several factors that are part of important motivations for using a digital tool concern broader topics like usability and accessibility.

5.1.1

Humanities

One interviewee (interview 3) is pragmatic about the de-ciding factors ”you have figured out ’I want to do this’ and then pursue that and judge case-by-case what (tool red.) is best suited for it”. Deciding factors for choosing a tool can thus differ depending on research needs. In addition, ”If you enter a search term than... uh if the software then knows which spelling variants also need to be searched, then that is a great plus compared to software that doesn’t”.

When asked about the deciding factors, another intervie-wee (interview 4) answered: ”because I knew it was avail-able (..) through a colleague of mine”. ”I thought it was just very accessible and well organized”. Deciding factors that this participant mentioned are accessibility, convenience and speed. A factor that also emerged during this semi-in-depth interview, related to the availability of a tool, was that the information found was satisfactory. ”I thought: ’I have my information now, so I don’t have to look any further’”. The content found via a digital tool also seems to be a deciding factor.

5.1.2

Sociology

Replicability, as one interviewee (interview 5) stated was the most important reason why to build an own digital tool ”because I believe that it should not be a black box”. This participant stated that digital tools should be ”open source in a somewhat accessible language Python or R.”. The choice in the research case discussed in the interview was that the tool must be written in Python because ”Python I find easier and I think Python is better suited to work with texts”. Another deciding factor for using this self-made dig-ital tool was due to the scale of the research. The self-made digital tool enabled a research on a large scale.

This opinion of replicability is not a must mentioned by the other interviewee (interview 6) in this research field. Ease of use was an important factor mentioned here. Some digital tools discussed in the interview were consulted be-cause of their content: ”X (a certain digital tool red.) un-locks the Dutch ... so you should have done that”. This indicates that digital tools are also chosen because of the information they unlock. Naturally this factor was to be expected.

5.2

HOW ARE THE LIMITATIONS OF A

DIGITAL TOOL TREATED?

Broadly speaking two kinds limitations emerged from the interviews with the humanities researchers: technical limi-tations and interface limilimi-tations.

5.2.1

Humanities

”I know some words are corrupted because the OCR (Op-tical character recognition) is not working properly but if I would know which corruptions occur, then I could enter those variants in the search engine” one humanities inter-viewee (interview 3) stated. This interinter-viewee declared that without an index of ”all possible sources including corrup-tions” searching in a search engine is more difficult. During the interview the participant opted the possibility that one could consider what corruptions could possibly occur and enter all these possibilities in a search engine. However, ”I am not trained for that, or maybe just for a bit but I mean it’s not something.. I’d rather that it was just done for me”. When asked further about limitations of digital tools the participant answered, ”sometimes what I want to do cannot be realizable with an existing tool, then I adjust my ambi-tion just a little”.

Concerning the interface this interviewee also expressed the importance of the accessibility of the interface: ”the in-terface is very important because if for example you are look-ing for certain hits from words in a certain broader context, and that context is uh... if you immediately see the context it is easier to go through the material”.

Another interviewee (interview 4) described a different technical problem. ”Downloading in pdf I found a bit tricky: it is somewhat difficult to scroll through the pages and the front also remains very small but I’m not really all that good with that kind of things so it might also have been me”. ”Yes, because I am not a technician (..) such a digital tool I often find difficult and so I think, ’I can find it in other ways’”. The participant indicated that when information was not found via a digital tool ”then I go back to more old-school approach”.

5.2.2

Sociology

that to secure replicability one should make their own digital tools for sociology research because otherwise the research steps can never be repeated: ”unless I make a video of when, I have clicked on what”. But even self-made digital tools have their limitations. On the part of pre-processing data ”many of those libraries that you used uh.. sometimes it worked less well in the Dutch language than in English”. The academic indicates that of course one can train a classifier on Dutch texts if you know a lot about it ”more than we did”. The slightly less precise language recognition in the digital tool was not considered a problem ”for we are not really all that interested in linguistic topics”.

Another participant (interview 6) stated, ”I always use several tools”. This because the tools are complementary. When asked if this academic ever felt like there was more information available than accessible via the digital tool, the answer was ”Yes but of course I always check it the classic way”. ”We always have literature lists and that way supplementing goes really quick (in finding all information red.)”.

5.3

ARE ACADEMICS AWARE OF THE

INFLUENCE THAT DIGITAL TOOLS

HAVE ON RESEARCH OUTCOMES?

That digital tools make a difference in some research cases is a consensus. What kind of differences and why, is a topic of which the opinions are divers, ranging from the idea the own capabilities with digital tool make a difference, to the idea that digital tools make information more accessibility. From self-made tool to control the influence of digital tools, to digital tools as secondary to the research question.

5.3.1

Humanities

All interviewees answered this question with a ”Yes” fol-lowed by a figuratively speaking however. One interviewee (interview 3) indicated that ”the practice of doing research has just changed enormously” and that some humanities aca-demics have changed their research methods due to that fact, an example of this are humanities academics that use data mining. But ”I make a lot of use of digital tools, only it is purely instrumental and I do not let the tools dictate my research however ... I try to search for what is techni-cal possible”. This answer could indicate that this partici-pant was not aware of the possibility that technical design decisions of digital tools can influence research outcomes. But then again, it was this same interviewee that specifi-cally stated that ”corruptions in the OCR” influence search results, which is a clear indication that there is a kind of awareness present that technological design decisions can influence research outcomes.

The figuratively ’yes however’ of another humanities par-ticipant (interview 4) when asked about the influence of dig-ital tools on research outcomes: ”Uh well... in the access to secondary material or so. If all the important data that is somehow not be available, that would affect your research”. ”But for the field in which I am researching (history red.) is much based on archive material, so that’s actually always available”. When asked if paying to get access to information would be an objection, this participant stated, ”it depends on the price”. When asked further the interviewee indicated that other ways to obtain the information would be explored and the option if an employer could be of service in the mat-ter would be explored as well.

5.3.2

Sociology

All interviewees answered this question with a confident ”Yes”. When asked what it was all about, one interviewee answered ”I guess it is about methodology knowledge”. This academic (interview 5) reformulates shortly what this re-search is about when stating: ”so, method knowledge does indeed influence the result and on the way you answer your questions”. ”And the same goes for digital tools”. The other academic (interview 6) also answered this question with yes but with an entirely different perspective: ”I think you’ll find more than in the old days, yeah”. ”I learned how to do research by hand: how you had to apply different research strategies next to each other”. ”That’s unlikely laborious and never quite opaque, that you knew too” (about the old days red.).

5.4

HOW COULD THE DECISION MAKING

PROCESS FOR CHOOSING A DIGITAL

TOOL BE IMPROVED?

Every academic has given their own view about choosing digital tool in their methodology. Now four suggestions to improve the decision-making process from the participants are discussed.

5.4.1

Humanities

”It takes quite a lot of time to look for something (a digital tool red.) and then the desired result is not always achieved, I do always brainstorm about it but I don’t always know what is available on the market” is the reaction of one of the humanities participants (interview 3).

Another reaction (interview 4) was that more knowledge about a tool would be helpful in the decision-making proses:”it would improve, for me, if you would already know how a tool works”. This interviewee indicated that, yes, there are courses available to learn but then you must do it by your-self and you can get lost. ”A kind of help line, such a chat box to ask how it works” was the answer on what would be helpful to solve this issue.

5.4.2

Sociology

According to the sociology participants there is no method to improve the decision-making process for choosing a digital tool. One participant (interview 5) stated, ”I think there is just not that much choice”. The vision of this interviewee is that every social studies researcher should make their own digital tools to conduct research. Consequently, it was to be expected that this question was somewhat unanswerable for this participant. The other academic (interview 6) in this field has the opinion that the only thing that could really be improved was the incorporation of different tools combined in one: ”I’d prefer a tool that covers everything, but that is not yet the case”.

6.

RECURRING THEMES

General issues emerging in this study were the search for suitable digital tools, costs for digital tools or access to databases (for example paywalls), and software limitations due to linguistics.

The subject of the search for suitable digital tools was a constant in this study. Except for one sociologist who makes own digital tools to conduct research, every other participant stated that it can be hard to find a digital tool that does

exactly what they need. Some participants indicated that in the search of finding available digital tools, they just don’t know where to look because the offer is very distributed.

A subject that was also recurring was the issue of costs for either access to tools or databases. Some participants brought this subject to the table where others where specif-ically asked about it. In general, it can be said that costs for tools or paywalls are considered as somewhat a hazard but a surmountable barrier: if it means access to important information or means to a more effective research process, academic are willing to pay a price that can be considered reasonable. Up to what price academic are willing to pay for digital tools or access to databases was not included in this study but amounts mentioned in the semi-depth interviews went up to 30 dollars.

Another subject that was a returning factor in the semi-depth interviews was the limitation due to linguistics. Language recognition is still a barrier. This is an issue that also emerged in the preliminary testing. Humanities par-ticipants especially stated that the evolution of a language (changes in for example spelling over time) can be a problem of some digital tools, which is a point of focus for academics. In addition, translations for one language to the other can be a point of focus as well as not all digital tools are performing translations in a proper manner. Even the participant that makes own digital tools indicated that language translations are a weakness that you must be aware of.

7.

DISCUSSION

7.1

Self-sampling

A possible discussion point emerging from the chosen methodology is that the academics agreeing to participate in the semi-in-depth interviews are academics who are very familiar with digital tools in research and confident to an-swer questions about it. This self-sampling phenomenon is a known issue in the interview methodology. Nevertheless, this research has strived to achieve a good representation of the academics in the research fields chosen. Within the par-ticipants of the semi-depth interviews there are several aca-demics who have stated that they do not use digital tools on a regular basis. Consequently, the self-sampling issue might be somewhat present in this research but the group of aca-demics that are less proficient in the use of digital tools in research is represented in the research sample as well.

7.2

Bigger sample size

6 semi-in-depth interviews were acquired in the study and some might argue that this is not enough to draw conclu-sions from. And yes, this sample size could ideally be larger. But as previously discussed in the paragraph Methodology, in the debate of what number of interviews are sufficient to draw conclusions from, numbers vary from 2 to up to 25 in-terviews. With 6 interviews this study is within the margin.

8.

CONCLUSION

In the decision-making process for choosing digital tools to conduct research, humanities researchers value availability, accessibility, convenience and speed. Although not specifi-cally mentioned, the quality of retrieved documents is some-thing that was continuous in the semi-in-depth interviews. Digital tools with good language recognition are preferred

over those that do not have that capability. For social stud-ies researchers, factors like replicability, the option of con-duction research on a large scale and ease of use, are of im-portance when choosing digital tools for research purposes. Limitations of digital tools are mostly concerning techni-cal issues and interface limitations. Wrongly OCR-ed data was also mentioned as somewhat of a problem. Academics try to diminish these content limitations of digital tools by checking for supplementing information via different tools or by means of more traditional research methods.

Academics are aware of the influence that digital tools can have on research outcomes. The opinion of what kind of in-fluence digital tools have on research outcomes differs per academic. Participants were of opinion that; digital tools are a great improvement compared to old research methods; digital tools should always be submissive to the research question; and own knowledge of digital tools can affect re-search. One academic was of the opinion that the only way to control the effects of digital tools on research is to make one’s own digital tools.

The participants in the research were of opinion that the decision-making process for choosing a digital tool could be improved if:

- Digital tools would be more easily findable on the web. - A kind of online help line would be available for technical issue concerning digital tools in research.

- Several tools would be merged into one digital tool, that coffers all academic research needs.

According to one participant the market for digital tools to conduct research is to small and one can never know exactly how a tool works unless you make a digital tool yourself. Consequently, the fourth solution of improving the decision-making process is to avoid choosing a tool entirely and focus more on the design decisions that are involved in building a tool. This can also be a possible solution for the search for digital tools: building an own digital research tool tailored to your research would resolve the research of digital tools.

However, as one academic indicated that an online help line of technical issues would be desirable, one could con-clude that more interdisciplinary teams, like Fickers (2012) is pleading for in his article ”Towards a new digital his-toricism?”[3], could be desirable. Another possible solution would be that the builders of digital tools strive to clearly communicate design decisions and consequently account for these decisions. Whatever choices are made to handle these uncertainties, academics make their own considerations in how to handle their (digital) methodology in research. Let’s just remember that we always need to reflect on our mytho-logical decisions and critical review our (digital) sources.

9.

FUTURE WORK

9.1

More disciplines

Humanities and Sociology both contain more fields of study in which digital tools are used, than just the fields taken in consideration in this research. Future work would be to re-search the motives for using digital tools in, for example, fields like literary studies and organizational studies.

9.2

Expand research to other research phases

This research focuses on the decision-making process in choosing a tool in the exploratory (first) phase of a research.

Future work would be to expand the research into the use of tools in other, later, phases of a research. Some interviewees participating to this study stated that they learned during a research how to be more effective in conducting research with digital tools. This learning curve can be considered as applicable for all academic research in all research paradigms: gradually we improve our (digital) methods and expand our knowledge.

9.3

Acknowledgments

First, I would like to thank all academics who participated in this research. Thank you for sharing your experiences and thoughts about digital tools and methodologies. In addition, a thank you to first supervisor dr. Jacco van Ossenbruggen, who made the time to advice and supervise this project. Finally, a thank you to dr. Frank Nack as second supervi-sor of this project and as program director of the Master Information Studies.

10.

REFERENCES

[1] Beitin, B. Interview and sampling. J. Gubrium, J. Holstein, A. Marvasti, and K. McKinney, The Sage Handbook of Interview Research: The Complexity of the Craft (2012), 243–254.

[2] Davidson, J., Paulus, T., and Jackson, K. Speculating on the future of digital tools for

qualitative research. Qualitative Inquiry 22, 7 (2016), 606–610.

[3] Fickers, A. Towards a new digital historicism? doing history in the age of abundance. VIEW Journal of European Television History and Culture 1, 1 (2012), 19–26.

[4] Grosseck, G., and Bran, R. Script towards research 2.0: The influence of digital and online tools in academic research. World Journal on Educational Technology: Current Issues 8, 2 (2016), 132–138. [5] Johnson, J. M., and Rowlands, T. The

interpersonal dynamics of in-depth interviewing. The SAGE handbook of interview research: The complexity of the craft (2012), 99–113.

[6] Lupton, D. Digital sociology: an introduction. [7] Miller, R. J. Source criticism and the limits of

certainty: The lukan transfiguration story as a test case. Ephemerides theologicae lovanienses 74, 1 (1998), 127–144.

[8] Pennanen, R. P. Commercial recordings and source criticism in music research: some methodological views. Svensk Tidskrift f¨or Musikforskning 87 (2005), 81–99.

[9] Tracy, D. G. Assessing digital humanities tools: use of scalar at a research university. portal: Libraries and the Academy 16, 1 (2016), 163–189.

[10] Van Eijnatten, J., Pieters, T., and Verheul, J. Big data for global history: The transformative promise of digital humanities. BMGN-Low Countries Historical Review 128, 4 (2013).

APPENDIX

Index of Appendices:

Invitation participation semi-in-depth interview Dutch Appendix 1 Invitation participation semi-in-depth interview English Appendix 2

Consent form Dutch Appendix 3

Consent form English Appendix 4

Interview protocol Dutch Appendix 5

Interview protocol English Appendix 6

Definition Digital Tool Dutch and English Appendix 7 Semi-in-depth interviews: Preliminary Testing

Interview (Humanities) number 1 Appendix 8

Interview (Sociology) number 2 Appendix 9

Semi-in-depth interviews

Interview (Humanities) number 3 Appendix 10

Interview (Humanities) number 4 Appendix 11

Interview (Sociology) number 5 Appendix 12

Appendix 1: Invitation participation semi-in-depth

interview Dutch

Onderwerp: Master afstudeeronderzoek: uitnodiging semi-diepte interview betreffende gebruik digitale tools Geachte heer X, mevrouw X,

Voor mijn master scriptie (MSc) doe ik een onderzoek op het gebied van tool criticism, een relatief nieuw veld waarin onder andere het gebruik van digitale bronnen wordt onderzocht. Hiervoor ben ik op zoek naar

onderzoekers die bereid zijn deel te nemen aan een semi-diepte interview.

Uw onderzoeksgebied, X, is een onderzoeksveld waarin veelal gebruik wordt gemaakt van digitale tools en ik ben dan ook benieuwd wat uw overwegingen zijn bij het selecteren van een tool. Naar aanleiding hiervan zou ik willen vragen of u bereid zou zijn deel te nemen aan mijn onderzoek.

Het semi-diepte interview bestaat in beginsel uit ongeveer 12 open vragen en richt zich op het

besluitvormingsproces voor het gebruik van digitale tools in de exploratieve fase van een onderzoek. Voor een correcte verwerking van de resultaten zullen de interviews worden opgenomen (alleen audio). Deze

audiobestanden worden alleen gedeeld met mijn directe begeleider en zullen na het voltooien van het onderzoek worden gewist. De resultaten van de interviews zullen anoniem verwerkt worden in het onderzoeksverslag. Het interview zou idealiter plaatsvinden op uw werkplek en op een datum en tijd die u schikt (ergens in de komende X weken). De intentie is dat dit onderzoek fungeert als mijn afstudeeronderzoek en tevens gepubliceerd zou kunnen worden.

Graag hoor ik of u interesse heeft om deel te nemen aan een semi-diepte interview voor dit onderzoek. Mocht u vragen en/of opmerkingen hebben, hoor ik dat graag van u.

Met vriendelijk groet, Babette Wiechmann

a.b.m.wiechmann@student.vu.nl

Student Master Information Studies, track Human Centred Multimedia Universiteit van Amsterdam / Vrije Universiteit Amsterdam

Appendix 2: Invitation participation semi-in-depth

interview English

Subject: Master thesis: invitation semi-depth interview regarding use digital tools Dear Sir X, Madam X,

For my master's thesis (MSc) I am doing a research in the field of tool criticism, a relatively new field in which, among other things, the use of digital resources is examined. For this I am looking for researchers who are willing to take part in a semi-depth interview.

Your research field, X, is a research field in which most use digital tools and I am wondering what are your considerations when selecting a tool. In this light, I would like to ask you whether you would be willing to take part in my research. The semi-depth interview consists principally of approximately 12 open questions and focuses on the decision-making process for the use of digital tools in the exploratory stage of a research. For correct processing of the results, the interview will be recorded (audio only). These audio files are only shared with my direct supervisor and will be erased after completing the research report. The results of the interviews will be processed anonymously. The interview ideally would take place on your work place and on a date and time that is to your convenience (sometime in the next X weeks).

The intention is that this research acts as my graduation project and if possible publish. I would like to hear from you whether you are interested to take part in a semi-depth interview for this research. If you have any questions and/or comments, please let me know.

With kind regards, Babette Wiechmann

a.b.m.wiechmann@student.vu.nl

Student Master Information Studies, track Human Centred Multimedia Universiteit van Amsterdam / Vrije Universiteit Amsterdam

Appendix 3: Consent form Dutch

Naam:

Handtekening:

Datum:

Wilt u op de hoogte worden gehouden van de resultaten van dit onderzoek?

o Nee

o Ja, mijn e-mailadres is: ………

“Working title” onderzoek: “A research into research methods in Digital Humanities: Tool Criticism”.

In dit onderzoek wordt door middel van semi-diepte interviews onderzocht hoe het besluitvormingsproces, in

het verkennende stadium van een onderzoek in Digital Humanities, voor het gebruik van een bepaalde digital

tool vorm krijgt.

Uw antwoorden en uitspraken in het diepte-interview zullen worden op genomen (audio) voor een correcte

verwerking van de data ten behoeve van een analyse. Na voltooiing van het onderzoek zal het audiobestand

worden gewist. De resultaten van het onderzoek zullen anoniem worden verwerkt. Uw identiteit zal bekend

zijn bij de uitvoerder van dit onderzoek, Babette Wiechmann, en haar eerste begeleider, dr. Jacco van

Ossenbruggen.

Uw deelname aan dit onderzoek is vrijwillig. U heeft het recht uw toestemming in te trekken of te beëindigen

met betrekking tot uw deelname aan dit onderzoek. Daarnaast kunt u binnen 72 uur na het semi-diepte

interview uw toestemming om uw antwoorden en uitspraken te gebruiken intrekken. U heeft het recht om op

specifieke vragen te weigeren te antwoorden.

Mocht u vragen hebben kunt u contact op nemen met babette.wiechmann@student.uva.nl.

Consent Form

Ik ben meerderjarig,

Ik heb de doeleinden van het onderzoek begrepen,

Ik heb de gelegenheid gehad om vragen te stellen,

Mijn deelname aan dit onderzoek is vrijwillig en

Ik ga akkoord met het gebruik van mijn antwoorden en uitspraken ten behoeve van onderzoeksdoeleinde

zoals hierboven uitgelegd.

Master Information Studies, (plaats), (datum)

Contact: Babette Wiechmann

Information Studies Faculteit der Natuurkunde, Wiskunde en Informatica Universiteit van Amsterdam

Science Park 904 1098 XH Amsterdam Nederland

Appendix 4: Consent form English

Name:

Signature:

Date:

Wilt u op de hoogte worden gehouden van de resultaten van dit onderzoek?

o No

o Yes, my e-mail address is: ………

“Working title” research: “A research into research methods in Digital Humanities: Tool Criticism”.

In this study is explored how the decision-making process, in the exploratory stage of a research in Digital

Humanities for the use of a particular digital tool, takes form by means of semi-in-depth interviews.

Your answers and statements in the in-depth interview will be recorded (audio) for correct processing of data

for the purpose of analysis. After completion of the research, the audio file will be erased. The results of the

research will be processed anonymously. Your identity will be known to the performer of this research,

Babette Wiechmann, and her first supervisor, Dr. Jacco van Ossenbruggen.

Your participation in this research is voluntary. You have the right to withdraw or terminate your permission

in relation to your participation in this research. In addition, you can withdraw your permission within 72

hours after the semi-depth interview to use your answers and statements. You have the right to refuse to reply

to specific questions.

If you have any questions please contact babette.wiechmann@student.uva.nl.

Consent Form

I'm an adult,

I have understood the objectives of the research,

I have had the opportunity to ask questions,

my participation in this research is voluntary and I agree with the use of my answers and statements for the

benefit of research end as explained above.

Master Information Studies, (place), (date)

Contact: Babette Wiechmann

Information Studies Faculteit der Natuurkunde, Wiskunde en Informatica Universiteit van Amsterdam

Science Park 904 1098 XH Amsterdam Nederland

Appendix 5: Interview protocol Dutch

In het digitale tijdperk van vandaag de dag kan men relatief makkelijk informatie vinden. In academisch onderzoek is de evaluatie van een bron cruciaal voor de validiteit van een onderzoek. Een “new digital historicism”, zoals Andreas Fickers (2012) bepleit, bestaat uit een interdisciplinaire samenwerking tussen archivarissen, computerwetenschappers, historici en het publiek om instrumenten te ontwikkelen voor een nieuwe digitale bronnenkritiek (p. 25). Fickers’ “New digital historicism” is vergelijkbaar met wat ook wel “Tool criticism” genoemd wordt en is door Laura Hollink gedefinieerd als het onderzoeken van invloed van de selectie van middelen; de kwaliteit van een digitaliseringsproces; de kwaliteit van het linken van documenten; en vertrouwen in de kwaliteit van externe bronnen (2016). Digital tool criticism is een nog understudied veld dat centraal staat in dit onderzoek. Door middel van semi-diepte interviews heeft dit onderzoek als doel te

inventariseren wat de overwegingen zijn voor het gebruik van een bepaalde tool in het verkennende stadium van een onderzoek. Achtergrond geïnterviewde: Vakgebied: Leeftijd: Geslacht:

• Kunt u een of meer voorbeelden geven van digitale tools die u in het verleden voor uw onderzoek gebruikt heeft?

• Kunt u wat meer vertellen over:

- uw algemene ervaringen met deze tool?

- het onderzoek waarbinnen u die tool heeft gebruikt?

- de concrete onderzoeksvraag die u met deze tool probeerde te beantwoorden? • Welke eigenschappen van deze tool pasten goed bij uw onderzoek?

• Welke eigenschappen van deze tool pasten minder goed bij uw onderzoek? • Wat heeft u er uiteindelijke toe bewogen deze tool te gaan gebruiken? • Heeft u andere tools gebruikt ter vergelijking?

- Zo ja: welke tools? - Zo nee: waarom niet?

• Zou u de tool nog een keer voor uw onderzoek gebruiken?

• Heeft u het idee dat het gebruik van digitale tools invloed kan hebben op het uiteindelijke onderzoeksresultaat?

- Zo ja: welke invloed heeft het gebruik van digitale tools op het uiteindelijke onderzoeksresultaat gehad?

- Zo nee: waarom vindt u dat het gebruik van digitale tools geen invloed heeft gehad op het uiteindelijke onderzoeksresultaat?

• Ziet u mogelijkheden om het keuzeproces om een digitale tool te kiezen voor uw onderzoek in de toekomst te verbeteren?

Referenties:

Fickers, A. (2012). Towards a new digital historicism? Doing history in the age of abundance. VIEW Journal of European Television History and Culture, 1(1), 19-26.

Hollink, Laura. (2016, 10 november). Linked Open Data for the Humanities and Social Science. Retrieved for https://www.slideshare.net/LauraHollink/gest-lecture-linked-open-data-for-thehumanities-and socialsciences

Appendix 6: Interview protocol English

In today’s digital age, one can relatively easy to find information online. In academic research the evaluation of a resource is critical to the validity of a research. A "new digital historicism", as Andreas Fickers (2012) advocates, consists of an interdisciplinary cooperation between registars, computer scientists, historians and the public to develop instruments for a new digital source criticism (p. 25). Fickers ' “new digital historicism" is also called “Tool criticism " and is defined by Laura Hollink as examining the influence of the selection of resources; the quality of a digitalization process; the quality of the linking of documents; and confidence in the quality of external sources (2016). Digital tool criticism is an understudied field, that is central to this research. By means of semi-depth interviews this research aims to identify the considerations made in the exploratory stage of a research in Digital Humanities before choosing to use a particular digital tool. By means of semi-depth interviews, this research has the objective to make an inventory of the considerations for choosing a particular tool in the exploratory stage of a research.

Background interviewee: Research area:

Age: Gender:

• You can give one or more examples of digital tools that you have used in your research in the past? • Can you tell me more about:

- your general experiences with this tool? - the research in which you used the tool?

- the concrete research question that you tried to answer with this tool? • What are the characteristics of this tool that fit well with your research? • What are the characteristics of this tool that fit less well with your research? • What ultimately motivates you to use this tool?

• Do you have other tools used for comparison? - If yes: which tools?

- If no: why not?

• Would you use the tool one more time for your research use?

• Do you have the idea that the use of digital tools can affect the research result?

- If yes: what impact do you think the use of digital tools have on the final research result? - If no: why do you think that the use of digital tools do not influence the final research result? • Do you see opportunities to improve your decision making process for choosing a digital tool for your

research? References:

Fickers, A. (2012). Towards a new digital historicism? Doing history in the age of abundance. VIEW Journal of European Television History and Culture, 1(1), 19-26.

Hollink, Laura. (2016, 10 november). Linked Open Data for the Humanities and Social Science. Retrieved for https://www.slideshare.net/LauraHollink/gest-lecture-linked-open-data-for-the humanities-and-social sciences

Appendix 7: Definition Digital Tool Dutch and English

Met digital tool wordt in dit onderzoek bedoeld: alle informatie technologie die informatie organiseert, structureert, selecteert en / of analyseert.

Definition digital tool English:

With digital tool in this research is meant: all information technology that organizes information, structures, select and/or analyses.

Semi-in-depth interviews: Preliminary Testing

Appendix 8: Interview (Humanities) number 1

I = Interviewer G = Geïnterviewde Vakgebied: geschiedenis Leeftijd: 45

Gender: vrouw

De eerste 10 minuten van de audio opname van het interview zijn verloren gegaan. In deze 10 minuten is verteld dat deze academicus haar eigen database maakt aan de hand van foto’s van archiefmateriaal. Op het moment dat het transcript begint laat de geïnterviewde op een computer zien welke digitale tools zij weleens gebruikt. I: Ik vergeet hem helemaal aan te zetten. We gaan er meteen in maar we gaan gewoon verder. XXXX? Van XXXX?

G: Die is echt heel goed, hier kan je heel goed zoeken. I: Wat vindt u hier zo goed aan?

G: Nou ja, er staan dus fantastische documenten in. Het is van XXXX van XXXX en maar ook hier staan persoonlijke memo’s in allerlei soorten XXXX en de echte confidentials staan er niet in, maar ja ik was nog bezig b.v. bezig XXXX XXXX, ja alles stond erin zo’n beetje, het was echt geweldig, de kleine memo-tjes XXXX XXXX van die kleine dingetjes. XXXX XXXX.

I: Echt de dingen waar u op zoek naar was die kon u hier vinden.

G: Ja, en dan kan je hier heel goed zoeken. Hier.. klikt. Dus je kunt de hele documenten lezen… hoe kan je zoeken?.. Even kijken hoor…, hier ja hier kan je goed zoeken. Laten we zeggen XXXX nee XXXX dat was XXXX, dat is nu zo in het nieuws, weet je wel. Ik weet even niet hoe die meneer heet van de XXXX, ik heb het hier verkeerd geschreven. Hoop wel dat er wat uitkomt, anders heb je wel een verhaal weet je wel.. Ja, maar dan krijg je dus… hoeveel hebben ze er… hier over XXXX, dit is niet de goede, die ook niet trouwens. Dan ga je hierin zoeken naar een periode, even kijken…

I: Dus op die manier…

G: Maar.. Je kan je… je moet er eventjes in duiken. Je kunt hier fantastische dingen in vinden. Dit is een voorbeeld van een hele bruikbaar archief voor je studies.

I: Heeft ie ook beperkingen, dingen waarvan u zegt nou… G: Nou sommige dingen zijn confidential.

I: Ja dat is een beperking natuurlijk.

G: Maar ik heb dat niet zo gemerkt, nee. Maar je hebt bv ook de XXXX goed, XXXX heet dat en die zijn ook goed maar die hebben veel minder gedigitaliseerd bovendien is voor mij, ik ja XXXX XXXX XXXX ik vind het wel leuk om even langs te gaan en ook de dingen die ik dan zou willen zien zijn dan net niet gedigitaliseerd. Maar dat is heel goed, je hebt ook andere archieven in XXXX, die in XXXX is ook heel goed, dat zijn XXXX archieven en daar wordt steeds meer gedigitaliseerd maar ja de dingen die net uit zijn natuurlijk niet. Maar die is b.v. … daar kan je ook heel goed in zoeken, behalve dat daar meerdere talen worden gebruikt en als je op het Engels zoekt krijg je dus niet de Franstalige documenten. Dus dat is, dat is even lastig. Dus als je op identity zoekt krijg je niet de documenten waar ook identitee in staat.

I: Nee. Ja dat is…

G: Maar misschien is dat tegenwoordig al weer verbeterd hoor. Maar dat zag ik, dus je moet gewoon heel vaak zoeken, verschillende… Europe, Europa ja.

I: Mag ik vragen uh waarom b.v. die database dan? Want u zegt het is zo makkelijk allemaal te vinden.. G: Ja

I: Maar wat is de hoofdzakelijke reden waarvan u zegt ,daarom gebruik ik deze? G: Kwaliteit van de documenten, ja ja.

I: Kwaliteit van de documenten, oké. Van het digitaliseringsproces of ook echt inhoudelijk?

G: Nee, echt om de documenten zelf. Die echt geweldige documenten van pagina’s… ook omdat ze interne memo’s, ook even die kleine woordjes die XXXX XXXX zegt. Of de meningen die ze geven over andere mensen, dingen die vaak als te onbelangrijk worden gezien door anderen en waarvan jij juist denkt hé, maar dat is interessant, weet je wel van die kleine details.

I: Van die dingetjes, dat begrijp ik. Mag ik vragen wat de concrete onderzoeksvraag was die u probeerde te beantwoorden met deze methode?

G: O poeh ja… ik zocht toen... ik was bezig met.. dat was een deel van XXXX XXXX XXXX XXXX. I: Oké

G: Uh en uh... waar ik hiermee bezig was, was de invloed van XXXX. Dus je hebt... het leuke is dat het uh, tenminste ik vond het heel leuk, Ik kan me voorstellen dat andere mensen dat minder hebben maar goed. Maar dat je toen de XXXX die hadden totaal verschillende ideeën over hoe ze hun XXXX moesten doen. En die kwamen er ook niet uit. Toch werd er iets van een XXXX gevormd en dan was mijn vraag dat wat hadden dan, in het groot dan hè, wat hebben 3de _{actoren daar voor een invloed op gehad?}

I: Oké, dus eigenlijk een soort verklarende onderzoeksvraag had u? G: Nou ik probeerde het XXXX te begrijpen.

I: Oké, oké duidelijk.

G: Begrijp ik zo… Is dit een beetje wat je bedoeld?

I: Ik vind dit heel interessant ja. Uh en het XXXX bestudeerde u door alle kleine onderdeeltjes bij elkaar te halen?

G: Ja

I: En hoe vond u dat? Dat dat werkte? U had het idee dat dat de juiste kant op ging? Dat u deed wat u beoogde? G: Je bedoelt het onderzoek zelf?

I: Ja hoe de digitale tools eigenlijk een bijdrage leverde aan uw onderzoek.. G: En dat het werkte?

I: Ja

G: Dat is niet… nou die database b.v. om een concreet voorbeeld te nemen, heeft mogelijkheden om

documenten in te zien die eigenlijk niet altijd als zo belangrijk worden gezien. Maar die juist een tricker geven voor verder onderzoek. Dus als XXXX XXXX XXXX XXXX XXXX een kleine memo hè, dan denk ik dat is interessant en dan wil je weten oké, wanneer hebben ze weer een afspraak gemaakt en... en het geeft dus aanleiding tot verder onderzoek.

I: En dat verdere onderzoek, kunt u dan ook goed uit de weg met die tool of gaat u dan naar een andere tool kijken...

G: Nou dan ga ik gewoon naar de XXXX archieven toe. De XXXX archieven zijn dus niet zo goed

gedigitaliseerd dus dan moet je naar het land. Ja het is heel leuk hoor, ik vind het heel leuk. Ja het is zelfs zo erg dat in de XXXX archieven, die zijn dus het tegenovergestelde van dit verhaal. In XXXX, ik heb heel veel onderzoek gedaan naar XXXX bv en naar XXXX maar je mag ze niet eens kopiëren, je mag ze niet eens fotograferen, ze staan niet online, het enige wat je mag doen is overschrijven en dan zit je aan een tafel met allemaal andere onderzoekers. Op n gegeven moment ken je elkaar heel goed en je hebt allemaal een rode, hoe noem je dat, plaatje waarop iedereen kan zien: ‘jij bent iemand die niks mag in principe’ en je zit aan een bureau en dan ben je aan het overtikken en waarschijnlijk ben je hetzelfde document aan het overtikken als iemand een dag eerder ook, ja het is XXXX en daar loopt dus de hele dag, het is een grote tafel waar iets van 10 mensen zitten, en daar loopt dus de hele dag iemand omheen want er zijn ook mensen die gaan het scannen maar dan wordt je eruit gegooid en kom je er niet meer in, dus ik heb dat niet gedurfd.

I: Dus eigenlijk een manier van dat digitaliseren is, het gewoon met de hand overtikken.

G: Ja, nou ben ik een hele snelle tikker dus dat was niet zo heel erg. En ik heb het dus allemaal in die database gezet en waardoor ik links kon maken. XXXX XXXX XXXX

I: Ja want als het gezien wordt… G: Je mag er dus niet meer in want.. ja I: Dus echt niet meer terug?

G: Nee natuurlijk, nee dan ben je echt over de regels gegaan.

I: Een kruisje achter de naam, oké, ja dat is wel… ja dat heb ik nog niet eerder gehoord moet ik eerlijk zeggen. Maar u gaat het wel op dezelfde manier eigenlijk weer in uw eigen database zetten en dan doorzoekt u het eigenlijk weer op ...

G: Ja dan doorzoek ik hem. Dan heb ik het gearchiveerd en dan weet ik het eigenlijk helemaal uit mijn hoofd dus dan weet je eigenlijk wel, ‘hé maar dat snap ik nog niet helemaal’ en dan ga je eigenlijk weer bij een ander archief kijken. Het is eigenlijk gewoon heel veel uitpluizen, maar ja je moet gewoon puzzelen als historicus, ik vind het heel leuk.

I: Ja, want u kijkt naar de verbanden eigenlijk tussen de verschillende categorieën, gebruikt u daar tools voor of zegt u dan daar ga ik eigenlijk gewoon van uit ...

G: Je gebruikt heel veel het internet, voor informatie. I: Ja

G: Maar je wilt misschien iets anders horen, ik weet niet precies waar je op doelt, uhh ja ik denk het geloof ik toch niet. Wat zou je nog kunnen gebruiken?

G: Ja natuurlijk. Ik ben natuurlijk constant aan het schrijven. Ik heb XXXX altijd, maak ik heel veel gebruik van. Uh ja ja XXXX.

I: XXXX?

G: Ja XXXX natuurlijk uh ja ik maak gewoon zelf mijn database in XXXX dat is echt niet zo veel werk, Dat is echt een grote database. Ik heb zelf namelijk databases geschreven, ik ben ooit programmeur geweest dus vandaar.

I: Dus u bent er heel erg mee bekend?

G: Ja ik heb het snel in elkaar en dat vind ik wel echt handiger. I: Maakt u het ook weleens beschikbaar voor iemand anders?

G: Ja maar het nadeel is, het is wel heel erg op mijn eigen dingen afgestemd en dat... Weet je op het moment dat het niet helemaal perfect loopt dan kan ik erachter en ga ik het snel nog een beetje verbeteren maar als ik het aan iemand anders geeft, die kan dat natuurlijk niet, denk ik dan.

I: Nee

G: Dan ben ik bang dat er eigenlijk nog heel veel dingen…. I: Want u past dan wat aan? Mag ik vragen wat u aanpast?

G: Nou ja ik moet eventjes iets… Ja wat was het dan bv… nou ja je kunt b.v. denken dan ben ik aan een onderzoek over de jaren XXXX en dan denk ik “ik snap nu wel redelijk de relatie…” tussen waar we het net over hadden, over hoe XXXX XXXX, dan ineens kom je erachter dat is, ja daar is een differentiatie tussen uh de eerste week van XXXX en de tweede. Dus dan bedenk je opeens daar moet ik een aparte categorie voor aanmaken. Dus dan duik je, ga je erin, en maak je even een nieuwe uh hoe noem je dat tabel, en dat voeg je dan in. En op het moment dat je denkt dit loopt eigenlijk helemaal niet lekker volgens mij slaat ie het niet goed op, dan heb ik het gewoon niet goed gedaan. Dus dan duik ik er weer achter en oké dan later slaat hij het weer goed op. Dus eigenlijk ben je constant aan het rommelen.

I: Oké dus vandaar dat u zegt ‘het is echt voor mij’?

I: Ja precies, precies. Ik ben dan altijd bang, of zou het liever niet aan iemand anders geven want je bent heel veel aan het uitleggen en het is zo ontzettend voor mijn eigen gebruik, weet je wel. Dan staat er een tabel van alleen van XXXX omdat ik vind dat dat belangrijk is, maar ja dat is voor een ander helemaal niet belangrijk. I: Nee die heeft dan weer zijn eigen dingen die…

G: Ja precies. Ik wil de formulieren eigenlijk hebben omdat goed in te voeren. Maar ik doe dat altijd rechtstreeks in de tabel omdat dat veel sneller gaat.

I: En voor zoiets gebruikt u dan XXXX eigenlijk? G: nee…

I: Wat gebuikt u daarvoor?

G: XXXX, dat gebruik ik meer bij het schrijven uh. Met XXXX ben je toch heel veel bezig met cijfertjes enne dus ik ben..., dan ben je helemaal het overzicht kwijt over de XXXX, wat gebeurt er nou precies? Dan heb je de XXXX die heeft heel veel invloed gehad op de XXXX uh en dan de XXXX en dat probeer je dan te combineren van op dat moment in XXXX wordt gedaan. Uh maar wat gebeurt er dan werkelijk met de XXXX? Weet je wel daar wordt heel vaak naar gerefereerd maar niet echt uh niet echt in detail. Nou dat ga je dan in XXXX zetten en dan heb je een grafiek.

I: Ja en heeft u ook weleens dat u zegt dat past minder goed bij hoe ik het doe? Dat u zegt ik zou weleens een regel erbij willen schrijven b.v. … omdat

G: Bij XXXX? Dat het niet helemaal doet wat ik wil? I: b.v. ja

G: Heel vaak. Maar dat ligt dan denk ik aan mij, dat ik het niet helemaal goed begrijp. Dat ik denk van moet dat nou… maar ik zou daar nu geen voorbeeld van kunnen geven… ik heb een vriendin die is heel goed in XXXX dus die bel ik dan op.

I: Oké… dan andere resources. Uh ik zou bijna zeggen waarom besluit u dan zo’n tool te gebruiken? Als u zegt ik ken XXXX niet volledig maar u weet wel dat er bepaalde functionaliteiten in zitten.

G: Ja, het lijkt me gewoon een goede tool. I: U vindt dat handig in het gebruik? G: Ja

I: Oké

G: XXXX gebruik je natuurlijk ook veel. Niet alleen om XXXX te maken maar ook gewoon om hele mooie plaatjes te maken. Dat kan je heel mooi in een XXXX in elkaar zetten en dan kopieer je het allemaal en zet je het zo in je XXXX.

I: Want een eigen datebase, schrijft u daar zelf ook nog wat aan? Dat u er weleens een regeltje bijschrijft? Dat je nog weleens aan het programma schrijft om het op een andere manier te organiseren?

G: Het document zelf?

G: Nou, Ja, het is dus… de bronnen heb je uit allerlei verschillende archieven en daar heb je weer allerlei verschillende dossiers uh bij elke bron geef ik aan dus na de search, eerst de search erop, dan komt er een aantal bronnen uit waar ik denk deze zijn relevant. Dan ga ik per bron kijken oké, over welke periode gaat het over welke persoon zijn die relevant? Uh dus dat geef ik allemaal aan de database en zo maak ik dan links tussen de documenten en dan krijg je dus lijsten. Als ik dan zeg nu wil ik even iedereen weten die iets zinnigs heeft gezegd over XXXX en dan krijg je daar een lijst van, als je dat bedoelt.

I: Heeft u dan weleens het gevoel dat u iets mist? Dat als u een andere zoekterm zou gebruiken er iets is? G: Dan zou ik hem er gewoon in zetten.

I: ja?

G: Dus u heeft niet het idee dat u weleens wat data mist door het selecteren?

I: Ja misschien is dat wel zo. Maar als ik dat idee heb dan schrijf ik, ik maak ze zelf dus dan maak ik er gewoon een tabelletje bij.

I: Oké ja.

G: Op het gegeven moment, XXXX dus op het gegeven moment dacht ik was ik een beetje aan het

categoriseren, zo van ‘dit is handig voor hoofdstuk 1 en hoofdstuk 3’ dus dan moet je eigenlijk alles weer gaan bekijken dus toen heb ik het in die hoofdstukken gezet om een beetje het overzicht te bewaken van waar ik wat ging gebruiken.

I: Oké

G: bedoel je dat?

I: ja. Heeft u weleens, u heeft websites die u vaak gebruikt, heeft u ook weleens websites die u minder vaak gebruikt, waarvan u zegt nou ‘daar heb ik een ervaring mee, daar neem ik afstand van’?

G: O, die slecht is? I: Ja

G: Oh, qua je bedoelt van de archieven, of van de data?

I: Ja, ook van de data, allebei eigenlijk. Dat je zegt dat was een ervaring…

G: Nou waar ik me wel, wat ik eigenlijk niet zou moeten gebruiken maar wat wel extreem makkelijk is, is XXXX, daar staan dus heel veel fouten in, dat weet je maar dat geeft zoveel informatie en dat moet je dan checken maar je kan niet altijd alles checken. En dat vind ik wel, dan denk ik bij mezelf dat zou ik eigenlijk niet moeten doen, dus heel eerlijk…

I: Dat is iets waarvan u zegt nou dat zou ik graag anders…

G: Het is natuurlijk wel heel praktisch. Sites die ik niet handig vind, waarom wil je dat weten?

I: Ik ben geïnteresseerd in waarom u zulke dingen gebruikt en dus ook waarom u besluit sommige dingen niet te gebruiken.

G: Nou ja als het mij geen informatie geeft. Het is allemaal heel erg concreet hè dus je wilt eigenlijk gewoon, je bent constant op zoek naar antwoorden op vragen en als iets geen duidelijk antwoord geeft dan ga ik gelijk door. Kijk sites die je niet gebruikt daar blijf je maar heel kort. Ik zou het eigenlijk niet weten.

I: Heeft u ook weleens het idee dat u een half antwoord heeft gevonden? G: Ja, dan moet je weer verder zoeken.

I: Weer door. En dan gebruikt u het wel of dan neemt u ook afstand daarvan?

G: Nou als het te leuk is, dan moet je het natuurlijk wel gebruiken maar dan moet je het er wel bij zeggen. En dan ‘helaas kan ik hier geen informatie over vinden maar het zou mooi zijn als hier een onderzoek over zou komen’.

I: Ja, dat begrijp ik. De websites die u dus heel erg bevallen zijn van de XXXX … G: Ja XXXX ja

I: Zijn er nog andere websites waarvan u zegt dat zijn hele goede?

G: Ja XXXX is dus ook wel goed maar die van de XXXX XXXX zijn dus heel goed, ja die van XXXX zijn dus ook wel goed. Uh dat van XXXX XXXX, ken je dat?

I: Ja

G: Dat is ook wel goed en daar hebben ze heel veel orale archieven en uh ja dat is heel overzichtelijk, dat vind ik ook heel prettig.

I: Ja, hoe gaat u om met de orale bronnen? Want ik kan me voorstellen digitaliseren… neemt u het op? Kijk van een document kunt u het overtypen maar hoe gaat u om met een orale bron?

G: Nou precies hetzelfde van hoe jij nu doet. Ik heb interviews gedaan en dat was ook zo. Toen heb ik hen nog gezegd ‘ik schrijf het nog uit’. Daar had ik spijt van, dat is een enorm karwei om een interview uit te schrijven. Als historicus is dat heel lastig. Dan interview je mensen over wat 40 jaar geleden gebeurd is. Ja ik kreeg het, het zijn hele subjectieve verhalen en het zijn ook verhalen die zij uitzoeken eigenlijk. XXXX XXXX. Op 1 dag heb ik XXX XXX XXX XXX XXX XXX. Bij XXXX staan veel orale bronnen, daar moet je bronnenkritiek op los laten, op zich zijn dat hele goede, die zijn ook uitgevoerd door historici overal in XXXX. En dat zijn goede bronnen.