How teacher educators learn to use data in a data team

(1)

UvA-DARE is a service provided by the library of the University of Amsterdam (https://dare.uva.nl)

UvA-DARE (Digital Academic Repository)

Bolhuis, E.D.

Publication date

2017

Document Version

Other version

License

Other

Link to publication

Citation for published version (APA):

Bolhuis, E. D. (2017). How teacher educators learn to use data in a data team.

General rights

It is not permitted to download or to forward/distribute the text or part of it without the consent of the author(s) and/or copyright holder(s), other than for strictly personal, individual use, unless the work is under an open content license (like Creative Commons).

Disclaimer/Complaints regulations

If you believe that digital publication of certain material infringes any of your rights or (privacy) interests, please let the Library know, stating your reasons. In case of a legitimate complaint, the Library will make the material inaccessible and/or remove it from the website. Please Ask the Library: https://uba.uva.nl/en/contact, or a letter to: Library of the University of Amsterdam, Secretariat, Singel 425, 1012 WP Amsterdam, The Netherlands. You will be contacted as soon as possible.

(2)

514401-L-bw-Bolhuis 514401-L-bw-Bolhuis 514401-L-bw-Bolhuis 514401-L-bw-Bolhuis Processed on: 13-10-2017 Processed on: 13-10-2017 Processed on: 13-10-2017

Processed on: 13-10-2017 PDF page: 139PDF page: 139PDF page: 139PDF page: 139

(3)

(4)

141

References

Achinstein, B. (2002). Conflict amid community: The micropolitics of teacher collaboration. Teachers College Record, 104(3), 421-455. http://dx.doi.org/10.1111/1467-9620.00168

Akmal, T., & Miller, D. (2003). Overcoming resistance to change: A case study of revision and renewal in a US secondary education teacher preparation program. Teaching and Teacher Education, 19(4), 409-420. http://dx.doi.org/10.1016/S0742-051X(03)00025-8

Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick’s levels of training criteria: Thirty years later. Personnel Psychology, 42(2), 331-342. http://dx.doi.org/10.1111/j.1744-6570.1989.tb00661.x

Alliger, G. M., Tannenbaum, S. I., Bennett, W., Traver, H., & Shotland, H. (1997). A meta-analysis of the relations among training criteria. Air Force Material Command Air Force Research Labotory Human Effectiveness Directorate.

Anderson, S., Leithwood, K., & Strauss, T. (2010). Leading data use in schools: Organizational conditions and practices at the school and district levels. Leadership and Policy in Schools, 9(3), 292-327. http://dx.doi.org/10.1080/15700761003731492

Astin, A. W., & Antonio, A. L. (2012). Assessment for excellence. The philosophy and practice of assessment and evaluation in higher education (2nd ed.). Plymouth: Rowman & Littlefield Publishers.

Australian Institute for Teaching and School Leadership (AITSL). (2015). Australian professional standards for teachers. Retrieved November 3, 2015, from http://www.aitsl.edu.au/australian-professional-standards-for-teachers/standards/list

Bakx, A., Breteler, H., Diepstraten, I., & Copic, J. (2009). Onderzoek pabo-studenten verankerd in het curriculum [Research anchored in teacher education students for primary education]. Tijdschrift voor lerarenopleiders, 30(1), 28-35.

Bates, R. (2004). A critical analysis of evaluation practice: The Kirkpatrick model and the principle of beneficence. Evaluation and Program Planning, 27(3), 341-347. http://dx.doi.org/10.1016/j. evalprogplan.2004.04.011

Bernhardt, V. L. (2004, November–December). Continuous improvement: It takes more than test scores. ACSA Leadership, 2004, 16-19.

Birenbaum, M. (2014). Conceptualizing assessment culture in school. In C. Wyatt-Smith, C. Klenowski, & P. Colbert (Eds.), The enabling power of assessment: Vol. 1. Designing assessment for quality learning (pp. 285-302). Deventer, Netherlands: Springer. Black, P., & Wiliam, D. (2010). Inside the black box: Raising standards through student

assessment. Phi Delta Kappan, 92(1), 81-90. https://doi.org/10.1177/003172171009200119

Blaich, C., & Wise, K. (2011). From gathering to using assessment results: Lessons from the Wabash national study (NILOA Occasional Paper No. 8). Champaign, IL: National Institute for Learning Outcomes Assessment (NILOA), University of Illinois at Urbana Campaign.

Blanc, S., Christman, J. B., Liu, R., Mitchell, C., Travers, E., & Bulkley, K. E. (2010). Learning to learn from data: Benchmarks and instructional communities. Peabody Journal of Education, 85(2), 205-225. http://dx.doi.org/10.1080/01619561003685379

Borko, H. (2004). Professional development and teacher learning: Mapping the terrain. Educational Researcher, 33(8), 3-15. http://dx.doi.org/10.3102/0013189X033008003

Breiter, A., & Light, D. (2006). Data for school improvement: Factors for designing effective information systems to support decision-making in schools. Journal of Educational Technology & Society, 9(3), 206-217.

Bron, R., Van Geel, M., & Visscher, A. (2013). Opbrengstgericht werken op de pabo: Een

verkenning van de wenselijkheid en mogelijkheden om opbrengstgericht werken met behulp van een leerlingvolgsysteem in het pabo curriculum op te nemen [Data-based decision making in the teacher education college for primary education: An exploration of the desirability of data-based decision making with student tracking systems in the curriculum of

(5)

142

the teacher education college]. Enschede, Netherlands: Universiteit van Twente.

Brown, L. I., Bristol, L., De Four-Babb, J., & Conrad, D. A. (2014). National tests and diagnostic feedback: What say teachers in Trinidad and Tobago? The Journal of Educational Research, 107(3), 241-251. http://dx.doi.org/10.1080/00220671.2013.788993

Bryson, J. M., & Crosby, B. C. (2014). Public value governance: Moving beyond traditional public administration and the new public management. Public Administration Review, 74(4), 445-456. http://dx.doi.org/10.1111/puar.12238

Burke, J. C., & Minassians, H. P. (2002). Reporting indicators: What do they indicate? New Directions for Institutional Research, 2002(116), 33-58. http://dx.doi.org/10.1002/ir.59

Butler, D. L., & Schnellert, L. (2012). Collaborative inquiry in teacher professional development. Teaching and Teacher Education, 28(8), 1206-1220. http://dx.doi.org/10.1016/j.

tate.2012.07.009

Caena, F. (2014). Initial teacher education in Europe: An overview of policy issues. Brussels, Belgium: European Union.

Campbell, C., & Levin, B. (2009). Using data to support educational improvement. Educational Assessment Evaluation and Accountability, 21(1), 47-65. http://dx.doi.org/10.1007/s11092-008-9063-x

Cantrell, C., & Hughes, H. K. (2008). Teacher efficacy and content literacy implementation: An exploration of the effects of extended professional development with coaching. Journal of Literacy Research, 40(1), 95-127. http://dx.doi.org/10.1080/10862960802070442

Carlson, D., Borman, G., & Robinson, M. (2011). A multistate district-level cluster randomized trial of the impact of data-driven reform on reading and mathematics achievement. Educational Evaluation and Policy Analysis, 33(3), 378-398. http://dx.doi. org/10.3102/0162373711412765

Cavalluzzo, L., Geraghty, T. M., Steele, J. L., & Alexander, J. K. (2013). Using data to inform decisions: How teachers use data to inform practice and improve student performance in mathematics. Evanston, IL: Society for Research on Educational Effectiveness.

Centrum Hoger Onderwijs Informatie (C.H.O.I.)/keuzegids. (n.d.). Keuzegids hogescholen [Selection guide for higher education]. Retrieved March 23, 2016, from http://www.keuzegids. org/hbo

Cho, V., & Wayman, J. C. (2014). Districts’ efforts for data use and computer data systems: The role of sensemaking in system use and implementation. Teachers College Record, 116(2), 1-37.

Christoforidou, M., Kyriakides, L., Antoniou, P., & Creemers, B. P. (2014). Searching for stages of teacher’s skills in assessment. Studies in Educational Evaluation, 40, 1-11. http://dx.doi. org/10.1016/j.stueduc.2013.11.006

Coburn, C. E., & Turner, E. O. (2011). Research on data use: A framework and analysis.

Measurement, Interdisciplinary Research and Perspectives, 9(4), 173-206. http://dx.doi.org/10 .1080/15366367.2011.626729

Coburn, C. E., & Turner, E. O. (2012). The practice of data use: An introduction. American Journal of Education, 118(2), 99-111. http://dx.doi.org/10.1086/663272

Cohen, L. M., Manion, L. I., & Morrison, K. (2007). Research methods in education (6th ed.). London, UK: Routledge.

Collinson, V., Kozina, E., Lin, Y-H. K., Ling, L., Matheson, I., Newcombe, L., & Zogla, I. (2009). Professional development for teachers: A world of change. European Journal of Teacher Education, 32(1), 3-19. http://dx.doi.org/10.1080/02619760802553022

Commissie Kennisbasis Pabo. (2012). Een goede basis: Advies van de commissie kennisbasis van de pabo [A good base: Advice from the committee on the knowledge base of the teacher education college for primary education]. Den Haag, Netherlands: HBO-raad. Corno, L. (2008). On teaching adaptively. Educational Psychologist, 43(3), 161-173. http://dx.doi.

(6)

143

Cramer, E. D., Little, M. E., & McHatton, P. A. (2014). Demystifying the data-based decision-making process. Action in Teacher Education, 36(5-6), 389-400. http://dx.doi.org/10.1080/016 26620.2014.977690

Crawford, R. J. (2010). Data driven decision making and the New Zealand secondary school principal. (Unpublished doctoral dissertation). Auckland, New Zealand: Unitec Institute of Technology.

Czerniawski, G. (2011). Emerging teachers – emerging identities: Trust and accountability in the construction of newly qualified teachers in Norway, Germany, and England. European Journal of Teacher Education, 34(4), 431-447. http://dx.doi.org/10.1080/02619768.2011.587114

Daly, A. J. (2012). Data, dyads, and dynamics: Exploring data use and social networks in educational improvement. Teachers College Record, 114(11), 1-38.

Darling-Hammond, L. (2010). Evaluating teacher effectiveness: How teacher performance assessments can measure and improve teaching. Washington, DC: Center for American Progress.

Datnow, A. (2011). Collaboration and contrived collegiality: Revisiting Hargreaves in the age of accountability. Journal of Educational Change, 12(2), 147-158. http://dx.doi.org/10.1007/ s10833-011-9154-1

Datnow, A., & Hubbard, L. (2015). Teachers’ use of assessment data to inform instruction: Lessons from the past and prospects for the future. Teachers College Record, 117(4), 1-26. Datnow, A., Park, V., & Kennedy-Lewis, B. (2013). Affordances and constraints in the context of

teacher collaboration for the purpose of data use. Journal of Educational Administration, 51(3), 341-362. http://dx.doi.org/10.1108/09578231311311500

De Bie, D. (2002). Competenties, wat zijn dat en wat doen we ermee? [Competences, what are they and what are we doing?] Tijdschrift voor Medisch Onderwijs 21(4), 161-166. http:// dx.doi.org/10.1007/BF03056564

Dengerink, J., & Snoek, M. (Eds.). (2016). Kennisbasis lerarenopleiders. Katern 2: De context van het opleiden van leraren [Knowledge base of teacher educators. Part 2: The context for educating teachers]. Werkendam, Netherlands: Hollandse Indruk.

Denhardt, J. V., & Denhardt, R. B. (2015). The new public service revisited. Public Administration Review, 75(5), 664-672. 1-9. http://dx.doi.org/10.1111/puar.12347

Desimone, L. M. (2009). Improving impact studies of teacher’s professional development: Toward better conceptualizations and measures. Educational Researcher, 38(3), 181-199.

http://dx.doi.org/10.3102/0013189X08331140

Desimone, L. M. (2011). A primer on effective professional development. Phi Delta Kappan, 92(6), 68-71. http://dx.doi.org/10.1177/003172171109200616

Dessoff, A. (2011). What’s your data integration strategy? Retrieved November 18, 2015, from

https://www.districtadministration.com/article/whats-your-data-integration-strategy

DeVellis, R. F. (1991). Scale development: Theory and applications (3rd ed.). Thousands Oaks, CA: Sage Publications.

De Vries, O., & Steur, R. (2012). De zoektocht naar balans tussen autonomie en kwaliteit van het hoger onderwijs [The search for balance between autonomy and quality of higher education]. In A. B. Dijkstra & F. J. G. Janssens (Eds.), Om de kwaliteit van het onderwijs: kwaliteitsbepaling en kwaliteitsbevordering [For the quality of education: quality assurance and quality promotion] (pp. 183-214). Den Haag, Netherlands: Boom Lemma Uitgevers. D’Mello, S., Lehman, B., Pekrun, R., & Graesser, A. (2014). Confusion can be beneficial

for learning. Learning and Instruction, 29, 153-170. http://dx.doi.org/10.1016/j. learninstruc.2012.05.003

Downey, C., & Kelly, A. (2013). Professional attitudes to the use of data in England. In K. Schildkamp, M. K. Lai, & L. Earl (Eds.), Data-based decision making in education: Challenges and opportunities (pp. 69-90). Deventer, Netherlands: Springer.

(7)

144

Education, 33(3), 383-394. http://dx.doi.org/10.1080/0305764032000122023

Earl, L. M., & Katz, S. (2006). Leading schools in a data-rich world. Harnessing data for school improvement. Thousand Oaks, CA: Corwin Press.

Earl, L. M., Katz, S., Elgie, S., Ben Jaafar, S., & Foster, L. (2006). How networked learning communities work: Volume 1 – The report. Nottingham, UK: National College for School Leadership.

Earley, P., & Bubb, S. (2014). Data and inquiry driving school improvement: Recent

developments in England. Journal of Educational, Cultural and Psychological Studies, 1(9), 167-184. http://dx.doi.org/10.7358/ecps-2014-009-earl

Ebbeler, J. (2016). Implementing data use in schools: Effects on the professional development of educators and the role of school leaders in data teams. (Unpublished doctoral dissertation). University of Twente, Enschede, Netherlands.

Ehren, M. C. M., Altrichter, H., McNamara, G., & O’Hara, J. (2013). Impact of school inspections on improvement of schools describing assumptions on causal mechanisms in six European countries. Educational Assessment, Evaluation, and Accountability, 25(1), 3-43. http://dx.doi. org/10.1007/s11092-012-9156-4

Elsevier. (n.d.). Beste studies [Best studies]. Retrieved March 29 2016, from http://www.elsevier. nl/kennis/article/2015/09/beste-studies-2015-zoeken-naar-kwaliteit-in-de-breedte-2691234W/

Farley-Ripple, E. N. (2012). Research use in school district central office decision making. A case study. Educational Management Administration & Leadership, 40(6), 786-806. http://dx.doi. org/10.1177/1741143212456912

Farley-Ripple, E. N., & Buttram, J. L. (2014). Developing collaborative data use through professional learning communities: Early lessons from Delaware. Studies in Educational Evaluation, 42, 41-53. https://doi.org/10.1016/j.stueduc.2013.09.006

Festinger, L. (1957). A theory of cognitive dissonance. Stanford, CA: Stanford University Press. Field, A. (2009). Discovering statistics using SPSS (3rd ed.). Los Angeles, CA: Sage.

Fiore, S. M., Smith-Jentsch, K. A., Salas, E., Warner, N., & Letsky, M. (2010). Towards an

understanding of macrocognition in teams: Developing and defining complex collaborative processes and products. Theoretical Issues in Ergonomics Science, 11(4), 250-271. http:// dx.doi.org/10.1080/14639221003729128

Frye, A. N. N. W., & Hemmer, P. A. (2012). Program evaluation models and related theories: AMEE Guide No. 67. Medical Teacher, 34(5), e288-e299. https://doi.org/10.3109/014215 9X.2012.668637

Geerdink, G., & Derks, M. (2007). Attent op talent op de pabo: Een onderzoek naar de verschillen tussen vwo-instromers en overige studenten [Attention to talent at the teacher training college for primary education: An examination of the differences between students from vwo and other students]. Tijdschrift Voor Lerarenopleiders, 28(2), 4-13.

Geerdink, G., & Pauw, I. (Eds.). (2016). Kennisbasis lerarenopleiders. Katern 3: Inhoud en vakdidactiek op de lerarenopleidingen [Knowledge base of teacher educators. Part 3: Content knowledge and pedagogical content knowledge in teacher education colleges]. Werkendam, Netherlands: Hollandse Indruk.

Geerdink, G., & Pauw, I. (Eds.). (2017). Kennisbasis lerarenopleiders. Katern 1: De lerarenopleider [Knowledge base of teacher educators. Part 1: The teacher educator]. Werkendam,

Netherlands: Hollandse Indruk.

Geier, R., Smith, S., & Tornow, M. (2012). District data teams: A leadership structure for improving student achievement. Boston, MA: PCG Education.

Gelderblom, G., Schildkamp, K., Pieters, J., & Ehren, M. (2016). Data-based decision making for instructional improvement in primary education. International Journal of Educational Research, 80, 1-14. http://dx.doi.org/10.1016/j.ijer.2016.07.004

Gelman, A., & Hill, J. (2007). Data analysis using regression and multilevel/hierarchical models. New York, NY: Cambridge University Press.

(8)

145

General Teaching Council for Scotland (GTCS). (2012). The standards for registration: Mandatory requirements for registration with the general teaching council for Scotland. Retrieved November 3 2015, from http://www.gtcs.org.uk/web/FILES/the-standards/standards-for-registration-1212.pdf

Griffiths, V., Thompson, S., & Hryniewicz, L. (2014). Landmarks in the professional and academic development of mid-career teacher educators. European Journal of Teacher Education, 37(1), 74-90. http://dx.doi.org/10.1080/02619768.2013.825241

Grossman, P., Wineburg, S., & Woolworth, S. (2001). Toward a theory of teacher community. Teachers College Record, 103(6), 942-1012. http://dx.doi.org/10.1111/0161-4681.00140

Hamilton, L., Halverson, R., Jackson, S., Mandinach, E., Supovitz, J., & Wayman, J. (2009). Using student achievement data to support instructional decision making (NCEE 2009-4067). IES Practice Guide. Washington, DC: U.S. Department of Education, Institute of Education Sciences, National Center for Education Evaluation and Regional Assistance. Retrieved March 3 2016, from https://ies.ed.gov/ncee/wwc/PracticeGuide/12

Han, J., Kamber, M., & Pei, J. (2012). Data mining: Concepts and techniques (3rd ed.). San Francisco, CA: Morgan Kaufmann.

Hargreaves, A., & Braun, H. (2013). Data-driven improvement and accountability. Boulder, CO: National Education Policy Center. Retrieved April 4 2016, from http://nepc.colorado.edu/ publication/data-driven-improvement-accountability/http://nepc.colorado.edu/publication/ data-driven-improvement-accountability

Hazelkorn, E. (2013). How rankings are reshaping higher education. In V. Climent, F. Michavila, & M. Ripolles (Eds.), Los rankings univeritarios: Mitos y realidades [University rankings: Myths and realities]. Madrid, Spain: Tecnos, University Jaume I.

Hazi, H. M., & Rucinski, D. A. (2009). Teacher evaluation as a policy target for improved student learning: A fifty-state review of statute and regulatory action since NCLB. Education Policy Analysis Archives, 17(5), 1-22. http://dx.doi.org/10.14507/epaa.v17n5.2009

Henry, S. F. (2010, April/May). Talk that talk. Paper presented at the Annual Meeting of the American Educational Research Association, Denver, CO.

Henry, S. F. (2012). Instructional conversations: A qualitative exploration of differences in elementary teachers’ team discussions. (Doctoral dissertation). Available from ProQuest Dissertations & Theses – Gradworks database. (UMI No. 3535056).

Hexom, D., & Menoher, J. (2015). Using data driven decision making for continuous improvement in university programs. In International Conference on Education and e-Learning (EeL). Proceedings. (pp. 40). Global Science and Technology Forum.

Holmlund-Nelson, T. H. (2009). Teachers’ collaborative inquiry and professional growth: Should we be optimistic? Science Teacher Education, 93(3), 548-580. http://dx.doi.org/10.1002/ sce.20302

Holmlund-Nelson, T. H., Deuel, A., Slavit, D., & Kennedy, A. (2010). Leading deep conversations in collaborative inquiry groups. The Clearing House, 83(5), 175-179. http://dx.doi.

org/10.1080/00098650903505498

Holmlund-Nelson, T. H., Slavit, D., & Deuel, A. (2012). Two dimensions of an inquiry stance toward student learning data. Teachers College Record, 114(8), 1-42.

Holton, E. F. (1996). The flawed four-level evaluation model. Human Resource Development Quarterly, 7(1), 5-21. http://dx.doi.org/10.1002/hrdq.3920070103

Hood, C. (1995). The “new public management” in the 1980s: Variations on a theme. Accounting, Organizations and Society, 20(2-3), 93-109. http://dx.doi.org/10.1016/0361-3682(93)E0001-W

Hoogland, I., Schildkamp, K., Van der Kleij, F., Heitink, M., Kippers, W., Veldkamp, B., & Dijkstra, A. M. (2016). Prerequisites for data-based decision making in the classroom. Teaching and Teacher Education, 60, 377-386. https://doi.org/10.1016/j.tate.2016.07.012

(9)

146

Hox, J. J., Moerbeek, M., & Van de Schoot, R. (2010). Multilevel analysis: Techniques and applications (2nd ed.). New York, NY: Routledge.

Hoy, W. K., & Tarter, C. J. (2008). Administrators solving the problem of practice: Decision-making concepts, cases and consequences (3rd ed.). Boston, MA: Pearson Education, Inc. Hubbard, L., Datnow, A., & Pruyn, L. (2013). Multiple initiatives, multiple challenges: The promise

and pitfalls of implementing data. Studies in Educational Evaluation, 43, 54-62. http://dx.doi. org/10.1016/j.stueduc.2013.10.003

Hubers, M. D., Poortman, C. L., Schildkamp, K., Pieters, J. M., & Handelzalts, A. (2016). Opening the black box: Knowledge creation in data teams. Journal of Professional Capital and Community, 1(1), 41-68. http://dx.doi.org/10.1108/JPCC-07-2015-0003

Huguet, A., Marsh, J. A., & Farrell, C. C. (2014). Building teachers’ data-use capacity: Insights from strong and developing coaches. Education Policy Analysis Archives, 22(52), 1-31. http:// dx.doi.org/10.14507/epaa.v22n52.2014

Illeris, K. (2002). The three dimensions of learning. Frederiksberg, Denmark: Roskilde University Press.

Illeris, K. (2003). Workplace learning and learning theory. Journal of Workplace Learning, 15(4), 167-178. http://dx.doi.org/10.1108/13665620310474615

Illeris, K. (2007). How we learn: Learning and non-learning in school and beyond (1st ed.). London, UK: Routledge.

Illeris, K. (Ed.). (2009). Contemporary theories of learning: Learning theorists... in their own words. Oxon, OX: Routledge.

Ingram, D., Louis, K. S., & Schroeder, R. (2004). Accountability policies and teacher decision making: barriers to the use of data to improve practice. Teachers College Record, 106(6), 1258-1287.

Inspectie van het Onderwijs (2012). De beoordeling van opbrengsten in het basisonderwijs [The assessment of achievement in primary education]. Utrecht, Netherlands: Author.

Inspectie van het Onderwijs (2015). De staat van het onderwijs: Onderwijsverslag 2013/2014 [The state of education. Education report2013/2014]. Utrecht, Netherlands: Author.

Inspectie van het Onderwijs (2016). De staat van het onderwijs: Onderwijsverslag 2014/2015 [The state of education. Education report 2014/2015]. Utrecht, Netherlands: Author.

Italiano, F., & Hine, G. (2014). Finding ways to effectively use year 12 achievement data to inform practice in secondary schools. Australian Journal of Teacher Education, 39(5), 99-116. http:// dx.doi.org/10.14221/ajte.2014v39n5.8

Jacobs, J., Gregory, A., Hoppey, D., & Yendol-Hoppey, D. (2009). Data literacy: Understanding teachers’ data use in a context of accountability and response to intervention. Action in Teacher Education, 31(3), 41-55. http://dx.doi.org/10.1080/01626620.2009.10463527

Jankowski, N. A. (2012). Mapping the topography of the evidence use terrain in assessment of the U.S. higher education: A multiple case study approach. (Doctoral dissertation). Available from ProQuest Dissertations & Theses – Gradworks database. (UMI No. 3633249).

Janssens, F. J. G., & Dijkstra, A. B. (2012). Perspectieven op kwaliteit [Perspectives on quality]. In A. B. Dijkstra & F. J. G. Janssens (Eds.), Om de kwaliteit van het onderwijs: kwaliteitsbepaling en kwaliteitsbevordering [For the quality of education: Quality assurance and quality promotion] (pp. 215-246). Den Haag, Netherlands: Boom Lemma Uitgevers.

Jimerson, J. B., Cho, V., & Wayman, J. C. (2016). Student-involved data use: Teacher practices and considerations for professional learning. Teaching and Teacher Education, 60, 413-424.

https://doi.org/10.1016/j.tate.2016.07.008

Jimerson, J. B., Choate, M. R., & Dietz, L. K. (2015). Supporting data-informed practice among early career teachers: the role of mentors. Leadership and Policy in Schools, 14(2), 204-232.

http://dx.doi.org/10.1080/15700763.2014.997937

Jimerson, J. B., & McGhee, M. W. (2013). Leading inquiry in schools: examining mental models of data-informed practice. Current Issues in Education, 16(1), 1-22.

(10)

147

Johnson, K., Greenseid, L. O., Toal, S. A., King, J. A., Lawrenz, F., & Volkov, B. (2009). Research on evaluation use: A review of the empirical literature from 1986 to 2005. American Journal of Evaluation, 30(3), 377-410. http://dx.doi.org/10.1177/1098214009341660

Jongbloed, B. (2013). Prestatie afspraken in het Nederlandse hoger onderwijs. [Achievement agreements in Dutch Higher education]. Thema Hogeronderwijs, 1, 1-13.

Katz, S., & Dack, L. A. (2014). Towards a culture of inquiry for data use in schools: Breaking down professional learning barriers through intentional interruption. Studies in Educational Evaluation 42, 35-40. http://dx.doi.org/10.1016/j.stueduc.2013.10.006

Katz, S., Earl, L. M., & Ben Jaafar, S. (2009). Building and connecting learning communities: The power of networks for school improvement. Thousand Oaks, CA: Corwin Press.

Katz, S., Sutherland, S., & Earl, L. M. (2005). Toward an evaluation habit of mind: Mapping the journey. Teachers College Record 107(10), 2326-2350.

Keijzer, R., Van der Linden, J., Vos-Bos, J., & Verbeek-Pleune, L. (2012). Leraren basisonderwijs leren opbrengst gericht werken [Teachers in primary education learn to use data.] Tijdschrift Voor Lerarenopleiders, 33(2), 39-45.

Kelly, A., & Downey, C. (2011). Professional attitudes to the use of pupil performance data in English secondary schools. School Effectiveness and School Improvement, 22(4), 415-437.

http://dx.doi.org/10.1080/09243453.2011.600525

Kerr, K. A., Marsh, J. A., Ikemoto, G. S., Darilek, H., & Barney, H. (2006). Strategies to promote data use for instructional improvement: Actions, outcomes, and lessons from three urban districts. American Journal of Education, 112(4), 496-520. http://dx.doi.org/10.1086/505057

Ketterlin-Geller, L. R., Gifford, D. B., & Perry, L. (2015). Measuring middle school students’ algebra readiness: Examining validity evidence for three experimental measures. Assessment for Effective Intervention, 41(1), 28-40. https://doi.org/10.1177/1534508415586545

Kezar, A. (2012). Institutionalizing student outcomes assessment: The need for better research to inform practice. Innovative Higher Education, 38(3), 189-206. http://dx.doi.org/10.1007/ s10755-012-9237-9

Kim, J. H., & Lee, C. (2001). Implications of near and far transfer of training on structured on-the-job training. Advances in Developing Human Resources, 3(4), 442-451. http://dx.doi. org/10.1177/15234220122238508

Kirkpatrick, D. L. (1979). Techniques for evaluating training programs. Training and Development Journal, 14, 8-12.

Kok, J. J. M., Wolfslag, W., Dummer, G., Klein, S., Niemeijer, S., Paalman-Vos, H., Poiesz, J., Heusschen, J., & Visser, P. (2012). Kennisbasis Leraar basisonderwijs [Knowledge base for teacher primary education]. Den Haag, Netherlands: HBO-raad.

Krüger, M., & Geijsel, F. (2011, April). The effect of school leader on inquiry habit of mind. Paper presented at the Annual Meeting of the American Educational Research Association, New Orleans, LA.

Lachat, M. A., & Smith, S. (2005). Practices that support data use in urban high schools. Journal of Education for Students Placed at Risk, 10(3), 333-349. http://dx.doi.org/10.1207/ s15327671espr1003_7

Lai, M. K., & Hsiao, S. (2014). Developing data collection and management systems for decision-making: What professional development is required? Studies in Educational Evaluation, 42, 63-70. http://dx.doi.org/10.1016/j.stueduc.2013.12.006

Lai, M. K., & McNaughton, S. (2008). Raising student achievement in poor communities through evidence-based conversations. In L. M. Earl & H. Timperley (Eds.), Professional learning conversations: Challenges in using evidence for improvement (pp. 13-27). Deventer, Netherlands: Springer.

Lai, M. K., & McNaughton, S. (2016). The impact of data use professional development on student achievement. Teaching and Teacher Education, 60, 434-443. http://dx.doi. org/10.1016/j.tate.2016.07.005

(11)

148

Lai, M. K., & Schildkamp, K. (2013). Data-based decision making: An overview. In K. Schildkamp, M. K. Lai, & L. Earl (Eds.), Data-based decision making in education: Challenges and

opportunities (pp. 9-21). Dordrecht, Netherlands: Springer.

Lai, M. K., Wilson, A., McNaughton, S., & Hsiao, S. (2014). Improving achievement in secondary schools: impact of a literacy project on reading comprehension and secondary school qualifications. Reading Research Quarterly, 49(3), 305-334. http://dx.doi.org/10.1002/rrq.73

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorial data. Biometrics 33(1), 159-174.

Ledoux, G., Blok, H., Boogaard, M., & Krüger, M. (2009). Opbrengstgericht werken: Over de waarde van meetgestuurd onderwijs [Data-based decision making: about the value of measurable education] (No. 812). Amsterdam, Netherlands: SCO-Kohnstamm Instituut. Lewins, A., & Silver, C. (2007). Using software in qualitative research: a step-by-step guide (1st

ed.). London, UK: Sage.

Little, J. W. (2012). Understanding data use practice among teachers: the contribution of micro-process studies. American Journal of Education, 118(2), 143-166. http://dx.doi. org/10.1086/663271

Livingston, K. (2014). Teacher educators: hidden professionals? European Journal of Education, Research, Development & Policy, 49(2), 218-232. http://dx.doi.org/10.1111/ejed.12074

Lomos, C., Hofman, R. H., & Bosker, R. J. (2011). The relationship between departments as professional communities and student achievement in secondary schools. Teaching and Teacher Education, 27(4), 722-731. http://dx.doi.org/10.1016/j.tate.2010.12.003

Love, N., Stiles, K. E., Mundry, S., & DiRanna, K. (2008). The data coach’s guide to improving learning for all students: Unleashing the power of collaborative inquiry. Thousand Oaks, CA: Corwin Press.

Mandinach, E. B., Friedman, J. M., & Gummer, E. S. (2015). How can schools of education help to build educators’ capacity to use data: a systemic view of the issue. Teachers College Record, 117(4), 1-50.

Mandinach, E. B., & Gummer, E. S. (2012). Navigating the landscape of data literacy: It IS complex. Washington, DC: WestEd and Education Northwest.

Mandinach, E. B., & Gummer, E. S. (2013). A systemic view of implementing data literacy in educator preparation. Educational Researcher, 42(1), 30-37. http://dx.doi. org/10.3102/0013189X12459803

Mandinach, E. B., & Gummer, E. S. (2016a). Data literacy for educators: making it count in teacher preparation and practice. San Fransisco, CA: Teacher College Press.

Mandinach, E. B., & Gummer, E. S. (2016b). What does it mean for teachers to be data literate: Laying out the skills, knowledge, and dispositions. Teaching and Teacher Education 60, 366-376. http://dx.doi.org/10.1016/j.tate.2016.07.011

Mandinach, E. B., Honey, M., & Light, D. (2006, April). A theoretical framework for data-driven decision making. Paper presented at the Annual Meeting of the American Educational Research Association, San Francisco, CA.

Manrope, P. T. M., Wells, P. J., & Hazelkorn, E. (2013). Rankings and accountability in higher education-usses and misuses. Paris, France: United Nations Educational, Scientific, & Cultural Organization.

Marginson, S., & Van der Wende, M. (2007). To rank or to be ranked: the impact of global rankings in higher education. Journal of Studies in International Education, 11(3-4): 306-329.

http://dx.doi.org/10.1177/1028315307303544

Marsh, J. A. (2012). Interventions promoting educators’ use of data: Research insights and gaps. Teachers College Record, 114(11): 1-48.

Marsh, J. A., Sloan McCombs, J., & Martorell, F. (2010). How instructional coaches support data-driven decision making: policy implementation and effects in Florida middle schools. Educational Policy, 24(6): 872-907. http://dx.doi.org/10.1177/0895904809341467

(12)

149

McCann, C., & Kabaker, J. C. (2013). Promoting data in the classroom: Innovative state models and missed opportunities. New York, NY: New America Foundation, Education Policy Program.

McNaughton, S., Lai, M. K., & Hsiao, S. (2012). Testing the effectiveness of an intervention model based on data use: A replication series across clusters of schools. School Effectiveness and School Improvement, 23(2), 203-228. http://dx.doi.org/10.1080/09243453.2011.652126

Meijer, R. (2010). Opbrengstgericht werken met en in de pabo: 5 portretten [Data-based decision making with and in the teacher education college for primary education: 5 cases]. Utrecht, Netherlands: PO-raad.

Meijer, R. (2011). Opbrengst gericht werken: Aanjager voor nieuwe kennis [Data-based decision making: Hunt for new knowledge]. Basisschoolmanagement, 3, 30-32.

Miles, M. B., & Huberman, M. A. (1994). Qualitative data analysis (2nd ed.). Thousands Oaks, CA: Sage.

Ministerie van Onderwijs, Cultuur en Wetenschap. (2011). Kwaliteit in verscheidenheid.

Strategische agenda hoger onderwijs, onderzoek en wetenschap [Quality in variety. Strategic agenda for the ministry of Education, Culture and Research]. Den Haag, Netherlands: Author. [Quality in variety. Strategical agenda higher education and research].

Moody, L., & Dede, C. (2007). Models of data-based decision making: A case study of the Milwaukee public schools. In E. B. Mandinach & M. Honey (Eds.), Data-driven school improvement (pp. 233-254). San Francisco, CA: Teachers College Press.

Moss, P. A. (2012). Exploring the macro-micro dynamic in data use practice. American Journal of Education, 118(2), 223-232. http://dx.doi.org/10.1086/663274

Moss, P. A. (2013). Validity in action: Lessons from studies of data use. Journal of Educational Measurement, 50(1), 91-98. http://dx.doi.org/10.1111/jedm.12003

National Board for Professional Teaching Standards (NBPTS). (2012). Middle

childhood generalist standards (3rd Ed.). Retrieved November 3 2015, from http:// boardcertifiedteachers.org/sites/default/files/MC-GEN.pdf

Nederlands-Vlaamse Accreditatieorganisatie (NVAO). (2015). Hbo-bachelor Opleiding tot leraar basisonderwijs. Systeembrede analyse [Higher education bachelor Teacher Education College for primary education. System-wide analysis]. Den Haag, Netherlands: Author. Neil, P., & Johnston, J. (2005). An approach to analysing professional discourse in a school

self-evaluation project. Research in Education, 73(1), 73-86. http://dx.doi.org/10.7227/RIE.73.6

Neuman, S. B., & Cunningham, L. (2009). The impact of professional development and coaching on early language and literacy instructional practices. American Educational Research Journal, 46(2), 532-566. http://dx.doi.org/10.3102/0002831208328088

Newmann, F. M. (1996). Authentic achievement: Restructuring schools for intellectual quality. San Francisco, CA: Jossey-Bass.

New Zealand Education Council. (2006). Practicing teacher criteria. Retrieved March 29 2016 from https://educationcouncil.org.nz/sites/default/files/Practising-Teacher-Criteria-Handbook-(English).pdf

Nygren, L. A. (2009). Data use in middle schools: A multiple case study of three middle schools’ experiences with data-driven decision making. (Unpublished doctoral dissertation). Los Angeles, CA: University of South California.

Onderwijsraad. (2005). Kwaliteit en inrichting van de lerarenopleidingen [Quality and design of teacher education colleges]. Den Haag, Netherlands: Author.

Organisation for Economic Co-operation and Development (OECD). (2005). Teachers matter: Attracting, developing and retraining effective teachers. Paris, France: Author.

Organisation for Economic Co-operation and Development (OECD). (2013). Synergies for better learning: An international perspective on evaluation and assessment. Paris, France: Author. Petrilli, P.G. (2011). The relationship between teacher efficacy and teacher response to

(13)

150 Kentucky University.

Piro, J. S., Dunlap, K., & Shutt, T. (2014). A collaborative data chat: Teaching summative assessment data use in pre-service teacher education. Cogent Education, 1(1), 1-24. http:// dx.doi.org/10.1080/2331186X.2014.968409

Plecki, M. L., Elfers, A. M., & Nakamura, Y. (2012). Using evidence for teacher education program improvement and accountability: An illustrative case of the role of value-added measures. Journal of Teacher Education, 63(5), 318-334. http://dx.doi.org/10.1177/0022487112447110

Poortman, C. L. (2007). Workplace learning processes in senior secondary vocational education. (Unpublished doctoral dissertation). Enschede, Netherlands: University of Twente.

Poortman, C. L., & Schildkamp, K. (2011). Alternative quality standards in qualitative research. Quality & Quantity, 46(6), 1727-1751. http://dx.doi.org/10.1007/s11135-011-9555-5

Powell, W. W., & Bromley, P. (2013). New institutionalism in the analysis of complex organizations. In J. Weight (Ed.), International Encyclopedia of Social and Behavioral Sciences (2nd ed., pp. 764-769). Oxford, UK: Elsevier.

Rankin, J. (2014, March). Reporting data with “over-the-counter” data analysis supports

improves educators’ data analyses. Paper presented at the Annual Meeting at the Society for Information Technology & Teacher Education (SITE), Chesapeake, VA.

Ravitch, D. (2010). The death and life of the great American school system: How testing and choice are undermining education. New York, NY: Basic Books.

Reeves, T. D., & Honig, S. L. (2015). A classroom data literacy intervention for pre-service teachers. Teaching and Teacher Education, 50, 90-101. http://dx.doi.org/10.1016/j. tate.2015.05.007

Reeves, T. D., Summers, K. H., & Grove, E. (2016). Examining the landscape of teacher learning for data use: The case of Illinois. Cogent Education, 3(1), 1-21. http://dx.doi.org/10.1080/2331 186X.2016.1211476

Ruffner, K. B. (2008). Translating data into action: A data team model as the seed of

comprehensive district change. (Doctoral dissertation) Available from ProQuest Dissertations & Theses – Gradworks database. (UMI No. 3333053).

Savin-Baden, M., & Major, C. H. (2013). Qualitative research: The essential guide to theory and practice. London, United Kingdom: Routledge.

Schildkamp, K., & Ehren, M. (2013). From “intuition”-to “data”-based decision making in Dutch secondary schools? In K. Schildkamp, M.K. Lai & L. Earl (Eds.), Data-based decision making in Education (pp. 49-67). Deventer, Netherlands: Springer.

Schildkamp, K., Handelzalts, A. Poortman, C. L., Leusink, H., Meerdink, M., Smit, M., Ebbeler, J., & Hubers, M. (2014). De datateam® methode. Een concrete aanpak voor onderwijsverbetering [The datateam ® method. A specific approach for school improvement]. Apeldoorn, Netherlands: Garant.

Schildkamp, K., Karbautzki, L., Breiter, A., Marciniak, M., & Ronka, D. (2013). The use of data across countries: development and application of a data use framework. In D. Passey, A. Breiter, & A. J., Visscher (Eds.), IFIP-AICT: Next generation of information technology in educational management (pp. 27-38). Dordrecht, Netherlands: Springer.

Schildkamp, K., Karbautzki, L., & Vanhoof, J. (2014). Exploring data use practices around Europe: Identifying enablers and barriers. Studies in Educational Evaluation, 42, 15-24. http://dx.doi. org/10.1016/j.stueduc.2013.10.007

Schildkamp, K., & Kuiper, W. (2010). Data-informed curriculum reform: Which data, what purposes, and promoting and hindering factors. Teaching and Teacher Education, 26(3), 482-496. http://dx.doi.org/10.1016/j.tate.2009.06.007

Schildkamp, K., & Lai, M. K. (2013). Conclusions and a data use framework. In K. Schildkamp, M. K. Lai, & L. Earl (Eds.), Data-based decision making in education: Challenges and opportunities (pp. 177-191). Deventer, Netherlands: Springer.

(14)

151 College Record 117(4).

Schildkamp, K., Poortman, C. L., & Handelzalts, A. (2015). Data teams for school improvement. School Effectiveness and School Improvement,27(2), 228-254. http://dx.doi.org/10.1080/0924 3453.2015.1056192

Schildkamp, K., Poortman, C. L., Luyten, H., & Ebbeler, J. (2017). Factors promoting and hindering data-based decision making in schools. School Effectiveness and School Improvement, 28(2), 242-258. http://dx.doi.org/10.1080/09243453.2016.1256901

Schildkamp, K., Rekers-Mombarg, L. T., & Harms, T. J. (2012). Student group differences in examination results and utilization for policy and school development. School Effectiveness and School Improvement, 23(2), 229-255. http://dx.doi.org/10.1080/09243453.2011.652123

Schuyler-Ikemoto, G. S., & Marsh, J. A. (2007). Cutting through the “data-driven” mantra: Different conceptions of data-driven decision making. Evidence and Decision Making: Yearbook of the National Society for the Study of Education, 106(1), 105-131.

Selart, M. (2005). Understanding the role of locus of control in consultative decision-making: A case study. Management Decision, 43(3), 397-412. http://dx.doi. org/10.1108/00251740510589779

Sjoer, E., & Meirink, J. (2015). Understanding the complexity of teacher interaction in a teacher professional community. European Journal of Teacher Education, 39(1), 110-125. http:// dx.doi.org/10.1080/02619768.2014.994058

Slavit, D., Holmlund-Nelson, T. H., & Deuel, A. (2013). Teacher groups’ conceptions and uses of student-learning data. Journal of Teacher Education, 64(1), 8-21. http://dx.doi. org/10.1177/0022487112445517

Smeets, E., Wester, M., & Van Kuijk, J. (2011). Opbrengstgericht werken in de pabo: Verslag van onderzoek [Data-based decision making on teacher education college for primary education: Report of an investigation]. Nijmegen, Netherlands: ITS.

Spillane, J. P. (2012). Data in practice: Conceptualizing the data-based decision-making phenomena. American Journal of Education, 118(2), 113-141. http://dx.doi. org/10.1086/663283

Staatsblad van het Koninkrijk der Nederlanden. (2005). Besluit bekwaamheidseisen

onderwijspersoneel [Decision on competence requirements for education staff]. Retrieved on March 7 2016, from http://wetten.overheid.nl/BWBR0018692/2017-03-29.

Staman, L., Visscher, A. J., & Luyten, H. (2013). The effects of professional development on the attitudes, knowledge and skills for data-driven decision making. Studies in Educational Evaluation, 42, 79-90. http://dx.doi.org/10.1016/j.stueduc.2013.11.002

Stokes, L. (2001). Lessons from an inquiring school: Forms of inquiry and conditions for teacher learning. In A. Libermann & L. Miller (Eds.), Teachers caught in the action: Professional development that matters (pp. 141-158). New York, NY: Teachers College Press. Stoll, L., Bolam, R., McMahon, A., Wallace, M., & Thomas, S. (2006). Professional learning

communities: A review of the literature. Journal of Educational Change, 7(4), 221-258. http:// dx.doi.org/10.1007/s10833-006-0001-8

Supovitz, J. A., & Christman, J. B. (2003). Developing communities of instructional practice: Lessons for Cincinnati and Philadelphia. (C.P.R.E. Policy Briefs. RB-39). Philadelphia, PA: Consortium for Policy Research in Education.

Supovitz, J. A., & Klein, V. (2003). Mapping a course for improved student learning: How innovative schools systematically use student performance data to guide improvement. (C.P.R.E. Policy Briefs. RB-11). Philadelphia, PA: Consortium for Policy Research in Education. Sutherland, S. (2004). Creating a culture of data use for continuous improvement: A case study

of an Edison Project school. American Journal of Evaluation, 25(3), 277-293. http://dx.doi. org/10.1177/109821400402500302

Swennen, A., Jones, K., & Volman, M. (2010). Teacher educators: Their identities, sub-identities and implications for professional development. Professional Development in Education,

(15)

36(1-514401-L-bw-Bolhuis 514401-L-bw-Bolhuis 514401-L-bw-Bolhuis 514401-L-bw-Bolhuis Processed on: 13-10-2017 Processed on: 13-10-2017 Processed on: 13-10-2017

152

2), 131-148. http://dx.doi.org/10.1080/19415250903457893

Timperley, H., & Earl, L. (2012). Learning and change networks: A background paper on designing networks to make a difference. Report to the Ministry of Education, New Zealand. Tuckman, B. W. (1965). Developmental sequence in small groups. Psychological Bulletin, 63(6),

384-399. http://dx.doi.org/10.1037/h0022100

Tufte, E. R. (2006). Beautiful evidence. Creshire, CT: Graphic Press LLC.

U.K. Department of Education. (2013). Teachers’ standards: guidance for school leaders, staff and governing bodies. Retrieved November 23, 2015, from https://www.gov.uk/government/ publications/teachers-standards

Van den Hurk, H. T. G., Houtveen, A. A. M., Van de Grift, W. J. C. M., & Cras, D. W. P. (2014). Data-feedback in teacher training. Using observational data to improve student teachers’ reading instruction. Studies in Educational Evaluation, 42, 71-78. http://dx.doi.org/10.1016/j. stueduc.2013.10.009

Van der Zee, S., Gijsel, M., & Van der Aalsvoort, D. (2012, November). Percepties van

aanstaande leraren over onderzoek [Perceptions of future teachers about research]. Paper presented at the conference Onderzoek voor een vitale regio [Research for a vital region], Deventer, Netherlands.

Van Essen, M. (2006). Kwekeling tussen akte en ideaal. De opleiding tot onderwijzer(es) vanaf 1800 [Teacher trainee between license and ideal. The education program(s) from 1800]. Amsterdam, Netherlands: SUN.

Vanhoof, J., Verhaeghe, G., Van Petegem, P., & Valcke, M. (2012). Flemish primary teachers’ use of school performance feedback and the relationship with school characteristics. Educational Research, 54(4), 431-449. http://dx.doi.org/10.1080/00131881.2012.734726

Van Merriënboer, J. J. G., Clark, R. E., & De Croock, M. B. M. (2002). Blueprints for complex learning: The 4C/ID-model. Educational Technology Research and Development, 50(2), 39-61. http://dx.doi.org/10.1007/BF02504993

Van Veen, K., Zwart, R., Meirink, J., & Verloop, N. (2010). Professionele ontwikkeling van leraren: Een reviewstudie naar effectieve kenmerken van professionaliseringsinterventies van leraren [Professional development of teachers: A review study of the characteristics of effective interventions for professional development of teachers]. Leiden, Netherlands: ICLON/ Expertisecentrum leren van docenten.

Van Velzen, C., Bezinna, C., & Lorist, P. (2009). Partnerships between schools and teacher education institutes. In A. Swennen & M. van der Klink (Eds). Becoming a teacher educator: Theory and practice for teacher educators (pp. 59-74). Deventer, Netherlands: Springer. Vereniging voor Lerarenopleiders (Velon). (2012). Beroepsstandaard voor lerarenopleiders

[Professional standard for teacher training]. Retrieved November 3 2015, from http://www. lerarenopleider.nl/velon/beroepsstandaard/

Verhaeghe, G., Vanhoof, J., Valcke, M., & Van Petegem, P. (2011). De effecten van ondersteuning bij schoolfeedbackgebruik. [The effects of supporting the use of school feedback].

Pedagogische Studiën, 88 (2), 90-106.

Vescio, V., Ross, D., & Adams, A. (2008). A review of research on the impact of professional learning communities on teaching practice and student learning. Teaching and Teacher Education, 24(1), 80-91. http://dx.doi.org/10.1016/j.tate.2007.01.004

Visscher, A., & Ehren, M. (2011). De eenvoud en complexiteit van opbrengstgericht werken: Analyse in opdracht van de Kenniskamer van het Ministerie van Onderwijs, Cultuur en Wetenschap [The simplicity and complexity of data-baseed decision making. Analysis commissioned by the Knowledge Chamber of the Ministry of Education, Culture and Science]. Enschede, Netherlands: University of Twente.

Voogt, J., Westbroek, H., Handelzalts, A, Walraven, A., McKenney, S., Pieters, J., & De Vries, B. (2011). Teacher learning in collaborative curriculum design. Teaching and Teacher Education 27(8), 1235-1244. http://dx.doi.org/10.1016/j.tate.2011.07.003

(16)

153

Wayman, J. C., Cho, V., Jimerson, J. B., & Spikes, D. D. (2012). District-wide effects on data use in the classroom. Education Policy Analysis Archives, 20(25), 1-31. http://dx.doi.org/10.14507/ epaa.v20n25.2012

Wayman, J. C., & Jimerson, J. B. (2014). Teacher needs for data-related professional learning. Studies in Educational Evaluation, 42, 25-34. http://dx.doi.org/10.1016/j.stueduc.2013.11.001

Weick, K. E. (1976). Educational organizations as loosely coupled systems. Administrative Science Quarterly, 21(1), 1-19. http://dx.doi.org/10.2307/2391875

Weinstein, M. (2013). TAMSAnalyzer (version 4.45b7ahl). Kent, OH: Kent State University. Weiss, C. H. (1998). Have we learned anything new about the use of evaluation? American

Journal of Evaluation, 19(1), 21-33. http://dx.doi.org/10.1177/109821409801900103

Williams, J. L. (2011). A comparison of secondary principals’ use of data systems to increase student achievement in mathematics. (Master’s thesis). Available from ProQuest Dissertations & Theses – Gradworks database. (UMI No. 3453631).

Williams, J. L. (2013). Faculty engagement with learning outcomes assessment: A study of public two-year colleges in Colorado. (Doctoral dissertation). Available from ProQuest Dissertations & Theses – Gradworks database. (UMI No. 3597989).

(17)

(18)

Appendix A

Questionairre

Data Use /

Vragenlijst

Opbrengst

Gericht Werken

(19)

(20)

157

Appendix A Questionairre Data Use / Vragenlijst Opbrengst Gericht

Werken

Introductie

Graag willen wij u vragen om deze vragenlijst opbrengstgericht werken in te vullen. Het invullen van de vragenlijst kost u ongeveer 20 minuten. De vragenlijst is ontwikkeld om opbrengstgericht werken in uw afdeling in kaart te brengen. De vragenlijst is onderverdeeld in de volgende onderdelen:

1. Informatie over uzelf

2. Mogelijkheden en barrières voor opbrengstgericht werken a. Kenmerken van data aanwezig binnen de school b. Kenmerken van de gebruiker

c. Kenmerken van de organisatie 3. Datagebruik

a. Datagebruik voor verantwoording b. Datagebruik voor schoolontwikkeling c. Datagebruik voor instructie

Bij voorbaat dank voor het invullen van deze vragenlijst.

Sectie 1: Informatie over uzelf

Selecteer uw school: [Gebruiker selecteert een school in de lijst met deelnemende scholen] Hoeveel jaar bent u al docent? (vul het aantal jaren in)

Wat is uw hoofdvak? (Als u verschillende vakken geeft kies dan één vak, bijvoorbeeld het vak waaraan u de meeste tijd besteedt. Beantwoordt vervolgens alle vragen in deze vragenlijst voor dit vak)

0 Rekenen/Wiskunde

0 Natuurwetenschappen (bv. aardrijkskunde, biologie, scheikunde, natuurkunde, NLT, ANW)

0 Nederlands 0 Vreemde talen

0 Pedagogiek/onderwijskunde 0 Techniek

0 Kunst, muziek en cultuur (bv. tekenen, handvaardigheid, CKV, drama, beeldende vorming)

0 Lichamelijke Opvoeding 0 Overige

In welke bouw geeft u les? (Als u op zowel onder- als bovenbouw lesgeeft, kies dan voor de bouw waarin u het meest lesgeeft en vul hiervoor de vragen in)

0 Propedeutische fase 0 Post propedeutische fase

(21)

158

Sectie 2: Mogelijkheden & Barrières voor opbrengstgericht werken

Voor dit deel van de vragenlijst zijn ‘data’ breed gedefinieerd. Onder data/gegevens worden verstaan: verschillende soorten data over leerlingen, zoals demografische gegevens, toetsresultaten, aanwezigheid en gedrag. Tevens worden hier ook data zoals observaties van leerlingen en docenten en resultaten van vragenlijsten voor studenten, docenten en management mee bedoeld.

Kenmerken van data aanwezig binnen de school Zeer mee

eens Mee eens oneensMee Zeer mee oneens Niet van toepas-sing

Toegankelijkheid van data

Ik heb toegang tot studentgegevens in een informatiesysteem

Ik kan in één systeem alle relevante gege-vens van mijn studenten vinden

Ik heb toegang tot programma’s (bv. SPSS) welke mij helpen bij het analyseren van mijn gegevens

Gegevens over mijn huidige studenten zijn aan het begin van elk schooljaar beschikbaar Wanneer studenten midden in het jaar op deze school beginnen, zijn de gegevens over hen snel beschikbaar

Kwaliteit van de data

Over het algemeen zijn de gegevens waar ik toegang tot heb up-to-date

De gegevens waar ik toegang tot heb hel-pen mij bij het plannen van mijn lessen Ik geloof dat de gegevens die ik heb over mijn studenten kloppen

Ik kan, met de gegevens die ik heb over mijn studenten, de groei in leerprestaties van jaar tot jaar bepalen

De gegevens waar ik toegang tot heb geven het leren van mijn studenten weer

Ik ben in staat om verschillende soorten ge-gevens te combineren tot een schoolbreed beeld van de leerprestaties/schoolprestaties van studenten

Ik kan de hoeveelheid gegevens over mijn studenten goed overzien

Kenmerken van de gebruiker, attituden

Ik geloof dat het belangrijk is om data te gebruiken bij het vaststellen van individuele leerbehoeften van studenten

(22)

159

Zeer mee

eens Mee eens Mee on-eens Zeer mee oneens Niet van toepas-sing Ik geloof dat data mij nieuwe inzichten

kunnen geven over studenten

Ik geloof dat het gebruik van verschillende soorten data belangrijk is om het leren van mijn studenten te begrijpen

Ik geloof dat het gebruik van data belang-rijk is bij het veranderen van mijn onderwijs Ik geloof dat studenten profiteren wanneer de instructie van de docent is gevormd op basis van data

Kenmerken van de gbruiker, vaardighe-den

Ik heb de vaardigheden om, op basis van data, mijn onderwijs te veranderen Ik ben in staat om met data de individuele leerbehoeften van mijn studenten vast te stellen

Ik begrijp de beoordelingscriteria en concepten voor het gebruik van data (bv. correlatie, validiteit, betrouwbaarheid) Ik weet hoe ik de verslagen/rapporten die ik heb gekregen moet interpreteren Ik voel me comfortabel bij het interprete-ren van grafisch weergegeven data

Kenmerken van de organisatie, manage-ment

Mijn leidinggevende moedigt het gebruik van data aan als effectieve ondersteuning van mijn onderwijs

Mijn leidinggevende maakt zelf op goede wijze gebruik van verschillende gegevens Mijn leidinggevende biedt ons verschillen-de mogelijkheverschillen-den (bv. tijd) om gebruik te maken van gegevens

Data-analyses gedaan door het manage-ment worden besproken met de docenten in mijn afdeling

Mijn leidinggevende bespreekt data met mij

Kenmerken van de organisatie, samen-werking

Ik zou graag meer met andere docenten willen samenwerken over het gebruik van data

We gebruiken regelmatig data in ons team om ons onderwijs te verbeteren

(23)

160

Zeer mee

eens Mee eens Mee on-eens Zeer mee oneens Niet van toepas-sing Ik werk regelmatig samen met andere

do-centen om actieplannen te ontwikkelen Ik observeer regelmatig andere docen-ten om de beste manieren van onderwijs geven te vinden

Mijn school communiceert doelen voor ef-fectieve schoolverbetering naar studenten Mijn school communiceert doelen voor ef-fectieve schoolverbetering naar docenten Ik deel en bespreek resultaten van mijn leerlingen met studenten

Ik deel en bespreek resultaten van mijn leerlingen met andere docenten

Kenmerken van de organisatie, visie en normen

Docenten op de pabo hebben allemaal vergelijkbare ideeën over wat goed onder-wijs is

Docenten op de pabo hebben allemaal vergelijkbare ideeën over het leren van studenten

Docenten op de pabo hebben allemaal vergelijkbare

Ideeën over hoe we het leren van studen-ten effectief kunnen evalueren

De pabo is zich bewust van de noodzaak om de vaardigheden van docenten voor data-analyse te blijven ontwikkelen Datagebruik is een duidelijke prioriteit op mijn opleiding

Op de pabo gebruiken we een gestructu-reerde werkwijze voor het analyseren en interpreteren van data om actie te kunnen ondernemen

Kenmerken van de organisatie, scholing en ondersteuning

Ik word voldoende ondersteund in het effectief gebruiken van data

Binnen de pabo is er iemand aanwezig die mijn vragen over datagebruik kan beant-woorden

Binnen de pabo is er iemand aanwezig die mij helpt mijn onderwijs te veranderen met behulp van data

Tijdens mijn docentenopleiding heb ik geleerd hoe ik data moet gebruiken

(24)

161

Zeer mee

eens Mee eens Mee on-eens Zeer mee oneens Niet van toepas-sing De pabo roostert specifiek tijd in voor

datagebruik

Zeer mee

eens Mee eens Mee on-eens Zeer mee oneens Niet van toepas-sing

Datagebruik voor verantwoording

De data die wij verstrekken voor verant-woording (bv. naar ouders, naar de in-spectie) representeren de werkelijkheidvan onze pabo nauwkeurig

Interne evaluaties worden ook voor andere doeleinden dan externe verantwoording (bv. de inspectie, NVAO) gebruikt

De investering in het voorbereiden van de interne evaluaties is de moeite waard Resultaten van onze interne evaluaties worden weergegeven in externe rapporten (bv. rapporten naar de inspectie en NVAO) In mijn school gebruiken we externe eva-luaties (bv. van de inspectie, NVAO) voor ons eigen verbeterproces

De investering in het verzamelen en rap-porteren van data voor externe organisa-ties (bv. de inspectie, NVAO) is de moeite waard

Resultaten van studenten worden gebruikt voor het evalueren van de docentpresta-ties

We focussen evenveel op alle vakken/on-derwerpen ongeacht of we hiervoor wel of niet afgerekend worden door in de accre-ditatie of door de inspectie

Ik ben me bewust van onofficiële verant-woordingsmechanismen (bv. de Elsevier lijst, docentverkiezingen)

Ik waardeer de onofficiële verantwoor-dingsmechanismen waar ik bekend mee ben

Ik vind het belangrijk dat onzeomgeving een goed beeld heeft van onze pabo

Datagebruik voor schoolverbetering

Management laten docenten op basis van data zien in welke mate de pabo haar doelen behaalt

Sectie 3: Data gebruiken

(25)

162

Zeer mee

eens Mee eens Mee on-eens Zeer mee oneens Niet van toepas-sing Grondige data-analyse is een essentieel

deel van het verbeterproces van de pabo De verdeling van onderwijstijd in de pabo wordt gedaan op basis van de geïdentifi-ceerde leerling-behoeften

In mijn school gebruiken we resultaten van studenten om jaarlijks doelen voor school-verbetering op te stellen

In de pabo beslissen we welke lesmateri-alen gebruikt worden, op grond van het effect dat deze materialen hebben Resultaten van studenten leiden tot beslis-singen over professionele ontwikkeling in mijn school

Leerresultaten van studenten worden gebruikt om gaten in ons curriculum vast te stellen

In de pabo gebruiken we data als hulp-middel om de beste manieren van onder-wijs geven vast te stellen

In de pabo vergelijken we onze beoorde-lingsresultaten met de beoordelingsresul-taten van andere pabo’s

Hoevaak gebruikt u data voor

Nau-we-lijks tot nooit Jaarlijks Meer-dere malen per jaar Aantal keren per jaar

Maand-elijks ke-lijksWe- Aantal keren per week

Niet van

toepas-sing

Datagebruik voor instructie

Het opstellen van leerdoelen voor de individuele studenten

Het bepalen van welke onderdelen of vaardigheden studenten wel of niet beheersen

Het bepalen van de vooruitgang van de studenten

Het aanpassen van instructie aan de behoefte van de studenten

Het bepalen van het tempo van mijn lessen

Het geven van feedback aan studenten over hun leerproces

Het (her)indelen van studenten in klas-sen

(26)

163 Nau-we-lijks tot nooit Jaarlijks Meer-dere malen per jaar Aantal keren per jaar

Maand-elijks ke-lijksWe- Aantal keren per week

Niet van

toepas-sing

Het verdelen van studenten in groepen om gerichte instructie te geven binnen de klas

Het doorverwijzen van studenten voor het wegwerken van tekorten of andere vormen van specialistische hulp Het selecteren van specifieke vaardig-heden of onderwerpen die extra uitleg in de klas nodig hebben Het onderzoe-ken waarom studenten bepaalde fouten maken

Het identificeren van behoeften, en het plannen en aanpassen van instructie voor hoogbegaafde studenten

Het identificeren van behoeften, en het plannen en aanpassen van instructie voor laagbegaafde studenten

Bedankt voor het invullen van deze vragenlijst

(27)

(28)

Dutch Summary/

Nederlandse

(29)

(30)

167

Dutch Summary / Nederlandse samenvatting

Inleiding

De kwaliteit van het onderwijs vraagt voortdurend om aandacht. Uit onderzoek blijkt dat data kunnen helpen om de kwaliteit van onderwijsinstellingen zichtbaar te maken en dat deze gebruikt kunnen worden om het onderwijs te verbeteren (Hargreaves & Braun, 2013). Voor lerarenopleiders is het daarom van belang om aankomende leerkrachten leren data te gebruiken, zodat ze leren hun eigen onderwijs te verbeteren (Mandinach & Gummer, 2016b). Echter, naast dat lerarenopleiders aankomende leerkrachten leren data te gebruiken, kunnen zij ook zelf data gebruiken om hun eigen onderwijs te ontwikkelen (e.g., Italiano & Hine, 2014; Keijzer et al., 2012).

Deze dissertatie gaat over het leren werken met data door lerarenopleiders. In dit proefschrift wordt uitgegaan van een brede definitie en omvatten data

“informatie die de onderwijspraktijk beschrijven” (Han et al., 2012, 40). Data kunnen kwalitatief en kwantitatief zijn en kunnen bijvoorbeeld in de vorm van toetsresultaten, evaluatiegegevens, curriculumgegevens of observatiegegevens beschikbaar zijn.

Hoewel onderzoek aantoont dat datagebruik een positief effect kan hebben op de kwaliteit van het onderwijs (e.g., Campbell & Levin, 2009; Carlson et al., 2011; Lai & McNaughton, 2016; McNaughton et al., 2012) worden data om allerlei redenen niet of te weinig gebruikt (Inspectie van het Onderwijs, 2015a). Een belangrijke reden voor het geringe gebruik van data in de onderwijspraktijk is dat docenten te weinig kennis en vaardigheden bezitten in het werken met data (Mandinach & Gummer, 2012). Om docenten vaardiger te maken in het gebruik van data is professionaliseren noodzakelijk. Een effectieve manier om professionaliseren vorm te geven is door middel van professionele leergemeenschappen (e.g., Jimerson et al., 2015; Jimerson & McGhee, 2013). Dit zijn vormen van professionaliseren waarbij én kennis, vaardigheden en attituden worden aangeleerd én een probleem uit de praktijk wordt opgelost. Deze professionele leergemeenschappen gericht op het gebruik van data worden datateams genoemd (Schildkamp, Handelzalts et al., 2014).

Om zicht te krijgen op welke wijze lerarenopleiders, die participeren in een datateam, kennis en vaardigheden verwerven in het werken met data en wat het werken met data oplevert in de beroepspraktijk, is onderzoek gedaan naar het gebruik van data op een lerarenopleiding. De onderzoeksvraag die centraal stond, luidt:

Hoe verwerven lerarenopleiders, die participeren in een data team, kennis en vaardigheden in het werken met data en wat levert dit op voor het werken met data in hun beroepspraktijk?