Do PISA data justify PISA-based education policy?

Lusia Araujo, Andrea Saltelli, Sylke Schnept (2017)

Abstrak

Tujuan - Sejak dipublikasi hasil pertama pada tahun 2000, Program for International Student Assessment (PISA) yang dilaksanakan oleh OECD telah berulang kali menjadi subyek perdebatan sengit. Pada akhir 2014 kontroversi berkobar lagi, dengan kritikus paling parah sampai untuk menghentikan program. Tujuan dari paper ini adalah untuk membahas desain metodologis dari PISA dan dasar ideologi argumen ilmiah dan melibatkan kebijakan untuk menentangnya. Desain / metodologi / pendekatan - Para penulis memeriksa kesehatan dari metodologi survei dan mengidentifikasi interpretasi yang saling bertentangan dan nilai-nilai memicu perdebatan.Temuan - Para penulis menemukan bahwa ada keprihatinan yang sah tentang apa langkah-langkah PISA, dan bagaimana PISA itu sendiri. Para penulis menyimpulkan bahwa OECD harus lebih transparan dalam dokumentasi dari pilihan metodologis yang mendasari penciptaan data dan lebih eksplisit tentang dampak pilihan ini pada hasil. Lebih luas, penulis menyarankan hati-hati dalam upaya untuk menurunkan dan menerapkan kebijakan berbasis bukti dalam domain pendidikan; penulis selanjutnya mengusulkan model alternatif penyelidikan sosial yang sensitif dan kuat untuk keprihatinan dari berbagai aktor dan stakeholders yang mungkin terlibat dalam diberikannya domain kebijakan. Orisinalitas / nilai - Isu dan ketegangan seputar survey PISA dapat dipahami lebih baik dikerangka PNS, aplikasi yang kontroversi PISA menawarkan solusi potensial dari jalan buntu.

Kata kunci Pendidikan komperatif, kebijakan berbasis bukti, ukuran  Pendidikan, Program untuk penilaian siswa internasional (PISA). Jenis paper Paper Konseptual.

Pengantar

Pada tanggal 6 Mei 2014 surat kabar harian Inggris The Guardian menerbitkan sebuah surat terbuka (Meyer dan Zahedi, 2014) ditujukan kepada Andreas Schleicher, Direktur Pendidikan dan Keterampilan dari Organisasi untuk Kerjasama Ekonomi dan Pembangunan (OECD), mengungkapkan keprihatinan serius tentang kekurangan dan efek merusak dari survei internasional kemampuan siswa dikenal sebagai ‘PISA’ yang dilaksanakan oleh OECD setiap tiga tahun di sejumlah negara maju dan berkembang (lebih dari 60 di periode 2012). Bersama-sama ditandatangani oleh sekitar 80 akademisi, administrator distrik sekolah umum, orang tua dan guru, surat itu menyarankan untuk melewati periode 2015 PISA yang meminta waktu untuk membahas dan mengatasi masalah yang diangkat, di tingkat lokal, nasional dan internasional, dan akhirnya untuk meningkatkan model penilaian.

Ini bukan pertama kalinya bahwa Program for International Student Assessment (PISA) yang ditampilkan dalam media mainstream. Beberapa majalah dan surat kabar mengomentari PISA sejak diluncurkan pada tahun 2000 - judul seperti The Economist, The Guardian dan Atlantic Monthly biasanya menerbitkan sebuah artikel tentang PISA setiap kali gelombang baru data dirilis. Tidak ada survei internasional lain dari kemampuan siswa yang menarik dan sebanding untuk diperhatikan. The  Trends  in  Mathematics  and  Science Study  (TIMSS), misalnya, pertama kali dilakukan pada tahun 1995 dan dilaksanakan setiap empat tahun, telah menyediakan data internasional terhadap prestasi belajar siswa dalam mata pelajaran di kelas empat dan delapan (sesuai dengan siswa yang umurnya sekitar 10 dan 14 tahun) selama dua dekade sekarang. Namun, TIMSS bertujuan untuk mengukur pengetahuan matematika dan ilmu konten belajar di sekolah dan berbasis kurikulum. Sebaliknya, PISA yang konon dirancang untuk mengukur kemampuan siswa untuk menggunakan atau menerapkan pengetahuan yang diperoleh di sekolah untuk memecahkan masalah yang dihadapi dalam kehidupan sehari-hari. Seperti dijelaskan dalam kerangka penilaian PISA terbaru, “PISA merupakan upaya kolaborasi yang dilakukan oleh peserta - negara-negara anggota OECD serta lebih dari 30 negara mitra non-anggota dan ekonomi - untuk mengukur seberapa baik siswa, pada usia 15, disusun untuk memenuhi tantangan yang mungkin mereka hadapi dalam kehidupan masa depan. Umur 15 dipilih karena pada usia ini siswa sedang mendekati akhir dari pendidikan wajib di kebanyakan negara OECD”(OECD, 2013a, b, p. 13). Selain itu, ambisi OECD dengan PISA adalah menyediakan data yang dibandingkan secara internasional.

Apa yang diukur oleh PISA ? dan Bagaimana ?

Kualitas setiap survei tergantung pada beberapa faktor: arti-penting dan relevansi realitas yang mendasari hal ini bertujuan untuk menangkap; kualitas alat pengukuran yang dirancang untuk menangkap itu; dan pelaksanaan statistik, termasuk kapasitasnya untuk menghasilkan sampel yang representatif untuk populasi sasaran (Groves et al., 2009). Kami menyentuh setiap aspek ini pada gilirannya.

Apa yang dimaksud dengan “ Skor Keterampilan Hidup ?

Kritik pertama dari data PISA yang ada berkaitan dengan perbandingan di seluruh negara sebagai alat menilai “seberapa baik orang dewasa muda, pada usia 15 dan karena mendekati akhir wajib belajar, siap untuk memenuhi tantangan masyarakat pengetahuan sekarang” (OECD 2004, p. 12). OECD mengasumsikan keterampilan hidup yang diperlukan untuk fungsi pengetahuan di dalam masyarakat harus sama untuk semua negara - asumsi agak meragukan, mengingat bahwa negara-negara yang berpartisipasi dalam PISA sangat berbeda dalam hal budaya dan tingkat pembangunan ekonomi, yang menimbulkan pertanyaan yang sah tentang itu, bagaimana cara membuat peringkat yang tepat dalam satu meja. Keterampilan yang dibutuhkan oleh orang dewasa muda cenderung tergantung pada karakteristik masyarakat di mana orang tersebut hidup; karenanya, apa artinya “fungsi” dalam masyarakat pengetahuan akan bervariasi dari satu negara ke Negara lain. Sementara komparabilitas data di negara-negara yang diinginkan, harus sesuai dengan kebijakan pendidikan berbasis PISA.

Apakah PISA memenuhi syarat validitas ?

validitas sangat sulit dicapai dalam survei cross-nasional. Tantangan pertama adalah untuk menciptakan item-item yang netral budaya; yang kedua adalah untuk menerjemahkan item ini ke dalam bahasa lain. Dalam rangka mencapai netralitas yang diinginkan, OECD menggunakan berbagai mekanisme untuk memastikan bahwa kata-kata dan terjemahan tidak berdampak pada hasil. Selain itu, OECD umumnya mengujicobakan sebelum menerapkan item kuesioner final PISA. Jika item buruk selama uji coba ini, mereka ditarik. Keterbukaan dan transparansi pada bagian dari OECD tentang hasil uji coba dan pilihan konsekuen item akan membantu pengguna yang berpotensial dari hasil untuk menilai kehandalan mereka.

Apakah sampel PISA sudah tepat mewakili ?

Seperti dibahas di atas, dalam rangka untuk membuat perbandingan lintas negara yang handal, ada pengukur yang umum diperlukan. Masalah yang relevan adalah apakah sampel siswa digunakan untuk memperkirakan rata-rata negara memang mewakili populasi sasaran. PISA memungkinkan untuk pengecualian dari siswa dengan kebutuhan pendidikan khusus dan imigran yang baru tiba. Hal ini menimbulkan kekhawatiran (Wuttke, 2007), karena beberapa negara mengecualikan siswa lebih dari ambang 5 persen yang dikenakan oleh desainer PISA.

Pandangan dunia tentang PISA

Analisis pendidikan komparatif sebagai hal yang dikejar dan dipromosikan oleh OECD menunjukkan bahwa adalah mungkin untuk mentransfer resep kebijakan pendidikan dari satu sistem pendidikan yang lain. Namun beberapa pemain top, seperti Finlandia, tidak memiliki ujian eksternal, dan perbaikan jelas atau mengalami kerusakan dalam kinerja dalam tes PISA telah mempertanyakan atas dasar prosedur sampling. Misalnya, peningkatan yang stabil dalam nilai PISA di Jerman bisa menjadi sebagian terkait dengan pergeseran pertama dan generasi kedua populasi imigran mengambil survei, dengan imigran Eropa yang lebih banyak berasal dari Rusia dan Timur berpartisipasi pada tahun 2006 dan 2009 dibandingkan putaran sebelumnya (Carnoy dan Rothstein, 2013). Sebagaimana dibahas dalam bagian sebelumnya, jika data PISA yang memanjang, jenis-jenis pertanyaan bisa diselidiki. Kritik yang dibuat dalam surat asli yang diterbitkan dalam The Guardian bahwa kuantifikasi menyediakan OECD dengan leverage tidak beralasan untuk mempengaruhi kebijakan di negara-negara yang berpartisipasi gema titik yang dibuat oleh (1995) buku Kepercayaan Theodor Porter dalam Bilangan.

Kontroversi PISA

Kontroversi PISA, seperti telah kita lihat, disekitaran langkah-langkah PISA, bagaimana mengukur dan bagaimana ia digunakan untuk kebijakan. Dari sudut pandang metodologis kurangnya dokumentasi tentang dampak pilihan yang dibuat untuk sampai pada kepercayaan praktisi pencapaian akhir batas skor dalam data dan mengurangi dari legitimasi kesimpulan kebijakan terkait. Rencana OECD untuk penilaian PISA masa depan mencakup pengukuran beberapa dimensi non-kognitif dan tujuan untuk meningkatkan kekuatan eksplorasi sehingga dapat memberikan pembuat kebijakan dengan informasi yang lebih baik (OECD, 2015). Meskipun demikian, rencana mereka tidak termasuk pengungkapan prosedur statistik yang digunakan untuk menghasilkan pengetahuan yang relevan dengan kebijakan ini. Sehubungan dengan PISA, kasus Finlandia menonjol. Hasil penelitian tidak mendukung gagasan bahwa sistem dengan ujian nasional eksternal tampil lebih baik, melainkan bahwa kualitas guru adalah faktor penjelas utama hasil pendidikan tinggi (Takayama et al., 2013). Dalam konteks negara yang berbeda, namun, sifat masalah dapat dirasakan berbeda.

Penutup

Perdebatan PISA ditandai oleh nilai-nilai dan interpretasi yang berbeda dari fakta-fakta yang bertentangan - sebagai diskusi kita tentang non-pelaporan telah ditunukan. Surat yang diterbitkan dalam The Guardian (2014) menunjukkan bagaimana berbagai pemangku kepentingan bisa datang bersama-sama untuk menentang PISA. Kritik khusus yang tercantum dalam surat itu memotivasi kami untuk meninjau isu metodologi dan ideologi dibesarkan dalam perdebatan PISA dan untuk membahas wacana kebijakan berbasis PISA. Kami lebih menggambarkan bagaimana menerapkan ilmu dalam mendukung kebijakan adalah sesuatu tetapi bermasalah. Singkatnya, ulasan ini argumen untuk dan terhadap PISA mengungkapkan spektrum kaya posisi metodologis dan ideologi yang membenarkan beberapa jenis tindakan sosial berkaitan dengan PISA - yaitu, upaya untuk menciptakan kesadaran bahwa PISA bukan latihan statistik netral memproduksi nomor obyektif dan fakta-fakta keras.

Mengingat bahwa PISA memiliki dampak yang cukup besar pada kebijakan, para desainer survei harus melakukan upaya untuk lebih transparan dalam dokumentasi dari pilihan yang mereka buat di generasi data. Ini akan mencakup informasi tentang keterwakilan data dan bagaimana pilihan pemodelan dampak pada hasil. Penambahan analisis NUSAP atau audit sensitivitas pilihan ini akan meningkatkan legitimasi data dan tabel liga yang telah menarik begitu banyak perhatian publik.

Idealnya, PISA harus digunakan untuk mendukung kebijakan yang bermanfaat dan tidak berbahaya bagi siswa. Tapi ada orang-orang yang keberatan dengan pandangan tunggal apa yang merupakan “baik” dalam pendidikan. “Anti-PISA” suara-suara yang bersatu untuk menghasilkan surat untuk The Guardian mencerminkan pluralitas pandangan dunia pendidikan yang mencakup “anti-akuntabilitas” gerakan dan penolakan dari kasus ekonomi untuk pendidikan. Kritik kita terakhir sangat menyarankan

bahwa kasus untuk pendidikan harus dilakukan dalam hal yang lebih luas. Selain itu, kami menunjukkan bahwa bahkan ketika pandangan dunia seperti diasumsikan, isu metodologi tersebut harus diselesaikan agar PISA memiliki kredibilitas ilmiah. Menurut pendapat penulis pengukuran kemampuan kognitif sebagai proxy untuk kebugaran untuk tujuan kebijakan - termasuk pertumbuhan ekonomi - adalah pendekatan yang sah, asalkan satu jelas mengenai tujuan dan keterbatasan latihan seperti itu. Sikap terbuka dan waspada harus dipertahankan terhadap kemungkinan efek yang tidak diinginkan dan pada masalah yang lebih luas pemerintahan.

Surat kepada The Guardian yang disebabkan tulisan ini mengingatkan kita tentang pentingnya merenungkan pertanyaan penting seperti apa yang merupakan pengetahuan, yang memutuskan apa merupakan pengetahuan (Lyotard, 1979/1984, p. 8), dan hubungan antara pengetahuan dan tatanan sosial (Shapin dan Schaffer, 1985, hal. 15). Refleksi yang ditawarkan dalam makalah ini dimaksudkan untuk membantu menginformasikan perdebatan PISA, yang sangat mungkin untuk menyalakan kembali setelah publikasi 2015 gelombang hasil PISA Desember 2016.

Referensi

Atkinson, A.B. (1975), The Economics of Inequality, Clarendon Press, Oxford.

Baird,  J.-A., Isaacs, T., Johnson, S., Stobart, G., Yu, G., Terra, S. and Daugherty, R. (2011), “Policy effects of PISA”, Oxford University Centre for Educational Assessment.

Boden, R. and Epstein, D. (2006), “Managing the research imagination? Globalisation and research in higher education”, Globalisation, Societies and Education, Vol. 4 No. 2, pp. 223-236.

Boydston, J.A. (1985), The Later Works of John Dewey, 1925-1935, Vol. 6, Southern Illinois University Press, Carbondale, IL,pp. 64-65.

Breen, R., Luijkx, R., Mueller, W. and  Pollak, R. (2009),  “Nonpersistent inequality in educational attainment: evidence form eight European countries”, American Journal of Sociology, Vol. 114, pp. 1475-1521.

Brown, G., Micklewright, J.,  Schnepf, S.V. and  Waldmann,  R. (2007), “International surveys  of educational achievement: how robust are the findings?”, Journal of the Royal Statistical Society Series A, Vol. 170, pp. 623-646.

Carnoy, M. and  Rothstein, R. (2013),  “What do international  tests  really show about US student performance?”, Economic Policy Institute Report

Carrozza, C. (2014), “Democratizing  expertise and environmental governance: different approaches to the politics of science and their relevance for policy analysis”, Journal of Environmental Policy and Planning, Vol. 17, pp. 108-126.

Ehrenberg, R., Brewer, D., Gamoran, A. and Willm, D. (2001), “Class size and student achievement”, Psychological Science in the Public Interest, Vol. 2 No. 1, pp. 1-30.

Fuchs,  T.  and  Woessmann,  L. (2007), “What  accounts  for  international  differences in  student performance? A re-examination using PISA data”, Empirical Economics, Vol. 32, pp. 433-464.

Funtowicz, S.O. and  Ravetz, J.R. (1991),  “A new scientific methodology for global environmental issues”,  in  Costanza,  R.  (Ed.), Ecological Economics: The  Science and  Management  of Sustainability, Columbia University Press, New York, NY, pp. 137-152.

Funtowicz, S.O. and  Ravetz, J.R. (1992),  “Three types  of risk  assessment  and  the  emergence of postnormal science”, in Krimsky, S. and Golding, D. (Eds), Social Theories of Risk, Westport, CT, Greenwood, pp. 251-273.

Funtowicz,  S.O. and Ravetz,  J.R. (1993), “Science for the post-normal age”, Futures, Vol. 25, pp. 739-755. Funtowicz, S.O. and  Ravetz, J.R. (1994), “The  worth  of a  songbird:  ecological economics as  apost-normal science”, Ecological Economics, Vol. 10 No. 3, pp. 197-207.

Gluckman, P. (2014), “Policy: the art of science advice to government”, Nature, Vol. 507, pp. 163-165. Goldstein, H. (2004), “International comparison of student attainment: some issues arising from the PISA study”, Assessment in Education, Vol. 11, pp. 319-330.

Groves, R., Floyd, J.,  Couper, P., Lepkowski, J.,  Singer, E.  and  Tourangeau,  R. (2009), Survey Methodology, Wiley, Hoboken, NJ.

Hanushek, E. and Woessmann, L. (2012), “Do better schools lead to more growth? Cognitive skills, economic outcomes, and causation”, Journal of Economic Growth, Vol. 17, pp. 267-321.

Heckman, J.J. and Kautz, T. (2012), “Hard evidence on soft skills”, Labour Economics, Vol. 19, pp. 451-464. Heckman, J.J., Humphries, J.E. and Kautz, T. (2014), “Who are the GEDs?”, in Heckman, J.J., Humphries, J.E. and Kautz,  T.  (Eds),  The Myth of Achievement Tests: The GED and the Role of Character in American Life, University of Chicago Press, Chicago, IL.

Hopmann, S., Brinek, G. and Retzl, M. (2009), PISA According to PISA – Does PISA Keep What it Promises?, University of Vienna Press, Vienna.

Hutchison, D. and Schagen, I. (2007), “Comparisons Between PISA and TIMSS – Are We the Man with Two Watches?”, National Foundation for Educational Research, pp. 1-32.

Jasanoff, S. (1996),  “Beyond epistemology: relativism and  engagement in the politics of science”, Social Studies of Science, Vol. 26 No. 2, pp. 393-418.

Jerrim, J. (2013),  “The reliability of trends  over time in international education test scores: is the performance of England’s secondary school pupils really in relative decline?”, Journal of Social Policy, Vol. 42 No. 2, pp. 259-279.

Kautz, T., Heckman, J.J., Diris,  R., Weel,  B.T. and Borghans, L. (2014), “Fostering and measuring skills: improving cognitive and  non-cognitive skills to promote lifetime success”,  Working Paper No. 110, OECD Education .

Lyotard, J.F. (1979/1984), The Postmodern Condition: A Report on Knowledge, Manchester University Press. Meyer, H.-D. and Zahedi, K. (2014), “An open letter: to Andreas Schleicher”, OECD, Paris, Global Policy Institute, Guardian, 5-6 May, available at: www.globalpolicyjournal.com/blog/05/05/2014/open- letter-andreas-schleicher-oecd-paris; www.theguardian.com/education/2014/may/06/oecd-pisa- tests-damaging-education-academics (accessed 20 June 2016).

Micklewright, J.   and  Schnepf, S.V. (2007), “Inequality  of  learning  in  industrialised  countries”, in Atkinson, T. (Ed.), Inequality and Poverty Re-examined, Oxford University Press, Oxford.

Micklewright, J.,  Schnepf, S.V. and Skinner, C.J. (2012),  “Non-response biases in surveys of school children: the case of the English PISA samples”, Journal of the Royal Statistical Society Series A, Vol. 175, pp. 915-938.

Mont, G. (2011),  “Cross-national differences in educational achievement inequality”,  Sociology  of Education, Vol. 84, pp. 49-68.

Nowotny, H. (2003),  “Democratising expertise and  socially robust  knowledge”,  Science and  Public Policy, Vol. 30, pp. 151-156.

OECD (2004), Problem  Solving for  Tomorrow’s   World  –  First  Measures  of  Cross-Curricular Competencies from PISA 2003, OECD Publishing, Paris.

OECD (2010), PISA 2009 Results: What Students Know and Can Do: Student Performance in Reading, Mathematics and Science, OECD Publishing, Paris.

OECD (2012), PISA 2012 Technical Report, OECD Publishing, Paris.

OECD (2013a), PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy, OECD Publishing, Paris.

OECD (2013b), PISA 2012 Results: What Makes Schools Successful? Ressources,  Policies and Practices, OECD Publishing, Paris.

OECD (2014), “Response to points raised in Heinz-Dieter Meyer ‘open letter”, available at: www.oecd.org/ pisa/aboutpisa/OECD-response-to-Heinz-Dieter-Meyer-Open-Letter.pdf (accessed 20 June 2016).

Porter, T.M. (1995), Trust in Numbers. The Pursuit of Objectivity in Science and Public Life, Princeton University Press, Princeton, NJ.

Ravetz, J.R. (1971), Scientific Knowledge  and its Social Problems, Oxford University Press.

Ravitch, D. (2010), The Death and Life of the Great American School System: How Testing and Choice are Undermining Education, Basic Books, New York, NY.

Rizga, K. (2016), Mission  High: One School, How Experts Tried to Fail It, and the Students and Teachers Who Made It Triumph, Nation Books, New York, NY.

Saltelli, A. and Funtowicz, S. (2014), “When all models are wrong: more stringent quality criteria are needed for models used at the science-policy interface”, Issues in Science and Technology, Vol. 17, pp. 108-126.

Saltelli, A. and Giampietro, M. (2016), “What is wrong with evidence based policy, and how can it be improved?”, Special issue on PNS in FUTURES (forthcoming),available at: www.andreasaltelli. eu/file/repository/FUTURES_Saltelli_Giampietro_6.pdf (accessed 17 June 2016).

Saltelli, A., Pereira, Â.G., Van der Sluijs, J.P. and Funtowicz, S. (2013), “What do I make of your latinorum? Sensitivity auditing of mathematical modelling”, International Journal of Foresight and Innovation Policy, Vol. 9, pp. 213-234.

Schleicher, A. (2014), “Letter”, Guardian, 8 May, available at: www.theguardian.com/education/2014/may/08/pisa-programme-short-term-fixes (accessed 20 June 2016).

Sellar, S. and Lingard, B. (2014), “The OECD and the expansion of PISA: new global modes of governance in education”, British Educational Research Journal, Vol. 40 No. 6, pp. 917-936, doi: 10.1002/berj.3120.

Simola, H. (2005), “The finnish miracle of PISA: historical and sociological remarks on teaching and teacher education”, Comparative Education, Vol. 4, pp. 455-470.

Smithers, A. (2013), “Confusion  in the ranks: how good are England’s schools?”, The Sutton Trust, available at: www.suttontrust.com/wp-content/uploads/2013/02/CONFUSION-IN-THE-RANKS- SMITHERS-LEAGUE-TABLES-FINAL.pdf (accessed 12 June 2016).

Takayama,  K., Waldow, F.  and  Sung,  Y.K. (2013), “Finland  has  it  All? examining  the  media accentuation  of ‘finnish education’ in Australia, Germany, and  South Korea”,  Research in Comparative and International Education, Vol. 8, pp. 307-325.

Waldow, F., Takayama,  K. and  Sung,  Y.K. (2014), “Rethinking the  pattern  of  external  policy referencing: media discourses over the ‘Asian Tigers’, PISA success in Australia, Germany and South Korea”, Comparative Education, Vol. 50, pp. 302-321.

Wilby, P. (2014), “Academics warn international school league tables are killing ‘joy of learning”, Guardian, 6 May, available at: www.theguardian.com/education/2014/may/06/academics- international-school-league-tables-killing-joy-of-learning (accessed 20 June 2016)

Wilsdon, J. (2015),  “We need a measured approach to metrics”, Nature, Vol. 523, pp. 129. Woessmann, L. (2014), “The economic case for education”, EENEE Analytical Report 20, European Expert Network on Economics of Education (EENEE), Institute and University of Munich.

Wuttke, J. (2007),  “Uncertainties and Bias in PISA”, in Hopmann, S., Brinek, G. and Retzl, M. (Eds), PISA According to PISA, University of Vienna Press, Vienna.