Sebagian besar subjek menilai probabilitas mendapatkan lebih dari 60% bayi laki-laki sama saja antara rumah sakit kecil dan rumah sakit besar, kemungkinan karena peristiwa ini dijelaskan dengan statistik yang sama dan karenanya dianggap sama representatifnya terhadap populasi umum. Sebaliknya, teori sampling menyatakan bahwa jumlah hari yang diharapkan di mana lebih dari 60% bayi adalah laki-laki jauh lebih besar di rumah sakit kecil dibandingkan rumah sakit besar, karena sampel besar cenderung lebih jarang menyimpang dari 50%. Konsep dasar statistik ini tampaknya tidak termasuk dalam repertoar intuisi orang. Ketidakpekaan serupa terhadap ukuran sampel juga dilaporkan dalam penilaian probabilitas posterior, yaitu probabilitas bahwa sebuah sampel diambil dari satu populasi dibandingkan dari populasi lain. Pertimbangkan contoh berikut:

Bayangkan sebuah guci berisi bola, di mana 2/3 berwarna satu dan 1/3 berwarna lain. Seorang individu mengambil 5 bola dari guci tersebut dan menemukan 4 merah dan 1 putih. Individu lain mengambil 20 bola dan menemukan 12 merah dan 8 putih. Siapakah dari kedua individu tersebut yang seharusnya lebih yakin bahwa guci itu berisi 2/3 bola merah dan 1/3 bola putih, bukan sebaliknya? Berapa peluang yang seharusnya mereka tetapkan?

Dalam masalah ini, odds posterior yang benar adalah 8 banding 1 untuk sampel 4:1 dan 16 banding 1 untuk sampel 12:8, dengan asumsi probabilitas awal sama. Namun, sebagian besar orang merasa sampel pertama memberikan bukti yang jauh lebih kuat untuk hipotesis bahwa guci sebagian besar berwarna merah, karena proporsi bola merah lebih besar pada sampel pertama dibandingkan sampel kedua. Sekali lagi, penilaian intuitif didominasi oleh proporsi sampel dan pada dasarnya tidak terpengaruh oleh ukuran sampel, padahal ukuran sampel memainkan peran krusial dalam menentukan odds posterior yang sesungguhnya. Selain itu, estimasi intuitif terhadap odds posterior jauh lebih moderat dibandingkan nilai yang benar.

Meremehkan pengaruh bukti seperti ini telah diamati berulang kali dalam masalah sejenis dan dikenal dengan istilah “konservatisme.”

Kesalahan konsepsi tentang peluang. Orang mengharapkan bahwa suatu rangkaian peristiwa yang dihasilkan oleh proses acak akan mencerminkan karakteristik esensial dari proses tersebut, meski rangkaiannya pendek. Misalnya, dalam pertimbangan lemparan koin untuk kepala atau ekor, orang menilai rangkaian H-T-H-T-H lebih mungkin terjadi dibandingkan H-H-H-T-T-H, yang tampak tidak acak, dan bahkan lebih mungkin dibandingkan H-H-H-H-T-H, yang tidak mencerminkan keadilan koin. Dengan demikian, orang mengharapkan karakteristik esensial proses tercermin, tidak hanya secara global pada keseluruhan rangkaian, tetapi juga secara lokal pada tiap bagiannya. Namun, rangkaian yang representatif secara lokal secara sistematis menyimpang dari ekspektasi peluang: terdapat terlalu banyak pergantian dan terlalu sedikit rangkaian berturut-turut.

Konsekuensi lain dari keyakinan pada representativitas lokal adalah kesalahan penjudi yang terkenal. Misalnya, setelah mengamati rangkaian panjang merah pada roda roulette, sebagian besar orang keliru percaya bahwa hitam kini harus muncul, kemungkinan karena munculnya hitam akan menghasilkan rangkaian yang lebih representatif daripada munculnya merah tambahan. Peluang sering dipandang sebagai proses yang menyeimbangkan diri sendiri, di mana penyimpangan ke satu arah memicu penyimpangan ke arah sebaliknya untuk memulihkan keseimbangan. Faktanya, penyimpangan tidak “diperbaiki” saat proses acak berlangsung; penyimpangan hanya tereduksi.

Kesalahan konsepsi tentang peluang tidak terbatas pada subjek awam. Sebuah studi tentang intuisi statistik psikolog penelitian berpengalaman mengungkap adanya keyakinan yang bertahan terhadap apa yang dapat disebut “hukum bilangan kecil,” di mana sampel kecil sekalipun dianggap sangat representatif terhadap populasi asalnya. Respons para peneliti ini mencerminkan ekspektasi bahwa hipotesis yang valid tentang populasi akan tercermin melalui hasil signifikan secara statistik pada sampel, tanpa memperhatikan ukurannya. Akibatnya, para peneliti terlalu percaya pada hasil sampel kecil dan sangat melebih-lebihkan kemungkinan hasil tersebut dapat direplikasi. Dalam praktik penelitian, bias ini menyebabkan pemilihan sampel yang tidak memadai dan penafsiran berlebihan terhadap temuan.

Ketidakpekaan terhadap prediktabilitas. Orang kadang diminta membuat prediksi numerik seperti nilai saham di masa depan, permintaan suatu komoditas, atau hasil pertandingan sepak bola. Prediksi semacam ini sering dilakukan berdasarkan representativitas. Misalnya, jika seseorang diberikan deskripsi perusahaan dan diminta memprediksi laba masa depannya, laba sangat tinggi akan tampak paling representatif jika deskripsinya sangat positif; laba sedang akan tampak paling representatif jika deskripsinya biasa-biasa saja. Tingkat kepositifan deskripsi tidak terpengaruh oleh keandalan informasi atau sejauh mana informasi tersebut memungkinkan prediksi akurat. Dengan demikian, jika prediksi dilakukan semata berdasarkan seberapa positif deskripsi, prediksi akan tidak peka terhadap keandalan bukti maupun akurasi yang diharapkan.

Mode penilaian ini melanggar teori statistik normatif, di mana ekstremitas dan rentang prediksi dikendalikan oleh pertimbangan prediktabilitas. Ketika prediktabilitas nol, prediksi yang sama harus dibuat dalam semua kasus. Misalnya, jika deskripsi perusahaan tidak memberi informasi relevan tentang laba, maka nilai yang sama (misalnya rata-rata laba) harus diprediksi untuk semua perusahaan. Jika prediktabilitas sempurna, tentu nilai prediksi akan sesuai dengan nilai aktual, dan rentang prediksi akan sama dengan rentang hasil. Umumnya, semakin tinggi prediktabilitas, semakin luas rentang nilai yang diprediksi. Beberapa studi menunjukkan prediksi intuitif melanggar aturan ini dan subjek hampir tidak mempertimbangkan prediktabilitas.

Dalam salah satu studi tersebut, subjek diberikan beberapa paragraf, masing-masing menggambarkan kinerja seorang guru magang dalam pelajaran praktik tertentu. Beberapa subjek diminta menilai kualitas pelajaran dalam skor persentil relatif terhadap populasi tertentu. Subjek lain diminta memprediksi, juga dalam skor persentil, posisi guru magang lima tahun setelah pelajaran praktik. Penilaian pada kedua kondisi tersebut identik. Artinya, prediksi kriteria yang jauh (kesuksesan guru lima tahun kemudian) identik dengan evaluasi informasi dasar prediksi (kualitas pelajaran praktik). Para subjek tentu menyadari keterbatasan prediktabilitas kompetensi mengajar dari satu pelajaran percobaan lima tahun sebelumnya; meskipun begitu, prediksi mereka se-ekstrem evaluasi mereka.

Ilusi validitas. Seperti yang telah kita lihat, orang sering memprediksi dengan memilih hasil yang paling representatif dari input. Keyakinan mereka terhadap prediksi bergantung terutama pada tingkat representativitas (kecocokan antara hasil yang dipilih dan input), dengan sedikit atau tanpa mempertimbangkan faktor yang membatasi akurasi prediksi. Dengan demikian, orang sangat percaya diri memprediksi seseorang sebagai pustakawan saat diberikan deskripsi kepribadian yang sesuai stereotipe pustakawan, meskipun deskripsi itu minim, tidak dapat diandalkan, atau usang. Keyakinan berlebihan yang muncul dari kesesuaian antara hasil prediksi dan informasi input ini disebut ilusi validitas. Ilusi ini bertahan bahkan ketika penilai sadar akan faktor yang membatasi akurasi prediksinya.

Konsistensi internal pola input menjadi penentu utama keyakinan seseorang terhadap prediksi. Misalnya, orang lebih yakin memprediksi rata-rata nilai akhir mahasiswa dengan catatan tahun pertama seluruhnya B dibandingkan mahasiswa dengan catatan tahun pertama campuran A dan C. Pola konsisten tinggi biasanya muncul saat variabel input sangat redundan atau berkorelasi. Karena itu, orang cenderung sangat percaya pada prediksi berdasarkan variabel input yang redundan. Namun, statistik korelasi menunjukkan bahwa dengan variabel input yang valid, prediksi dengan beberapa input dapat lebih akurat jika independen daripada jika redundan atau berkorelasi. Dengan demikian, redundansi input menurunkan akurasi meski meningkatkan keyakinan, dan orang sering percaya pada prediksi yang kemungkinan besar meleset.

Kesalahan konsepsi regresi. Misalkan sekelompok besar anak diperiksa pada dua versi tes bakat yang setara. Jika sepuluh anak dipilih dari mereka yang terbaik pada satu versi, biasanya hasil mereka pada versi kedua sedikit mengecewakan. Sebaliknya, jika sepuluh anak dipilih dari yang terburuk pada satu versi, rata-rata mereka sedikit lebih baik pada versi lain. Secara lebih umum, jika X dan Y memiliki distribusi sama, individu yang rata-rata skor X-nya menyimpang k dari rata-rata X, rata-rata skor Y mereka biasanya menyimpang kurang dari k dari rata-rata Y. Fenomena ini dikenal sebagai regresi menuju rata-rata, pertama kali didokumentasikan Galton lebih dari 100 tahun lalu.

Dalam kehidupan sehari-hari, regresi menuju rata-rata banyak ditemui, misalnya dalam perbandingan tinggi ayah-anak, kecerdasan suami-istri, atau kinerja individu dalam ujian beruntun. Namun, orang tidak mengembangkan intuisi yang benar tentang fenomena ini. Pertama, mereka tidak mengantisipasi regresi di banyak konteks di mana fenomena itu pasti terjadi. Kedua, saat menyadari regresi, mereka sering menciptakan penjelasan sebab-akibat palsu. Fenomena regresi tetap sulit dipahami karena bertentangan dengan keyakinan bahwa hasil prediksi seharusnya se-ekstrem input.

Kegagalan memahami regresi dapat menimbulkan konsekuensi berbahaya. Misalnya, dalam pelatihan penerbangan, instruktur berpengalaman mencatat bahwa pujian atas pendaratan yang sangat mulus biasanya diikuti pendaratan buruk berikutnya, sementara kritik keras atas pendaratan buruk biasanya diikuti peningkatan. Instruktur menyimpulkan bahwa hadiah verbal merugikan pembelajaran, sementara hukuman verbal bermanfaat—kesimpulan yang salah karena efek regresi menuju rata-rata. Seperti pada pemeriksaan berulang lainnya, perbaikan biasanya mengikuti kinerja buruk, dan penurunan biasanya mengikuti kinerja luar biasa, meski instruktur tidak bereaksi terhadap prestasi pertama. Karena instruktur memuji setelah pendaratan baik dan menegur setelah pendaratan buruk, mereka mencapai kesimpulan keliru yang bisa berbahaya: bahwa hukuman lebih efektif daripada penghargaan.

Dengan demikian, kegagalan memahami efek regresi membuat seseorang melebih-lebihkan efektivitas hukuman dan meremehkan efektivitas penghargaan. Dalam interaksi sosial maupun pelatihan, penghargaan biasanya diberikan saat kinerja baik, dan hukuman saat kinerja buruk. Hanya dengan regresi, perilaku cenderung membaik setelah hukuman dan cenderung menurun setelah penghargaan. Akibatnya, manusia seringkali diberi penghargaan karena menghukum dan dihukum karena memberi penghargaan—kontingensi ini umumnya tidak disadari. Faktanya, peran regresi yang sulit dipahami dalam menentukan konsekuensi nyata dari penghargaan dan hukuman tampaknya luput dari perhatian peneliti di bidang ini.