Bir Görev Gerçekte Neyi Ölçer?

Bir katılımcı, uyumsuz renk sözcüklerine yanıt verirken diğer katılımcılardan daha fazla yavaşlıyor. Bu sonuca bakarak onun ketleme becerisinin daha zayıf olduğu söylenebilir mi?

İlk bakışta bu yorum makul görünür. Görev, baskın sözcük okuma eğilimini engelleyip mürekkep rengini söylemeyi gerektirir. Fakat kişinin puanı yalnızca ketlemeye bağlı değildir. Renkleri ayırt etme hızı, sözcük okuma akıcılığı, yönergeyi sürdürme, dikkat dalgalanmaları, yanıt verme stratejisi ve ölçüm hatası da sonuca katkıda bulunabilir. Görevin adı ile ölçtüğü düşünülen zihinsel yapı bu nedenle kendiliğinden aynı şey değildir.

Dikkat, çalışma belleği veya ketleme doğrudan gözlenebilen nesneler değildir. Bunlar davranış örüntülerini açıklamak için kullanılan kuramsal yapılardır. Araştırmacı bu yapıları inceleyebilmek için onları gözlenebilir işlemlere bağlar: hangi uyaranların sunulacağına, katılımcının ne yapacağına ve hangi yanıtın puanlanacağına karar verir. Bu bağlantı işevuruklaştırma olarak adlandırılır.

İşevuruk tanım araştırmayı mümkün kılar; fakat kuramsal yapıyı tüketmez. Çalışma belleğini harf dizilerini hatırlama göreviyle ölçmek, çalışma belleğinin bu görevden ibaret olduğu anlamına gelmez. Aynı yapı başka görevlerle de incelenebilir; aynı görev ise birden fazla yapıya ihtiyaç duyabilir. Cronbach vd.’nin (1955) yapı geçerliği yaklaşımında temel soru tam da budur: test performansındaki değişimi hangi kuramsal yapılar açıklamaktadır?

Bu ayrım, bir sonuç hakkında konuşurken hangi düzeyde kalındığını görünür kılar. Katılımcının uyumsuz denemelerde 120 milisaniye daha yavaşlaması gözlenmiş bir puandır. Bu farkın ketleme kapasitesini temsil ettiği ise ayrıca desteklenmesi gereken bir yorumdur.

Bir bilişsel görevin yalnızca hedeflenen süreci kullanması çoğu durumda mümkün değildir. Çalışma belleği görevinde uyaranı algılamak, yönergeyi korumak, bilgiyi kısa süreli olarak etkin tutmak, uygun yanıtı seçmek ve motor tepkiyi üretmek gerekir. Ketleme görevinde ise engellenecek baskın eğilimin önce yeterince güçlü biçimde oluşması gerekir. Hedef süreç, başka süreçlerin içinde davranışa dönüşür.

Bu durum görev saflığı sorunu olarak adlandırılır. Kavramsal olarak bir görev puanı; hedeflenen süreçten gelen katkı, göreve özgü diğer talepler ve ölçüm hatasının birleşimi gibi düşünülebilir. Bu ifade gerçek puanı basitçe üç sayıya ayıran bir hesaplama değildir. Bir puanın neden doğrudan tek bir zihinsel etikete dönüştürülemeyeceğini gösteren düşünsel bir çerçevedir.

Stroop görevinde baskın sözcük okuma yanıtının, dur-sinyali görevinde başlatılmış bir motor tepkinin, antisakkad görevinde ise aniden beliren uyarana doğru göz hareketinin engellenmesi istenir. Bu görevlerin tümü ketlemeyle ilişkilendirilebilir; fakat algısal girdileri, yanıt biçimleri ve ek bilişsel talepleri aynı değildir.

İki görev arasındaki zayıf ilişki bu nedenle hemen ketlemenin tek bir yapı olmadığını kanıtlamaz. Görevlere özgü talepler ortak süreci örtebilir. Tersi de geçerlidir: iki görevin ilişkili olması, ilişkinin mutlaka hedeflenen süreçten kaynaklandığını göstermez. Ortak okuma hızı, genel tepki hızı veya yönergeyi sürdürme gereksinimi de benzer puanlara katkıda bulunabilir.

Miyake vd. (2000), yürütücü işlevleri tek tek karmaşık görevlerle eşitlemek yerine üç hedef işlev için birden fazla görev kullanmıştır: zihinsel kümeler arasında geçiş, çalışma belleği içeriğini güncelleme ve baskın yanıtları ketleme. Araştırmacılar her görevdeki bütün performansı doğrudan hedef yapıya bağlamak yerine, aynı işlevi ölçmesi beklenen farklı görevlerin ortak varyansını gizil değişkenlerle incelemiştir.

Analizler üç işlevin birbiriyle orta düzeyde ilişkili fakat birbirinden ayırt edilebilir olduğunu göstermiştir. Çalışma aynı zamanda karmaşık yürütücü görevlerin bu işlevlerden farklı oranlarda etkilendiğini ortaya koymuştur. Bu yaklaşım görev saflığı sorununu tamamen ortadan kaldırmaz; fakat tek bir göreve özgü talepler ile farklı görevlerde ortaklaşan hedef süreci kısmen ayırmaya çalışır.

Bir araştırmada kullanılan görev, makale başlığında veya veri dosyasında ketleme görevi olarak adlandırılmış olabilir. Bu adlandırma araştırmacının ölçme niyetini gösterir; ölçümün yalnızca ketlemeyi yansıttığını kanıtlamaz. Görevde hangi koşulların karşılaştırıldığı, puanın nasıl hesaplandığı ve alternatif süreçlerin nasıl sınandığı incelenmeden etiket üzerinden sonuca gidilemez.

Aynı nedenle bir katılımcının tek görevde düşük puan alması, o kişinin ilgili bilişsel kapasitesinin genel olarak zayıf olduğu anlamına gelmez. Böyle bir yorum için puanın yeterince tutarlı olması ve hedeflenen yapıya ilişkin geçerlik kanıtlarının bulunması gerekir.

Güvenirlik, bir puanın ölçüm koşulları içindeki tutarlılığı ve duyarlılığıyla ilgilidir. Aynı kişilerin benzer koşullarda görevi yeniden yaptıklarında sıralamalarının büyük ölçüde değişmesi, puanın kararlı bireysel farklılıkları temsil etmesini güçleştirir. Benzer biçimde görevin bir yarısında yüksek, diğer yarısında çok farklı performans elde edilmesi deneme sayısının veya ölçümün iç tutarlılığının yetersiz olabileceğini düşündürür.

Güvenirlik, herkesin her zaman aynı puanı alması demek değildir. Gerçek değişim, öğrenme, yorgunluk ve bağlamsal etkiler performansı değiştirebilir. Asıl soru, araştırmada yorumlanmak istenen farkların ölçüm hatasına göre ne ölçüde ayırt edilebildiğidir. Bu nedenle uygun güvenirlik incelemesi, puanın hangi amaçla kullanılacağına bağlıdır.

Bu göstergeler birbirinin yerine geçmez. Bir puan aynı oturum içinde tutarlı görünebilir fakat haftalar sonra kişileri aynı sırada tutmayabilir. Araştırma sorusu zaman içindeki kararlılıkla ilgiliyse yalnızca iç tutarlılık bilgisi yeterli değildir.

Klasik bilişsel görevler çoğunlukla bir deneysel değişikliğin ortalama davranışı nasıl etkilediğini göstermek üzere geliştirilmiştir. Örneğin uyumsuz denemelerin uyumlu denemelerden ortalama olarak daha yavaş yanıtlanması, grup düzeyinde güçlü ve tekrarlanabilir bir etki olabilir. Fakat araştırmanın amacı kimin daha fazla, kimin daha az etkilendiğini güvenilir biçimde sıralamaksa ölçümden farklı bir özellik beklenir.

Hedge vd. (2018), yedi klasik bilişsel görevde bireysel fark puanlarının test–tekrar test güvenirliğini üç çalışmada incelemiştir. Tahminler 0 ile .82 arasında değişmiş ve görevlerin çoğunda beklenenden düşük bulunmuştur. Araştırmacılar bu durumu yalnızca yüksek rastlantısal hatayla değil, bazı deneysel etkilerde kişiler arası gerçek değişkenliğin sınırlı olmasıyla açıklamıştır. Katılımcıların çoğunda benzer yönde oluşan kararlı bir grup etkisi, kişiler arasındaki küçük farkları aynı kararlılıkla ölçmek zorunda değildir.

Buradaki sonuç klasik görevlerin işe yaramadığı değildir. Bir görev, geliştirildiği deneysel soruya güçlü yanıt verirken bireyleri sıralamak, başka değişkenlerle korelasyon kurmak veya kişisel özellik çıkarmak için yetersiz olabilir. Ölçüm niteliği kullanım amacından bağımsız değerlendirilemez.

Stroop maliyeti gibi bir gösterge çoğu zaman uyumsuz ve uyumlu koşulların tepki süreleri çıkarılarak hesaplanır. Çıkarma işlemi, kişinin genel yanıt hızını azaltarak hedeflenen koşul etkisini belirginleştirebilir. Fakat iki koşulun puanı kendi ölçüm hatasını taşıdığı için fark puanı bu hataları da bir araya getirebilir. Koşullar birbirine çok benziyor ve kişiler arası farkların çoğu çıkarma sırasında kayboluyorsa geriye kalan küçük farkı güvenilir biçimde ölçmek zorlaşır.

Hedge ve arkadaşları (2018), fark puanlarının bileşen puanlara göre toplam değişkenliği sık sık belirgin ölçüde azalttığını göstermiştir. Bu, grup düzeyindeki deneyse karşılaştırma için yararlı olabilir; fakat bireysel farklılık araştırmasında sinyalin ölçüm hatasına oranını düşürebilir. Her fark puanı zorunlu olarak güvenilmez değildir. Güvenirlik, kullanılan görev ve örneklemde doğrudan incelenmelidir.

Bir ölçüm son derece tutarlı olabilir fakat araştırmacının hedeflediği yapıyı temsil etmeyebilir. Sürekli aynı miktarda fazla gösteren bir kronometre tutarlı sonuçlar verir; yine de gerçek süreyi doğru göstermez. Psikolojik ölçümde de güvenirlik gerekli bir zemin sağlar, ancak tek başına geçerlik oluşturmaz.

Güvenirlik ile geçerlik birbirinden kopuk değildir. Ölçüm hatası çok yüksek olduğunda başka ölçümlerle beklenen ilişkiler de zayıflar. Bununla birlikte yüksek güvenirlik, puanın doğru yapıyı temsil ettiğini tek başına göstermez.

Bir görevin ketlemeyi ölçtüğü öne sürülüyorsa, puanın yalnızca görev içindeki bir koşul farkı vermesi yeterli değildir. Yorum; ketlemeyle ilişkili olması beklenen farklı yöntem ve görevlerle bağlantı göstermeli, kuramsal olarak ayrı yapılardan da ayırt edilebilmelidir. Campbell vd.’nin (1959) yakınsak ve ayırt edici geçerlik yaklaşımı, aynı yapıyı hedefleyen farklı ölçümlerin ortaklaşması kadar farklı yapıların birbirine karışmamasının da önemli olduğunu göstermiştir.

Ancak beklenenden düşük bir korelasyon hemen kuramın yanlış olduğunu göstermez. Görev saflığı sorunu, düşük güvenirlik veya örneklemdeki dar değişkenlik ilişkiyi zayıflatabilir. Beklenenden yüksek ilişki de otomatik olarak başarı değildir; iki görev hedef yapı yerine aynı okuma, motor hız veya strateji talebini paylaşabilir. Geçerlik, tek bir katsayıdan çok birbiriyle uyumlu kanıtların zaman içinde birikmesiyle güçlenir.

Draheim vd. (2021), dikkat kontrolündeki bireysel farklılıkları ölçmek için geleneksel tepki süresi fark puanlarının sınırlılıklarını ele almış ve doğruluk temelli yeni görevler geliştirmiştir. Dört yüzü aşkın katılımcıyla yürütülen çalışmada son analiz örneklemi 396 kişiden oluşmuştur. Yeni doğruluk ölçümleri, geleneksel Stroop ve flanker ölçümlerine göre daha yüksek güvenirlik, birbirleriyle daha güçlü ilişkiler ve çalışma belleği kapasitesi ile akıcı zekâyla daha belirgin bağlantılar göstermiştir.

Bu sonuç, doğruluğun her araştırmada tepki süresinden üstün olduğu anlamına gelmez. Çalışmadaki görevler bireysel farklılıkları ve yordayıcı ilişkileri görünür kılmak amacıyla özellikle zorlaştırılmıştır. Önemli olan, görevin güçlüğü ve puanlama biçiminin araştırma amacıyla birlikte tasarlanması ve elde edilen ölçüm özelliklerinin varsayılmak yerine sınanmasıdır.

Araştırmacı önce hedeflenen yapıyı ve puandan çıkarılacak yorumu açık biçimde tanımlar. Ardından görevin hedef süreç dışında hangi algısal, dilsel, bellek ve motor talepleri içerdiğini inceler. Koşul karşılaştırmaları alternatif açıklamaları azaltacak biçimde düzenlenir; yeterli sayıda denemeyle puanın güvenirliği hesaplanır. Aynı yapıyı farklı taleplerle ölçen görevlerden yararlanılması, göreve özgü etkiler ile ortak sürecin ayrılmasına yardımcı olabilir.

Son aşamada puanın başka ölçümlerle ilişkileri kuramsal beklentilerle karşılaştırılır. Beklenen ilişkilerin bulunması kadar beklenmemesi gereken ilişkilerin aşırı güçlü olmaması da önemlidir. Hiçbir adım tek başına kesinlik sağlamaz. Güçlü yorum, görev tasarımı, güvenirlik bulguları, deneysel değişiklikler ve ölçümler arası ilişkilerin birbirini desteklediği kanıt bütününe dayanır.

Bilişsel görevler gözlenemeyen zihinsel süreçleri davranışa bağlar; fakat bir görevin puanı hedef süreçle birlikte algısal, dilsel, bellekle ilgili ve motor talepleri de içerebilir. Görev saflığı sorunu nedeniyle tek bir puan doğrudan dikkat, bellek veya ketleme kapasitesi olarak okunamaz. Farklı görevlerin ortak örüntüsünü incelemek, göreve özgü etkileri azaltmanın yollarından biridir.

Güvenirlik puanın tutarlılığıyla, geçerlik ise puandan çıkarılan belirli yorumun kanıt ve kuram tarafından desteklenmesiyle ilgilidir. Grup düzeyinde sağlam bir deneysel etki, güvenilir bireysel farklılık puanını garanti etmez; yüksek güvenirlik de hedeflenen yapının gerçekten ölçüldüğünü tek başına kanıtlamaz. Bir görev gerçekte neyi ölçer sorusunun yanıtı görev adında değil, ölçümün farklı koşullar ve yöntemler boyunca oluşturduğu kanıt bütününde bulunur.

Bir sonraki parçada, kontrollü laboratuvar görevlerinden elde edilen sonuçların gündelik davranışlara, farklı ortamlara ve daha geniş insan gruplarına ne ölçüde taşınabileceği ele alınacaktır.