Doğrusal regresyon

İki değişken arasındaki ilişkiyi yalnızca ölçmekle yetinmeyip tahmin üretmenin yolunu arıyorsan doğru adrestesin: doğrusal regresyon, bir değişkendeki değere bakarak ötekinin alacağı değeri kestirmeyi sağlayan istatistiksel yöntemdir. Bu derste regresyonun mantığını, bağımlı ve bağımsız değişken ayrımını, en küçük kareler yöntemini ve regresyon doğrusunun yorumlanmasını örneklerle işliyoruz. Konunun temeli olan ilişki kavramı için Korelasyon nedir? dersine, ünitenin tamamı içinse İstatistik dersleri sayfasına göz atabilirsin.

Doğrusal Regresyon Nedir?

Doğrusal regresyon, iki değişken arasındaki ilişkiyi bir doğru denklemi biçiminde modelleyen yöntemdir. Amaç, bağımsız değişkendeki (X) her bir değere karşılık bağımlı değişkenin (Y) alacağı tahmini değeri veren en iyi doğruyu bulmaktır. Serpilme diyagramında noktaların çevresinden geçen bu doğruya regresyon doğrusu ya da en iyi uyum doğrusu denir.

Modelin genel biçimi şöyledir: ŷ = a + b·x. Burada ŷ (y şapkalı) tahmin edilen değeri, a doğrunun y eksenini kestiği noktayı (sabit terim), b ise eğimi gösterir. Eğim, X bir birim arttığında Y'de beklenen ortalama değişmeyi verir; b'nin işareti ilişkinin yönünü de gösterir: pozitif eğim birlikte artış, negatif eğim ters yönlü değişim demektir (bkz. Pozitif ve negatif korelasyon). a ve b'nin hesaplanmasında kullanılan formüllerin tamamı Regresyon denklemi dersinde ayrıntılı işlenmiştir.

Bağımlı ve Bağımsız Değişken

Regresyonda iki değişkenin rolleri eşit değildir; hangisinin tahmin edildiği, hangisinin tahmin için kullanıldığı net olmalıdır:

• Bağımlı değişken (Y): Tahmin edilmek istenen, açıklanan değişkendir. Örneğimizdeki "sınav puanı" buraya gelir.
• Bağımsız değişken (X): Tahmini yapmak için kullanılan, açıklayan değişkendir. Örneğimizdeki "haftalık çalışma saati" buradadır.

Rolleri belirleyen şey araştırma sorusudur: "Çalışma süresi puana bağlı mı?" sorusu ile "Puanı yüksek öğrenciler daha mı çok çalışıyor?" sorusu rolleri ters çevirir ve farklı doğrular üretir. Bu yüzden regresyonda X ile Y'nin yer değiştirmesi sonucu değiştirir; buna karşılık korelasyon katsayısı simetriktir, hangi değişken önce gelirse gelsin aynı değeri verir.

En Küçük Kareler Yöntemi

Serpilme diyagramındaki noktalardan geçebilecek sayısız doğru vardır; hangisi "en iyi"dir? En yaygın yanıt en küçük kareler yöntemidir. Özü kısaca şudur: her noktanın doğruya olan düşey uzaklığına artık (hata payı) denir ve yöntem, tüm artıkların kareleri toplamını en küçük yapan a ve b çiftini seçer. Kare almak, pozitif ve negatif artıkların birbirini iptal etmesini önler; büyük sapmaları orantısız biçimde cezalandırır.

Bu yöntemin ürettiği a ve b formülleri ile adım adım hesaplama süreci bu dersin değil, Regresyon denklemi dersinin konusudur; oradaki çözümlü örnek formülleri uçtan uca uygular. Bu derste asıl üzerinde duracağımız şey, kurulmuş bir doğrunun nasıl okunacağıdır. Doğrunun veriye ne kadar iyi oturduğunu tek sayıyla özetleyen ölçü ise belirleme katsayısıdır; ayrıntısı R-kare dersindedir.

Küçük Bir Örnek: Çalışma Süresi ve Sınav Puanı

Beş öğrencinin haftalık çalışma saati (X) ve sınav puanı (Y) gözlemleri şu olsun: (2; 52), (4; 58), (6; 72), (8; 78) ve (10; 90). En küçük kareler yöntemini bu veriye uyguladığımızda regresyon doğrusu ŷ = 41,2 + 4,8x çıkar; a ve b'nin hesabını, formüllerin uygulanışını ve bu doğrudan tahmin üretmeyi Regresyon denklemi dersindeki çözümlü örnekte bulabilirsin. Biz burada doğrunun dilini çevirelim:

• Eğim b = 4,8: Haftalık çalışma süresi 1 saat arttığında sınav puanı ortalama 4,8 puan artar. Eğim birimlidir; bu örnekte birimi puan/saattir.
• Sabit a = 41,2: Hiç çalışmayan bir öğrenciden beklenen puan yaklaşık 41'dir. Dikkat: X'in gözlemlenen aralığı 2-10 saat olduğundan, x = 0 bu aralığın dışında kalır ve bu yorum hassastır.

Görüldüğü gibi regresyon doğrusu tek tek öğrencilerin puanını kesin olarak söylemez; belirli bir X değerindeki ortalama beklentiyi verir. Gerçek gözlemler bu doğrunun üstünde de altında da olabilir.

Doğrusal Regresyon ile Korelasyon Arasındaki Fark

İki araç sık karıştırılır; oysa sordukları sorular ve verdikleri çıktılar farklıdır:

• Soru: Korelasyon "ilişki var mı, ne kadar güçlü?" diye sorar; regresyon "X belli bir değerdeyken Y yaklaşık kaç olur?" diye sorar.
• Çıktı: Korelasyonun çıktısı Korelasyon katsayısı gibi −1 ile +1 arasında bir sayıdır; regresyonun çıktısı ise bir denklemdir.
• Simetri: Korelasyon katsayısı simetriktir; regresyonda roller bellidir ve Y'yi X'e göre açıklamakla X'i Y'ye göre açıklamak aynı sonucu vermez.
• Birim: Korelasyon birimsizdir; eğimin birimi ise "Y birimi / X birimi"dir (örneğimizde puan/saat).

Sık Yapılan Hatalar ve Yanılgılar

• "Regresyon doğrusu nedensellik kanıtlar." Doğru, birlikte değişimi özetler; neden-sonuç ilişkisi kurmaz. Bu ayrımın gerekçelerini Korelasyon nedensellik midir? dersinde bulabilirsin.
• Veri aralığının dışına tahmin yapmak (dış kestirim). Örneğimizde x = 20 için doğrunun verdiği değer 41,2 + 96 = 137,2'dir; 100 üzerinden puan sisteminde bu anlamsızdır. Model yalnızca gözlemlenen aralıkta güvenilirdir.
• Kavisli ilişkiye doğru uydurmak. Serpilme diyagramı açık bir eğri gösteriyorsa doğrusal model yanlış araçtır; önce grafiğe bak, sonra modeli seç.
• Aykırı gözlemleri görmezden gelmek. En küçük kareler yöntemi uç değerlere karşı duyarlıdır; tek bir sapmış gözlem doğrunun eğimini ciddi biçimde çekebilir.
• Tahmini kesin sonuç sanmak. Doğru ortalamayı verir; bireysel gözlemler sapabilir. Haftada 7 saat çalışan iki öğrenciden biri 70, öteki 80 alabilir.
• Eğimi sınanmadan yorumlamak. Örneklemdeki rastlantı bile bir eğim üretir; eğimin sıfırdan farklı olup olmadığı hipotez sınamasıyla kontrol edilir. Sınamanın çerçevesini Hipotez nedir? ve Sıfır hipotezi derslerinde bulabilirsin.