Algoritmik Önyargı

Bu derste yapay zekâ sistemlerinin bazı kişi ve gruplara karşı haksız biçimde davranmasının başlıca nedenlerinden biri olan algoritmik önyargıyı baştan sona inceliyoruz: önyargı nereden gelir, nasıl görünür ve nasıl azaltılır? Konu, tekniğin ötesine geçip yapay zekâ etiği alanıyla doğrudan bağlantılıdır. Alanın bütününe göz atmak istersen Yapay Zekâ dersleri kategorimize bakabilirsin.

Algoritmik Önyargı Nedir?

Algoritmik önyargı, bir yapay zekâ ya da algoritma tabanlı sistemin belirli kişi veya gruplara karşı sistematik ve gerekçelendirilemez biçimde farklı davranmasıdır. Bu farklı davranış; işe alınmama, düşük kredi puanı, yanlış kimlik tespiti ya da içeriklerin daha az gösterilmesi olarak somutlaşabilir. Kritik nokta şudur: algoritmanın kendisi "tarafsız matematik" olsa bile model veriden öğrenir ve veri, geçmişin ve toplumun kalıplarını taşır. Bu yüzden önyargı, kötü niyetli bir geliştiricinin eseri olmak zorunda değildir; çoğu zaman fark edilmeden sistemin içine yerleşir.

Önyargıyı rastgele hatadan ayırmak gerekir. Rastgele hata her iki yönde dağılır ve gruba göre değişmez; önyargı ise tutarlı ve yönü belli bir hatadır:

• Rastgele hata (gürültü): Model bazen yanılır, ama hata belirli bir gruba karşı birikmez.
• Önyargı: Hata sürekli aynı gruba karşı işler; yüz tanıma sistemi yalnızca bazı gruplarda belirgin biçimde daha hatalı çalışır.

Algoritmik Önyargı Nasıl Oluşur?

Önyargının tek bir kaynağı yoktur; genellikle birkaç kaynak üst üste biner.

Veriden kaynaklanan önyargılar

• Temsil önyargısı: Eğitim verisinde bazı gruplar az ya da hiç yer almaz; model "görmediği" gruplarda zayıf çalışır.
• Tarihsel önyargı: Veri, geçmişin ayrımcı kararlarını kaydeder; geçmiş işe alım kayıtlarıyla eğitilen model eski tercihleri geleceğe taşır.
• Ölçüm önyargısı: Hedef yanlış değişkenle ölçülür; "riski" tutuklanma kaydıyla tahmin etmek, polisin nereye sık müdahale ettiğini de modele öğretir.
• Etiketleme önyargısı: Etiketleyen insanların yargıları veriye sızar; "profesyonel görünüm" gibi öznel etiketler tipik örnektir.
• Vekil (proxy) değişkenler: Cinsiyet gibi hassas nitelikler modelden çıkarılsa bile posta kodu aynı bilgiyi dolaylı yoldan taşıyabilir.

Tasarımdan kaynaklanan önyargılar

• Tekil hedef metriği: Yalnızca genel doğruluk en iyilenirse, azınlıkta kalan gruplardaki hatalar "ihmal edilebilir" görünür.
• Geri besleme döngüsü: Modelin kararları yeni veriyi şekillendirir; öneri sistemi belirli içerikleri gösterdikçe kullanıcı o içeriklerle beslenir ve önyargı zamanla büyür.

Güncel Örnekler ve Belgelenmiş Vakalar

Algoritmik önyargı kuramsal bir kaygı değil, belgelenmiş bir gerçektir. En bilinen örnekler:

• İşe alım: Amazon'un geçmiş özgeçmişlerle eğittiği işe alım denemesi, kadın adaylara işaret eden kalıpları cezalandırmayı öğrenmişti; şirket aracı 2018'de kullanımdan kaldırdığını açıkladı. Çalışma hayatındaki yansımalar Yapay zekâ ve iş gücü dersinde.
• Yüz tanıma: 2018'de yayımlanan Gender Shades araştırması, ticari yüz tanıma sistemlerinin koyu tenli kadınlarda açık tenli erkeklere göre çok daha yüksek hata ürettiğini gösterdi.
• Adalet sistemi: ABD'deki COMPAS risk puanlama sistemi üzerine 2016'da yayımlanan ProPublica incelemesi, sistemin farklı ırk gruplarında farklı hata oranları ürettiğini ortaya koydu.
• Sağlık: 2019'da yayımlanan bir araştırma, bir risk algoritmasının "geçmiş sağlık harcamasını" ihtiyaç ölçüsü sanması yüzünden bazı hasta gruplarının ihtiyacını sistematik biçimde düşük gösterdiğini buldu.
• Kredi: Kredi geçmişi olmayanlar "puansız" kalır; alternatif verilerle yapılan puanlama dolaylı ayrımcılık riski taşır.
• Makine çevirisi: Türkçe "o bir doktor" çoğu zaman "he is a doctor", "o bir hemşire" ise "she is a nurse" olarak çevrilir; bu, eğitim verisindeki toplumsal kalıpların izidir.
• Üretken yapay zekâ: 2024-2025 döneminde yaygınlaşan görsel ve dil modelleri, eğitim verilerindeki stereotipleri yeniden üretebilir; örneğin bazı meslekleri hep aynı cinsiyetle ilişkilendiren çıktılar verebilmektedir.

Önyargıyla mücadele, hangi verinin toplanıp nasıl kullanılacağı sorusunu da gündeme getirir; bu yönüyle Veri gizliliği konusuyla kesişir.

Önyargı Nasıl Ölçülür ve Azaltılır?

Önce ölçüm gelir: performans gruplara ayrılarak bakılmalıdır, çünkü %95 genel doğruluk bir grupta %99, başka bir grupta %85 olabilir ve fark ortalamada kaybolur. Ardından şu adımlar izlenir:

1. Veri denetimi yap: Verinin kimleri temsil ettiğini, hangi grupların eksik kaldığını analiz et.
2. Alt grup performansını ölç: Olumlu karar ve hata oranlarını gruplar arasında karşılaştır. Farklı adalet tanımlarının tümünü aynı anda tam olarak sağlamak çoğu zaman mümkün değildir; seçim paydaşların kararıdır.
3. Üç eşikte müdahale et: Veriyi dengelemek (eğitimden önce), adalet kısıtı eklemek (eğitim sırasında) ve karar eşiklerini kalibre etmek (eğitimden sonra) genellikle birlikte uygulanır.
4. İnsan denetimi kur: İşe alım, kredi ve adalet gibi yüksek etkili kararlarda nihai kararı bir insan onaylamalı; ayrıntıyı İnsan denetimi dersinde işliyoruz.
5. Belgele ve sürekli izle: Model kartları şeffaflık sağlar; veri akışı değiştikçe önyargı yeniden biçimlendiği için denetim tek seferlik değil, süren bir iştir.

Bu adımların bütünü Sorumlu yapay zekâ yaklaşımının parçasıdır. Düzenleyici tarafta da AB Yapay Zekâ Yasası gibi düzenlemeler, yüksek riskli sistemlere önyargı denetimi ve veri yönetişimi yükümlülükleri getirir; genel çerçeveyi Yapay zekâ regülasyonları dersinde bulabilirsin.

Sık Yapılan Hatalar ve Yanılgılar

• "Algoritma matematiktir, o hâlde tarafsızdır." Çıktı matematikle üretilir ama çıktıyı şekillendiren veri ve tasarım kararları insan elinden çıkar.
• "Hassas niteliği silince sorun biter." Vekil değişkenler aynı bilgiyi taşıdığı için önyargı yerinde kalır, üstelik görünmez hâle gelir.
• "Genel doğruluk yüksekse model adildir." Ortalama değer, gruplar arası farkları gizler; bir grupta neredeyse hatasız, başka bir grupta zayıf model ortalamada yüksek görünür.
• "Veri çoğalınca önyargı gider." Daha fazla veri tarihsel kalıbı güçlendirebilir; önemli olan miktar değil, temsil dengesi ve kalitedir.
• "Niyet iyiyse sonuç da iyidir." Sistemin etkisi niyetten bağımsız olarak gerçek kişileri etkiler; denetim ve şeffaflık yükümlülüğü yine de doğar.