Shannon Entropisi

Kuantum Hesaplama · Bölüm 49Kuantum Hesaplama2026-09-29Ders

Bilginin ölçülebilir bir büyüklük olduğunu 1948’de Claude Shannon gösterdi. Bu derste Shannon entropisini — bir rastgele sonucun ortalama belirsizliğini — sıfırdan anlatacağız: formülün gelişini, adil ve eğri yazı tura üzerinden adım adım hesabı, entropinin özelliklerini ve bu klasik kavramın kuantum dünyasına kurduğu köprüyü öğreneceksin. Serinin tamamı için Kuantum Hesaplama dersleri sayfasına bakabilirsin; ölçüm olasılıklarının kuantum tarafını henüz görmediysen Kübit Nedir dersi iyi bir başlangıçtır.

Bilgi Nedir? Shannon’ın Sorusu

Shannon şunu sordu: “Bir haberleşme hattı, bir mesajı en az kaç birimle taşıyabilir?” Cevap için önce bilgiyi ölçmek gerekiyordu. Fikri radikaldi: bilginin ölçüsü mesajın anlamıyla değil beklenmedikliğiyle ilgilidir; kesin bildiğin şey bilgi taşımaz, sonuç sürprizli oldukça taşır.

Tek bir sonucun bilgisini şöyle tanımlarız: p olasılıkla gerçekleşen bir sonuç, ölçüldüğünde −log₂ p kadar bilgi verir. Buna öz-bilgi ya da surprizal denir. Adil yazı turada tura gelmesi (p = 0,5) −log₂ 0,5 = 1 birim bilgi verir; “güneş doğdu” gibi p ≈ 1 bir olay neredeyse hiç vermez. Birim de buradan gelir: iki eşit olasılıklı sonucu ayırt etmenin birimine 1 bit denir.

Peki bir kaynağın, yani rastgele bir değişkenin belirsizliği nedir? Doğal cevap: her sonucun öz-bilgisinin olasılıkla ağırlıklandırılmış ortalaması. İşte bu ortalama, Shannon entropisidir.

Entropi Formülü: H(X) = −Σ pᵢ log₂ pᵢ

X; p₁, p₂, …, pₙ olasılıklarıyla n farklı sonuç üreten bir rastgele değişkense, Shannon entropisi şudur:

H(X) = −Σᵢ pᵢ log₂ pᵢ

Σ, tüm sonuçlar üzerinde toplam alır. Formülün mantığı iki parçalıdır: her sonuç −log₂ pᵢ kadar “sürpriz” getirir; bunları pᵢ ağırlığıyla ortalarsın, çünkü nadir sonuçlar nadiren gelir. Taban 2 birimi bit yapar; doğal logaritma nat verir. Taban yalnızca sabit bir çarpan değiştirir (1 bit = ln 2 ≈ 0,693 nat); entropinin karakteri değişmez.

En basit örnek adil yazı turadır: H = −(0,5·log₂ 0,5 + 0,5·log₂ 0,5) = −(0,5·(−1) + 0,5·(−1)) = 1 bit. İki bağımsız adil yazı tura atarsan YY, YT, TY, TT diye dört eşit olasılıklı sonuç olur ve H = log₂ 4 = 2 bit çıkar: her bağımsız ikili seçim, belirsizliğe bir bit ekler.

Adım Adım Hesap: Eğri Yazı Tura

Sonuçlar eşit olasılıklı değilken ne olur? Yazı %90, tura %10 gelen bir madeni para ile hesabı adım adım yapalım:

log₂ 0,9 = ln 0,9 ÷ ln 2 ≈ −0,152
log₂ 0,1 ≈ −3,322
Ağırlıklı katkılar: −0,9·(−0,152) ≈ 0,137 ve −0,1·(−3,322) ≈ 0,332
Topla: H ≈ 0,137 + 0,332 ≈ 0,469 bit

Sonuç 1 bitin altında — ve bu mantıklıdır: para taraf tuttuğu için “yazı geldi” haberini çoğu zaman önceden bilirdin; kalan belirsizlik azdır, entropi tam bunu ölçer. Uç durum: p = 1 iken H = −1·log₂ 1 = 0; kesinlik bilgi taşımaz, entropinin sıfır olduğu tek durum budur. Öteki uçta tavan H = log₂ n’dir: sekiz eşit olasılıklı sonuç için 3 bit.

Entropinin Özellikleri ve Bilgi Akışı

Sıfırın altına inmez: H(X) ≥ 0; eşitliğin sağlandığı tek durum kesin kaynaktır.
Tavanı log₂ n’dir: olasılıklar eşit dağıldığında belirsizlik en büyüktür; dağılım sapışına başladıkça entropi düşer.
Bağımsızlık ekler: X ve Y bağımsıysa H(X,Y) = H(X) + H(Y); bağımlılık, ortak entropiyi bu toplamın altına indirir.
Koşullanma azaltır: H(X|Y) = H(X,Y) − H(Y), Y’yi öğrendikten sonra X’te kalan ortalama belirsizliktir.
Paylaşılan bilgi ölçülür: I(X;Y) = H(X) + H(Y) − H(X,Y), iki değişkenin ortak bilgisidir ve hiçbir zaman negatif değildir.

Küçük bir örnek: hava uygulaması hiç konuşmazsa belirsizlik H(X)’tir; güvenilir bir yağmur uyarısı verirse kalan belirsizlik H(X|uyarı)’dır. Aradaki fark I(X;uyarı), uyarının sana taşıdığı ortak bilgidir; ölçüm ve haberleşme bu muhasebe üzerine kurulur.

Sık Yapılan Yanılgılar

“Entropi tek bir sonucun özelliğidir.” Değil; entropi dağılımın özelliğidir. Tek sonucun taşıdığı bilgi −log₂ p’dir; entropi bunların ortalamasıdır.
“Olasılığı sıfır sonuç formülü bozar.” Bozmaz: 0·log₂ 0 anlaşmayla 0 alınır; hiç gerçekleşmeyen sonuç katkı vermez.
“Yüksek entropi kötü bir şeydir.” Değildir; iletilecek ortalama bilgi miktarıdır. Sıkıştırmada bu ortalamanın altına inilemez — kaynak kodlama teoreminin ta kendisi budur.
“Entropideki bit, bellekteki bittir.” Kavram kardeştir ama buradaki bit bir belirsizlik birimidir; 0,469 bit gibi kesirli değerler gayet meşrudur.

Shannon’dan Kuantuma: Von Neumann’a Köprü

Kuantum bilgisi dersinde neden Shannon? İki sebebi var. Birincisi ölçüm: bir kübiti standart tabanda ölçtüğünde 0’ı p, 1’i 1−p olasılıkla görürsün; bu klasik bir dağılımdır, belirsizliğini Shannon entropisi ölçer. İkincisi derindir: Saf ve Karışık Durumlar dersindeki karışık durumlar da birer olasılık karışımıdır; bu karışımın belirsizliğini ölçmek isteriz. Doğru araç, Yoğunluk Matrisi dersiyle tanıştığın ρ matrisidir.

Yol haritası doğaldır: ρ’nun özdeğerleri λ₁, λ₂, … al ve Shannon formülünü onlara uygula: S(ρ) = −Σᵢ λᵢ log₂ λᵢ. İşte bu, bir sonraki dersin konusu olan Von Neumann Entropisi’dir. Kontrol edelim: ρ saf bir durumdaysa (örneğin |ψ⟩ = |0⟩) özdeğerleri 1 ve 0’dır; S = −1·log₂ 1 − 0 = 0 çıkar. Tam karışık bir kübitte (I birim matris olmak üzere ρ = ½I) özdeğerler ½ ve ½’dır; S = −(½·(−1) + ½·(−1)) = 1 bit çıkar. Yani Shannon, ölçüm dağılımının belirsizliğini; von Neumann, durumun kendi iç karışımını ölçer — bu iç karışım, önceki ünitedeki Bell Durumları dersinde gördüğün dolanıklığın da ölçüsüdür.

Bu köprü kuantum bilgi teorisinin geri kalanını taşır: sıkıştırma sınırları, Kuantum Kanalları üzerinden kapasite, Kuantum Ölçüm Teorisi’nde ölçümün bilgi kazancı, alt sistem ayrımında Kısmi İz ile hesaplanan entropiler. Shannon’ın 1948 formülünü sindirdiysen, von Neumann entropisi sana “aynı formülün özdeğerlere uygulanmışı” gibi görünecek — gerçekte öyledir de.

Sık Sorulan Sorular

Shannon entropisi nedir?

Shannon entropisi, bir rastgele değişkenin sonuçlarındaki ortalama belirsizliğin ölçüsüdür: H(X) = −Σ pᵢ log₂ pᵢ. Adil bir yazı turada 1 bit, %90–%10 eğri bir yazı turada yaklaşık 0,469 bit, kesin bir sonuçta 0 bit çıkar. Logaritma tabanı 2 alındığında birim bittir.

Shannon entropisi ne işe yarar?

Haberleşmede sıkıştırmanın ve iletimin sınırlarını belirler: kaynak kodlama teoremi ortalama kod uzunluğunun entropiden küçük olamayacağını söyler, kanal kapasitesi güvenilir iletişimin üst sınırını verir. Kuantum bilgi teorisinde ise ölçüm dağılımlarının belirsizliğini ölçer ve von Neumann entropisinin klasik temelini oluşturur.

Shannon entropisi ile von Neumann entropisi arasındaki fark nedir?

Shannon entropisi klasik bir olasılık dağılımına uygulanır; von Neumann entropisi ise kuantum durumunu tek nesnede toplayan yoğunluk matrisinin özdeğerlerine uygulanır: S(ρ) = −Σ λᵢ log₂ λᵢ. Saf bir süperpozisyonun ölçüm dağılımı karışık görünebilir ama von Neumann entropisi sıfırdır; fark, ölçüm belirsizliğiyle iç karışımın ayrımıdır.

Eğri (dengesiz) bir yazı turanın entropisi neden 1 bitten küçüktür?

Çünkü entropi, olasılıklar eşit dağıldığında tavanına çıkar. %90–%10 para taraf tutar; sonucu çoğu zaman önceden tahmin edebilirsin, bu yüzden ortalama sürpriz düşer: H = −0,9·log₂ 0,9 − 0,1·log₂ 0,1 ≈ 0,469 bit. Sonuç tamamen kesinleşirse entropi sıfırlanır.

Kaynaklar ve İleri Okuma

Entropi (bilgi teorisi) — Vikipedi — Shannon entropisinin tanımı ve örnek hesaplar için Türkçe genel kaynak.

Entropy (information theory) — Wikipedia — Formülün çıkışı ve özelliklerini kapsayan ayrıntılı madde.

A Mathematical Theory of Communication — Wikipedia — Shannon’ın 1948 tarihli kurucu makalesi üzerine madde.

IBM Quantum Learning — Kuantum bilgi kavramlarını uygulamalı işleyen resmî IBM eğitim platformu.