SQLite Mimarisi: WAL Modu, B-Tree ve Sayfa Kilitleri

2000 yılının baharında General Dynamics adına ABD Donanması sözleşmesinde çalışan D. Richard Hipp, DDG-79 USS Oscar Austin güdümlü füze destroyer’ının hasar kontrol yazılımını geliştiriyordu.[9][10] Yazılım gemideki vanaları, pompaları ve boru hatlarını yönetiyor; veriler HP-UX üzerinde çalışan bir Informix sunucusunda tutuluyordu. Sunucu ya da ağ bağlantısı düştüğünde gemide çalışan bir sistem kalmıyordu. Hipp’in aradığı çözüm, uygulamanın içine gömülen, ayrı bir süreç ve veritabanı yöneticisi gerektirmeyen, diskte tek dosyada yaşayan bir kütüphaneydi. SQLite resmi olarak 9 Mayıs 2000’de başladı;[1] projenin kendi tahmini, etkin kullanımda bir trilyondan fazla SQLite veritabanı olduğu yönünde.[8]

⚡ Bir Bakışta: SQLite Depolama ve Çalışma Mimarisi

Mühendislik Felsefesi: Sunucusuz (serverless), sıfır yapılandırma, tek C kütüphanesi[1]
Temel Depolama Yapısı: Table b-tree (satır verisi) ve index b-tree (anahtarlar)[2]
Varsayılan Sayfa Boyutu: 4096 bayt (512–65536 arası ikinin kuvveti)[2]
Dosya Başlığı: İlk 100 bayt: “SQLite format 3” imzası, sayfa boyutu, şema çerezi[2]
WAL Modu: 3.7.0, 21 Temmuz 2010 — çok okuyucu, tek yazıcı[3]
mmap Desteği: 3.7.17, 20 Mayıs 2013[12]
Lisans Modeli: Public domain (kamu malı)[1]

Dosya Formatı: Sayfalar, 100 Baytlık Başlık ve İki Tür B-Tree

SQLite veritabanı diskte tek bir düz dosyadır (flat file). Dosya, boyutu sabit sayfalara bölünür; sayfa boyutu 512 ile 65536 bayt arasında ikinin kuvveti olabilir. 3.12.0 sürümüne (29 Mart 2016) kadar varsayılan boyut 1024 bayttı; bugün varsayılan 4096 bayttır.[2][11]

İlk sayfanın ilk 100 baytı dosya başlığıdır: 16 baytlık "SQLite format 3" imzası, 16. bayttaki sayfa boyutu, 18 ve 19. baytlardaki okuma/yazma biçim sürümleri (WAL modunda 2), 40. bayttaki şema çerezi ve 56. bayttaki metin kodlaması burada durur. 1. sayfa her zaman bir table b-tree sayfasıdır ve 100 baytlık başlık yüzünden diğer sayfalardan daha az hücre alanına sahiptir.[2]

SQLite iki tür b-tree kullanır:[2]

  • Table b-tree: Tablo satırlarını 64 bit işaretli tamsayı anahtarla, yani rowid ile dizinler. Satır gövdesi yalnızca yaprak sayfalarda durur; iç sayfalar anahtar ve çocuk sayfa numaralarından oluşur. Bu davranışıyla ders kitaplarındaki B+ ağacına benzer, ancak SQLite belgeleri bu yapıyı “table b-tree” olarak adlandırır.
  • Index b-tree: DDL ile tanımlanan indeks anahtarlarını taşır; ayrı bir veri gövdesi yoktur. Anahtarın kendisi indekslenen kolonlar ve hedef rowid’den oluşur. İç sayfalar da anahtar taşıdığı için table b-tree’den ayrılır. WITHOUT ROWID tabloları da index b-tree üzerinde saklanır.
  • Taşma sayfaları (overflow pages): Bir satırın yükü sayfaya sığmazsa fazlası bağlantılı bir zincire yazılır; her taşma sayfasının ilk dört baytı zincirdeki bir sonraki sayfanın numarasıdır.

Sayfa içinde silinen hücrelerin bıraktığı boşluklar freeblock zinciri ve parçalanma sayacıyla izlenir; sayfa gerektiğinde yeniden paketlenir (defragment). Bu ayrıntı, bir tablonun neden silme sonrası küçülmediğini ve VACUUM‘un neyi yeniden düzenlediğini açıklar.[2]

İlk Dönemeç: Rollback Journal ve Dört Kilit Durumu

Varsayılan journal_mode DELETE’tir. Bir yazma işlemi, değiştireceği sayfaların özgün hâllerini önce -journal dosyasına kopyalar ve senkronize eder; ardından değişiklikleri veritabanı dosyasına yazar. Commit, journal dosyasının silinmesiyle tamamlanır; çökme hâlinde journal geri oynatılarak veritabanı eski hâline döner.[6]

SQLite’ın kilitleme modeli dört durumdan oluşur:[6]

Kilit Ne zaman alınır Etkisi
SHARED Okuma sırasında Birden çok bağlantı aynı anda alabilir
RESERVED Yazma niyeti Aynı anda yalnızca bir bağlantıda bulunur; mevcut okuyucular devam eder
PENDING Commit’e hazırlanırken Yeni okuyucuların girişini durdurur; mevcut okuyucuların bitmesini bekler
EXCLUSIVE Commit anında Dosyaya özel erişim; başka kilit kalmaz

Kritik ayrıntı şudur: yazıcı RESERVED kilidini aldığında mevcut okuyucular okumaya devam edebilir. Yazıcı, değişiklikleri dosyaya uygulamak ve commit etmek için PENDING üzerinden EXCLUSIVE’e geçmek zorundadır; bu aşamada açık okuyucu işlemlerinin bitmesini bekler. Yani engelleme işlemin tamamında değil, commit anında ve okuyucunun süresi kadar ortaya çıkar. Uzun süren bir okuma, yazıcıyı SQLITE_BUSY ile bekletir; busy_timeout bu bekleme için yeniden deneme penceresi tanımlar, çakışmanın nedenini ortadan kaldırmaz.[6]

İkinci Dönemeç: WAL, Checkpoint ve Tek Yazıcı Gerçeği

WAL (Write-Ahead Logging) modu 3.7.0 ile 21 Temmuz 2010’da geldi.[3] Bu modda değişiklikler veritabanı dosyasına değil, -wal dosyasına eklenen çerçevelere (frame) yazılır. Bir işlem, WAL’e commit kaydı eklendiğinde tamamlanır; ana dosya bu sırada değişmez.[3]

Her okuyucu, işlem başında WAL’deki son geçerli commit kaydının konumunu (“end mark”) hatırlar ve işlem boyunca bu noktaya sabitlenir. Böylece tek bir okuma işlemi, veritabanının tek bir andaki hâlini görür. Sayfa okunurken önce WAL’e bakılır; okunacak sürüm WAL’de yoksa ana dosyadan okunur. Bu aramanın hızlı kalması için -shm dosyasında mmap’lenmiş bir wal-index tutulur; bu yüzden WAL, aynı makinedeki süreçlerle sınırlıdır ve ağ dosya sistemlerinde güvenilir çalışmaz.[3]

Checkpoint, WAL’deki çerçeveleri ana dosyaya geri taşır. Varsayılan olarak WAL 1000 sayfaya (4 KB sayfayla yaklaşık 4 MB) ulaştığında otomatik checkpoint çalışır; PASSIVE, FULL ve RESTART türleri vardır.[3] Checkpoint, en eski okuyucunun “end mark”ının ötesine geçemez. Sürekli açık okuyucular checkpoint’i durdurur; WAL büyür ve her okuma için taranacak alan arttığı için okuma maliyeti yükselir. Uzun okuma işlemleri bu yüzden yalnızca yazıcıyı değil, bakım mekanizmasını da geciktirir.[3]

Aynı anda tam olarak bir yazıcı ilerleyebilir; okuyucular yazıcıyı, yazıcı okuyucuları beklemez. Ancak bu “sıfır bekleme” anlamına gelmez: veritabanı exclusive locking mode’da açıksa, son bağlantı kapanırken temizlik yapılıyorsa veya çökme sonrası kurtarma çalışıyorsa sorgular SQLITE_BUSY dönebilir.[3] Ayrıca WAL modunda sayfa boyutu değiştirilemez; bunun için rollback journal moduna dönmek gerekir.[3] Çok büyük tek işlemlerde WAL’in avantajı azalır; 3.11.0 (2016) sonrasında büyük işlemlerde sayfa başına tek yazım sağlandı, yine de yüzlerce megabaytlık işlemlerde rollback modu daha uygun olabilir.[3]

Üçüncü Dönemeç: fsync, synchronous ve Dayanıklılığın Sınırı

COMMIT dediğinizde write() çağrısı veriyi diske değil, işletim sisteminin sayfa önbelleğine bırakır. Gerçek dayanıklılık için fsync() (macOS’ta F_FULLFSYNC) gerekir; her commit’e bir donanım senkronizasyonu eklemek, özellikle mekanik disklerde işlem hızını saniyede onlarca ile yüzlerce commit aralığına indirir.[4]

Seviye Davranış Güç kaybında sonuç
EXTRA FULL’a ek olarak, rollback journal silindikten sonra dizini de senkronize eder; WAL modunda FULL ile aynı davranır En yüksek dayanıklılık
FULL (varsayılan) Commit sonrası WAL’i senkronize eder; WAL modunda ACID’dir WAL’de dayanıklı; rollback modunda garanti dosya sistemine bağlıdır
NORMAL WAL yalnızca checkpoint öncesinde, veritabanı dosyası checkpoint sonrasında senkronize edilir; işlem sırasında çoğunlukla fsync yoktur WAL’de bozulma olmaz, tutarlılık korunur; son commit’ler geri alınabilir
OFF Senkronizasyonu işletim sistemine bırakır Güç kaybında bozulma riski yüksektir

Buradaki ayrımı net tutmak gerekir: uygulama çökmesi ile güç kaybı aynı şey değildir. Uygulama çökse bile commit edilmiş işlemler korunur; risk, işletim sistemi veya donanım veriyi diske yazmadan güç kesildiğinde ortaya çıkar.[4] Dayanıklılık pazarlıksızsa synchronous=FULL seçilir. Çoğu web uygulamasında NORMAL, kaybedilebilecek son saniyeleri bilinçli olarak kabul etmek anlamına gelir; bu bir varsayılan değil, bir karardır.

Dördüncü Dönemeç: mmap ve Sıfır Kopyanın Sınırı

Geleneksel okumada SQLite read() çağrısı yapar; çekirdek sayfayı kendi önbelleğine alır ve kullanıcı alanına kopyalar. mmap etkinleştirildiğinde dosya sayfaları sürecin sanal adres alanına eşlenir; SQLite sayfaya işaretçiyle erişir, sayfa başına sistem çağrısı ve kopya ortadan kalkar.[5] mmap desteği 3.7.17 ile 20 Mayıs 2013’te eklendi.[12]

Bedeli vardır: ilk erişimde sayfa hatası (page fault) oluşur, işletim sisteminin sayfa önbelleği yine devrededir, disk G/Ç’si ortadan kalkmaz ve yazma yolu ayrıca yönetilir. Bu yüzden mmap bir “sıfır CPU” anahtarı değil, okuma yoğun iş yüklerinde kopya maliyetini azaltan bir seçenektir. Varsayılan olarak kapalıdır; mmap_size ile açılır. 256 MB makul bir başlangıç değeri olabilir, ancak evrensel bir optimum değildir; bellek bütçesi ve iş yüküyle birlikte ölçülmelidir.[5]

Üretim Yapılandırması: Başlangıç Noktası, Altın Kural Değil

Okuma yoğun bir web uygulaması ya da masaüstü yazılımı için makul bir başlangıç seti şudur:

-- 1. Okuyucu ile yazıcıyı ayır (yanında -wal ve -shm dosyaları oluşur)
PRAGMA journal_mode = WAL;

-- 2. WAL'de tutarlılığı koru; güç kaybında son commit'ler kaybolabilir
PRAGMA synchronous = NORMAL;

-- 3. Sayfa önbelleği: -64000 KiB, yaklaşık 62,5 MiB
PRAGMA cache_size = -64000;

-- 4. İsteğe bağlı: 256 MiB mmap (okuma yoğun iş yükünde ölçerek açın)
PRAGMA mmap_size = 268435456;

-- 5. Geçici tablolar RAM'de (bellek tüketimini artırır)
PRAGMA temp_store = MEMORY;

-- 6. Kilit beklemesinde hemen düşmek yerine 5 saniye yeniden dene
PRAGMA busy_timeout = 5000;

Bu altı satır bir başlangıç noktasıdır; her ortamda aynı sonucu vermez. cache_size için negatif değer KiB cinsindendir; -64000 yaklaşık 62,5 MiB’a karşılık gelir.[4] temp_store=MEMORY geçici veriyi hızlandırırken RAM tüketimini artırır. busy_timeout yalnızca bekler ve yeniden dener; kilit çakışmasının nedenini çözmez. WAL’de asıl bakım kalemi checkpoint’tir: wal_autocheckpoint eşiğini izlemek, WAL dosyasının büyümesini ve uzun okuyucuların checkpoint’i aç bırakmasını engellemek gerekir.[3]

Karar Destek Matrisi: SQLite mı, İstemci-Sunucu mu?

Kullanım Senaryosu SQLite (WAL ile) PostgreSQL / MySQL Önerilen Tercih
Masaüstü ve mobil uygulamalar Uygun: gömülü, sıfır kurulum Genellikle gereksiz: ayrı süreç ve yönetim ister SQLite
Orta ölçekli web (günde ~1M istek) Okuma yoğun iş yükünde yeterli; ağ gecikmesi yok Ölçeklenir, ağ gecikmesi ekler SQLite + WAL + harici yedekleme
Yüzlerce eşzamanlı yazıcı Yetersiz: yazıcılar tek kuyrukta serileşir Satır seviyesinde kilitle ölçeklenir PostgreSQL
Analitik ve büyük veri (OLAP) Satır tabanlı; darboğaz oluşur İyi; kolon tabanlı motorlar daha hızlı DuckDB, ClickHouse veya PostgreSQL

Sonuç ve Pratik Çıkarım

SQLite bir oyuncak veritabanı değil. Çekirdek kitaplık, TH3 test düzeneğiyle varsayılan yapılandırmada %100 dal kapsamına sahip; FTS3 ve RTree gibi uzantılar bu ölçümün dışında.[7] Tarayıcılarda, telefonlarda ve Airbus A350 uçuş sistemlerinde çalışıyor.[9] Mimari karar ise daha dar bir soruya indirgenir: yazma trafiğiniz tek bir kuyruğa girmeye dayanıyor mu?

Pratik çıkarım şudur: yazma eşzamanlılığınızı ölçün ve okuyucularınızın işlem sürelerine bakın. Tek yazıcı yeterliyse ve uzun okuma işlemleri checkpoint’i aç bırakmıyorsa, WAL + NORMAL + busy_timeout üçlüsü tek bir NVMe sunucuda ciddi bir yükü taşır. Yazıcı sayısı artıyorsa ya da dayanıklılık pazarlıksızsa, karar noktası SQLite’ın sınırı değil, mimarinin kendisidir.

Bir veritabanının sınırını, kaç satır sakladığı değil, kaç eşzamanlı yazıcıyı ne kadar bekletmeyi göze aldığı belirler. Sizin iş yükünüzde yazma trafiği tek bir kuyruğa girse ne kaybedersiniz? Son saniyedeki commit’ler kaybolduğunda iş süreciniz bunu fark eder mi?


📚 Doğrulanmış Kaynaklar ve Referanslar

  1. SQLite.org • About SQLite (proje başlangıcı 2000-05-09; sunucusuz, sıfır yapılandırma, public domain) • sqlite.org/about.html
  2. SQLite.org • Database File Format (sayfa yapısı, 100 baytlık başlık, table/index b-tree, taşma sayfaları) • sqlite.org/fileformat2.html
  3. SQLite.org • Write-Ahead Logging (WAL, checkpoint, eşzamanlılık, ağ dosya sistemi kısıtı) • sqlite.org/wal.html
  4. SQLite.org • PRAGMA synchronous (EXTRA, FULL, NORMAL, OFF semantiği) • sqlite.org/pragma.html#pragma_synchronous
  5. SQLite.org • Memory-Mapped I/O (mmap_size, sınırlar) • sqlite.org/mmap.html
  6. SQLite.org • File Locking And Concurrency In SQLite Version 3 (SHARED, RESERVED, PENDING, EXCLUSIVE) • sqlite.org/lockingv3.html
  7. SQLite.org • How SQLite Is Tested (TH3, %100 dal kapsamı; FTS3/RTree hariç) • sqlite.org/testing.html#coverage
  8. SQLite.org • Most Widely Deployed SQL Database Engine (bir trilyon veritabanı tahmini) • sqlite.org/mostdeployed.html
  9. Wikipedia • SQLite — History (General Dynamics, hasar kontrol sistemi, Informix/HP-UX) • en.wikipedia.org/wiki/SQLite
  10. CoRecursive Podcast #066 • The Untold Story of SQLite — Richard Hipp röportajı (DDG-79 Oscar Austin, hasar kontrol yazılımı) • corecursive.com/066-sqlite-with-richard-hipp
  11. SQLite.org • Release 3.12.0 (2016-03-29) — varsayılan sayfa boyutu 1024’ten 4096’ya • sqlite.org/releaselog/3_12_0.html
  12. SQLite.org • Release 3.7.17 (2013-05-20) — memory-mapped I/O desteği • sqlite.org/releaselog/3_7_17.html

Açık kaynaklı geliştirici araçlarını, terminal araçlarını ve modern kütüphaneleri Bedava Programlama Araçları ve Geliştirici Ekosistemi Rehberimizde inceliyoruz.

DigiLiner editoryal ekibi; iki bağımsız kaynak doğrulaması, düzeltme kaydı ve insan denetimli yapay zekâ kullanımı ilkeleriyle yayın yapar. Editorial Policy

Yorum bırakın

Yorumlar yayımlanmadan önce incelenir. Bağlantı ve tanıtım içeren mesajlar yayımlanmaz.