Yazar : Çağlar Özenç
Yapay Zeka Projelerinin Gizli Kahramanı Veri Mühendisliği
Yapay Zeka (YZ) günümüz iş dünyasının yeni motoru, veriler ise bu motoru çalıştıran yakıttır. Önceki yazılarımda sıkça vurguladığım gibi; bir Ferrari’ye (Gelişmiş YZ Modeli) kirli yakıt (Kirli Veri) koyarsanız, motoru bozarsınız. Ancak veri dünyasında az konuşulan ama hayati önem taşıyan bir süreç daha vardır: Bu yakıtı hangi rafineride ve nasıl işleyeceksiniz?
İşte burada veri mühendisliğinin en temel tartışması devreye girer: ETL (Extract-Transform-Load) mi yoksa ELT (Extract-Load-Transform) mi?
Bu makalede, sadece teknik tanımları değil; Data Warehouse (Veri Ambarı), Data Lake (Veri Gölü) ve Microsoft Fabric gibi modern teknolojilerin bu süreci nasıl değiştirdiğini, bir yöneticinin anlaması gereken sadelikte inceleyeceğiz.
Veri Boru Hattı (Data Pipeline) Nedir?
Bir e-ticaret sitesinden, CRM yazılımından veya IoT sensörlerinden gelen veriler doğdukları anda ham ve işlenmemiş haldedir. Bu verileri analiz edilebilir, raporlanabilir ve yapay zeka tarafından öğrenilebilir hale getirmek için bir yolculuğa çıkarmamız gerekir. Bu yolculuğa Veri Boru Hattı (Data Pipeline) denir ve üç ana aşamadan oluşur:
- Extract (Çıkarma): Verinin kaynak sistemden (SQL Server, SAP, Excel vb.) alınması.
- Transform (Dönüştürme): Verinin temizlenmesi, formatlanması ve zenginleştirilmesi. (En maliyetli süreç).
- Load (Yükleme): Verinin hedef sisteme (Veri Ambarı veya Data Lake) kaydedilmesi.
Bu üç harfin (E, T, L) sıralaması, şirketinizin veri stratejisini, bulut maliyetlerini ve raporlama hızını belirler.
1. Geleneksel Yöntem: ETL (Extract-Transform-Load) Nedir?
1990’lardan bulut teknolojilerinin yaygınlaşmasına kadar endüstri standardı ETL idi.
- Mantık: “Veriyi temizlemeden içeri alma.”
- Süreç: Veri kaynaktan çekilir -> Ara bir sunucuda işlenir/temizlenir -> Tertemiz haliyle Veri Ambarına (Data Warehouse) yüklenir.
Bunu “Alakart Restoran Mutfağı” gibi düşünebilirsiniz. Aşçı malzemeyi alır, mutfakta yıkar, soyar, pişirir (Transform) ve müşterinin önüne (Veri Ambarı) sadece bitmiş, kusursuz tabağı koyar. Müşteri asla patatesin kabuğunu veya çürük domatesi görmez.
ETL Ne Zaman Kullanılmalı?
- Regülasyon ve Uyumluluk (KVKK/GDPR): Hassas verilerin (Kredi kartı, T.C. No) veri ambarına girmeden önce maskelenmesi gerekiyorsa.
- Karmaşık İş Mantıkları: Veri kalitesinin %100 olması gereken finansal raporlama süreçlerinde.
- Eski Nesil Altyapılar: Bulut tabanlı olmayan (On-premise) sistemlerde depolama alanı pahalı olduğu için, sadece gerekli veriyi saklamak istendiğinde.
Dezavantajı: Esnek değildir. Yeni bir rapor ihtiyacında tüm sürecin baştan tasarlanması haftalar sürebilir.
2. Modern Bulut Yaklaşımı: ELT (Extract-Load-Transform) Nedir?
Azure, AWS, Snowflake ve Microsoft Fabric gibi modern bulut veri platformlarının yükselişiyle depolama maliyetleri düştü ve işlem gücü (Compute) arttı. Bu durum ELT mimarisini doğurdu.
- Mantık: “Hepsini yükle, ihtiyacın olunca temizle.”
- Süreç: Veri kaynaktan çekilir -> Ham haliyle olduğu gibi Veri Gölü’ne (Data Lake) yüklenir -> İhtiyaç anında hedef sistemin gücüyle dönüştürülür.
Bunu bir “Mega Market veya Açık Büfe” modeline benzetebiliriz. Kamyonlar dolusu ürün (Ham Veri) depoya (Data Lake) iner. Şef, o an menemen yapacaksa depodan malzemeyi alır ve pişirir. Ham malzeme depoda durmaya devam eder; belki yarın başka bir yemek için lazım olacaktır.
ELT ve Big Data (Büyük Veri) İlişkisi
- Hız (Time-to-Insight): Veriyi bekletmeden sisteme alırsınız (Real-time Ingestion).
- Yapay Zeka ve Veri Bilimi: Veri Bilimciler, modellerini eğitmek için verinin “pişmiş” halini değil, en ham ve detaylı halini isterler. ELT, ham veriyi sakladığı için AI projeleri için idealdir.
- Ölçeklenebilirlik: Bulutun gücünü kullanarak terabaytlarca veriyi dakikalar içinde işleyebilirsiniz.
Risk: İyi yönetilmezse veri gölünüz, aradığınızı bulamadığınız bir “Veri Bataklığına” (Data Swamp) dönüşebilir.
3. Microsoft Fabric ve Modern Veri Mimarisi: Lakehouse Yaklaşımı
Bir Microsoft Data Platform MVP olarak, sektörün gittiği yönü net bir şekilde görüyorum: Lakehouse (Göl Evi) Mimarisi.
Eskiden şirketler “Data Warehouse mu kuralım, Data Lake mi?” ikilemi yaşardı. Microsoft Fabric ile bu sınırlar kalktı. Modern mimaride ELT süreci, “Medallion Architecture” (Madalyon Mimarisi) adı verilen katmanlı bir yapıyla yönetilir:
- Bronz Katman (Raw Zone): Veri, ELT mantığıyla ham olarak buraya iner. Hiçbir veri kaybı olmaz.
- Gümüş Katman (Cleansed Zone): Veri temizlenir, tekilleştirilir ve mantıksal hatalardan arındırılır.
- Altın Katman (Curated Zone): Raporlamaya ve üst yönetim dashboardlarına hazır, yıldız şema (Star Schema) yapısındaki veridir.
Microsoft Fabric’in Farkı (OneLake): Fabric, “OneLake” vizyonu ile veriyi kopyalamadan (Shortcut özelliği) farklı analiz araçlarının (Power BI, Spark, SQL) kullanımına sunar. Bu, ELT sürecindeki “veri taşıma” maliyetlerini ve karmaşasını ortadan kaldırır.
Özetle ETL mi ELT mi? Hangisini Seçmelisiniz?
Bu sorunun cevabı, işletmenizin hedeflerine göre değişir.
| Özellik | ETL (Geleneksel) | ELT (Modern / Bulut) |
| Öncelik | Veri Kalitesi ve Uyumluluk | Hız ve Veri Keşfi |
| Hedef Sistem | Data Warehouse (Veri Ambarı) | Data Lake / Lakehouse |
| Yapay Zeka Uyumu | Düşük (Sadece işlenmiş veri) | Yüksek (Ham veriye erişim) |
| Maliyet Yapısı | Yüksek başlangıç yatırımı | Kullandıkça Öde (Bulut) |
| Örnek Teknoloji | SSIS, Informatica | Azure Data Factory, Microsoft Fabric |
Yönetici Özeti: Eğer amacınız sadece yasal raporlama ve standart finansal tablolar ise ETL güvenli limandır. Ancak şirketinizde Yapay Zeka (AI), makine öğrenmesi ve anlık müşteri analitiği projeleri varsa, ELT ve Lakehouse mimarisine geçmek bir tercih değil, zorunluluktur.
Unutmayın; “Kirli Veri” ile yola çıkılmaz. İster kapıda temizleyin (ETL), ister içeride temizleyin (ELT); önemli olan, verinizi profesyonel bir Veri Yönetimi stratejisi ile ele almaktır.
Sıkça Sorulan Sorular (SSS)
1. ETL ve ELT arasındaki temel fark nedir? Temel fark, verinin “Transform” (Dönüştürme/Temizleme) işleminin nerede ve ne zaman yapıldığıdır. ETL’de veri hedef sisteme girmeden önce, ELT’de ise hedef sisteme girdikten sonra işlenir.
2. Yapay Zeka projeleri için hangisi daha uygundur? Yapay Zeka projeleri genellikle büyük hacimli ve ham veriye ihtiyaç duyduğu için ELT mimarisi daha uygundur.
3. Microsoft Fabric hangi yöntemi kullanır? Microsoft Fabric, hem ETL (Dataflow Gen2) hem de ELT (Notebooks, Stored Procedures) senaryolarını destekler ancak mimari yapısı gereği modern ELT ve Lakehouse yaklaşımları için optimize edilmiştir.
