Power BI Veri Akışları: Merkezi Veri Hazırlama

Her Power BI ortamı sonuçta aynı sorunu geliştirir: Her biri "aynı" veri hazırlama mantığının biraz farklı versiyonlarına sahip düzinelerce rapor. Müşteri verileri, satış kontrol panelinde bir şekilde temizlendi ve standartlaştırıldı, pazarlama raporunda biraz farklı ve yönetici özetinde yine farklı bir şekilde. Kaynak sistem değiştiğinde (bir sütun yeniden adlandırıldığında, yeni bir bölge eklendiğinde) her raporun ayrı ayrı güncellenmesi bir bakım kabusuna dönüşür.

Power BI veri akışları, veri hazırlamayı ayrı rapor dosyalarından (Power BI Desktop .pbix) Power BI hizmetindeki paylaşılan, merkezi bir katmana taşıyarak bu sorunu çözer. Veri akışında bir kez yazılan mantık, tutarlı bir sonuçla herhangi bir geliştirici tarafından herhangi bir raporda kullanılabilir. Bu kılavuz, veri akışı mimarisini, uygulama modellerini ve veri akışlarını yönetilen bir Power BI ortamının temeli haline getiren gelişmiş özellikleri kapsar.

Önemli Çıkarımlar

• Veri akışları, Power BI hizmetindeki Power Query ETL mantığını merkezileştirerek raporlar arasında yinelemeleri ortadan kaldırır
• Veri akışları, birden fazla raporun tek bir kaynaktan tükettiği standartlaştırılmış varlıklar (tablolar) üretir
• Bağlantılı varlıklar, veri akışlarının diğer veri akışlarındaki tablolara referans vermesine olanak tanıyarak katmanlı mimariyi etkinleştirir
• Hesaplanan varlıklar, Premium veri akışı motoru içindeki bağlı varlıklar üzerinde dönüşümler gerçekleştirir
• Microsoft Fabric'teki Dataflow Gen2, veri akışlarını hazırlama ve çıktı hedefleriyle genişletir
• AI içgörüleri (Premium), ML modellerini veri akışı çıkışına uygular - anormallik tespiti, duyarlılık analizi, anahtar ifade çıkarma
• Veri akışlarındaki artımlı yenileme, büyük dönüşüm çıktılarının tam olarak yeniden işleme gerekmeden güncel kalmasını sağlar
• Veri akışı yönetişimi, çalışma alanı izinleri aracılığıyla veri akışlarını kimin oluşturabileceğini, düzenleyebileceğini ve kullanabileceğini kontrol eder

---

Veri Akışları Neden Var?

Veri akışlarını anlamak için çözdükleri sorunu görselleştirmek faydalı olacaktır.

Veri akışları olmadan (ortak model):

• Geliştirici A, Rapor 1'i oluşturur, Salesforce'a bağlanır, verileri temizlemek ve dönüştürmek için 40 Power Query adımı yazar
• Geliştirici B, Rapor 2'yi oluşturur, ayrıca Salesforce'a bağlanır, 38 benzer Power Query adımı yazar (biraz farklı)
• Geliştirici C, Rapor 3'ü derledi, aynı kaynak, 45 adım
• Salesforce API kimlik bilgileri üç farklı dosyada saklanır
• "Müşteri segmenti" sınıflandırma mantığı üç farklı şekilde uygulanır
• API değiştiğinde üç dosyanın güncellenmesi gerekir
• Her üç rapor da Salesforce API'sine göre kendi planlanmış yenilemelerini çalıştırıyor

Veri akışlarıyla:

• Veri mühendisi 40 Power Query adımıyla bir Veri Akışı oluşturur
• 1, 2 ve 3 numaralı raporların tümü veri kaynağı olarak veri akışı varlığına bağlanır
• Bir API kimlik bilgisi, bir dönüşüm mantığı, bir planlanmış yenileme
• API değiştiğinde bir veri akışı güncellenir

Temel değer önerisi budur: veri akışları, kaynak sistemler ile tüketici raporlar arasındaki ETL katmanıdır.

---

Veri Akışı Mimarisi Modelleri

İyi tasarlanmış veri akışı mimarileri, veri ambarı madalyon mimarisine benzer katmanlı bir modeli takip eder:

Bronz katman (Hazırlama veri akışı): Minimum dönüşümle verileri kaynak sistemlerden çıkarır; sütunları yeniden adlandırır, türleri düzeltir, açıkça geçersiz olan kayıtları filtreler. Bu katman ham verileri standart bir formatta yakalar.

Gümüş katman (Çekirdek veri akışı): İş mantığını uygular — türetilmiş alanları hesaplar, referans verileri aramalarını uygular, kayıtları tekilleştirir, kuruluşa özgü iş kurallarını uygular. Bu katman, her ticari varlığın kanonik temsilini üretir.

Altın katman (Raporlama veri akışı veya anlamsal model): Önceden hesaplanmış toplamalar, rapora özel ölçümler, zaman dilimi hesaplamaları gibi belirli analitik kullanım örnekleri için verileri toplar ve yapılandırır.

Power BI'da bağlantılı varlıklar bu katmanları birbirine bağlar: Gümüş veri akışı, bağlantılı varlıkları kullanarak Bronz veri akışındaki varlıklara başvurur. Altın katmanı Gümüş varlıklara referans verir. Raporlar Altın katman varlıklarına bağlanır.

Bu mimari şu anlama gelir: Bir kaynak sistem değişirse yalnızca Bronze veri akışının güncellenmesi gerekir. Silver'da iş mantığı ve Gold'da raporlama yapısı stabil kalıyor.

---

İlk Veri Akışınızı Oluşturma

Veri akışları Power BI hizmetinde oluşturulur (Power BI Desktop'ta değil). Bir çalışma alanına gidin → Yeni → Veri akışı.

Veri akışı düzenleme ortamı Power Query Online'dır; aslında Power BI Desktop ile aynı Power Query arayüzüdür, ancak tarayıcıda çalışır ve Microsoft'un bulut altyapısında yürütülür.

1. Adım: Bir veri kaynağı tanımlayın

"Yeni varlıklar ekle"yi tıklayın → Bir bağlayıcı seçin. Tüm Power BI Desktop bağlayıcılarının yanı sıra bazı bulutta yerel bağlayıcılar (Azure Data Factory entegrasyonu vb.) veri akışlarında mevcuttur.

Bir SQL Server kaynağı için:

Server: your-server.database.windows.net
Database: YourDatabase
Authentication: Organizational account or service principal

2. Adım: Dönüşüm sorgularını yazın

Power Query arayüzü tanıdık özellikler sunar: Uygulanan Adımlar, formül çubuğu ve önizleme. Dönüşüm mantığınızı tam olarak Power BI Desktop'ta olduğu gibi oluşturun; satırları filtreleyin, sütunları yeniden adlandırın, referans tablolarıyla birleştirin, özel mantık uygulayın.

Müşteri verilerini standardizasyon sorgusu için:

let
    Source = Sql.Database("server", "db"),
    Customers = Source{[Schema="dbo", Item="Customers"]}[Data],
    FilteredActive = Table.SelectRows(Customers, each [Status] = "Active"),
    RenamedColumns = Table.RenameColumns(FilteredActive, {
        {"cust_id", "CustomerID"},
        {"cust_nm", "CustomerName"},
        {"seg_cd", "SegmentCode"}
    }),
    SegmentLookup = Table.Join(
        RenamedColumns, "SegmentCode",
        SegmentDefinitions, "Code",
        JoinKind.LeftOuter
    ),
    RemovedDuplicates = Table.Distinct(SegmentLookup, {"CustomerID"})
in
    RemovedDuplicates

3. Adım: Yenileme zamanlamasını yapılandırın

Veri akışı yenileme programını ayarlayın (Premium'da günde en fazla 48 kat, Pro'da günde 8 kata kadar). Veri akışı yenilemesi, dönüşüm sorgularını kaynağa göre çalıştırır ve sonuçları Power BI tarafından yönetilen Azure Data Lake Gen2 depolama alanına yazar.

4. Adım: Raporları veri akışına bağlayın

Power BI Desktop'ta: Veri Al → Power Platform → Power BI Veri Akışları → çalışma alanına gidin → varlığı seçin. Rapor, kaynak sisteme değil, veri akışı varlığının depolanan çıkışına bağlanır.

---

Bağlantılı ve Hesaplanan Varlıklar (Premium)

Bağlı varlıklar, bir veri akışının başka bir veri akışındaki varlıklara referans vermesine olanak tanır. Yukarıda açıklanan katmanlı mimari bu şekilde uygulanır.

Bağlantılı bir varlık oluşturma: Gümüş veri akışında → Yeni Varlık → Diğer veri akışlarındaki varlıkları bağla → Bronz varlığı seçin.

Bağlı varlık, Gümüş veri akışında Bronz veri akışının çıktısını işaret eden sanal bir tablo olarak görünür. Bağlantılı varlığın üstüne ek dönüşüm adımları ekleyebilirsiniz; bu ek adımlar kaynakta değil veri akışı motorunda yürütülür.

Hesaplanan varlıklar, ek Power Query dönüşümlerinin uygulandığı bağlantılı varlıklardır. Kaynakta değil, Premium veri akışı motorunun bellek içi işlemesinde yürütülürler ve büyük veri kümeleri üzerindeki karmaşık dönüşümler için önemli performans avantajları sağlarlar.

Anahtar ayrım:

• Premium Olmadan: Bağlantılı varlıklar diğer veri akışının verilerine başvurur ancak tüm işlemler sorgu zamanında kaynağa göre gerçekleşir
• Premium (hesaplanan varlıklar) ile: Bağlantılı varlıklardaki dönüşümler, kaynağı değil önbelleğe alınan verileri kullanarak Power BI analitik motorunda çalıştırılır; karmaşık dönüşümler için önemli ölçüde daha hızlıdır

Bu, kaynakta çalıştırılması pahalı olan (büyük tablolardaki birleştirmeler, toplamalar, pencere işlevleri) ancak veriler raporlara ulaşmadan önce gerçekleşmesi gereken dönüşümler için özellikle değerlidir.

---

Veri Akışları için Artımlı Yenileme

Veri kümeleri gibi veri akışları da her döngüde tüm verileri yeniden yüklemek yerine yalnızca yeni ve değiştirilmiş kayıtları işlemek için artımlı yenilemeyi destekler.

Gereksinimler:

• Premium çalışma alanı
• Kaynak sorgudaki tarihsaat sütunu
• Veri akışı sorgusunda tanımlanan RangeStart ve RangeEnd parametreleri

Yapılandırma, veri kümesi artımlı yenilemesiyle aynıdır: parametreleri tanımlayın, sorguda tarih filtresini uygulayın, varlık üzerinde artımlı yenileme ilkesini yapılandırın. Veri akışı motoru, geçmiş pencereyi kapsayan bölümler oluşturur ve her döngüde yalnızca en son pencereyi yeniler.

Veri akışları için artımlı yenileme şu durumlarda en değerlidir:

• Dönüşümler hesaplama açısından pahalıdır ve bunları değiştirilmemiş geçmiş veriler üzerinde yeniden çalıştırmak istemezsiniz
• Büyük tablo boyutları nedeniyle kaynak sorgusu yavaştır ve sorgu penceresini sınırlamak, getirme süresini önemli ölçüde azaltır
• Depolama maliyeti önemlidir — artımlı bölümler, geçmiş verilerin yeniden sorgulanmadan saklanmasına olanak tanır

Küçük ve orta ölçekli veri akışlarının çoğu için (10 milyon satırın altında), tam yenileme daha basit ve yeterlidir. Yenileme süreleri 30-60 dakikayı aştığında artımlı yenileme önem kazanır.

---

Veri Akışlarında Yapay Zeka İçgörüleri (Premium)

Power BI Premium veri akışları, doğrudan Power Query Online'da kullanılabilen önceden oluşturulmuş makine öğrenimi işlevleri olan AI Insights'ı içerir.

Mevcut yapay zeka işlevleri:

Bu işlevler, Power Query düzenleyicisinde özel sütun dönüşümleri olarak çağrılır. Customer_comments sütununda bir duyarlılık puanlama adımı:

= Table.AddColumn(Source, "Sentiment", each
    TextAnalytics.SentimentScore([CustomerComment]),
    type number
)

Yapay zeka işlevi, sahne arkasında Azure Bilişsel Hizmetler'i çağırır; sonuç (0'dan 1'e kadar bir duyarlılık puanı) yeni bir sütun olarak görünür. Bu, ayrı bir veri bilimi hattı gerektirmeden zenginleştirilmiş veri kümelerine olanak tanır.

---

Veri Akışı Yönetişimi ve Güvenliği

Merkezi veri hazırlama katmanı olarak veri akışları, kaliteyi sağlamak ve yetkisiz değişiklikleri önlemek için yönetişim kontrollerini gerektirir.

Çalışma alanı izinleri veri akışlarını kimlerin oluşturup düzenleyebileceğini kontrol eder. Veri akışı oluşturmak, çalışma alanına Katkıda Bulunan veya Yönetici erişimi gerektirir. Tüketicilerin (veri akışına bağlanan rapor geliştiricilerinin) yalnızca Görüntüleyici erişimine ihtiyacı vardır. Bu rol ayrımı, Bronze ve Silver katmanlarındaki iş mantığının yetkili veri mühendisleri tarafından sürdürülmesini sağlar.

Sertifika, veri akışlarının merkezi bir otorite tarafından onaylandığını işaretler. Power BI Desktop'taki veri kaynağı seçicide, rapor geliştiricilerini sıfırdan kendi veri kaynaklarını oluşturmak yerine yetkili, yönetilen veri kaynağına yönlendiren sertifikalı bir veri akışı vurgulanır.

Hassasiyet etiketleri, hassas veriler içeren veri akışlarına Microsoft Purview Bilgi Koruması etiketlerini uygular. PII içeren bir veri akışı, söz konusu veri akışını tüketen tüm raporlara basamaklandırılan bir "Gizli" etiketi alır.

Power BI yönetici portalındaki veri kökeni, kaynak → veri akışı → veri kümesi → rapor arasındaki akışı gösterir. Bir kaynak sistem değiştiğinde veri kökeni, etkilenebilecek tüm alt raporların belirlenmesine yardımcı olur.

Veri akışı yenilemesini izleme: Power BI'ın yönetici portalı veri akışı yenileme geçmişini, süresini ve hatalarını gösterir. Başarısız veri akışı yenilemeleri için Power Automate aracılığıyla uyarıların ayarlanması, bir kullanıcı eski verileri bildirdiğinde veri güncelliği sorunlarının keşfedilmesi yerine hemen yakalanmasını sağlar.

---

Veri Akışları ve Veri Ambarı Karşılaştırması

Veri akışları, özel bir veri ambarının yerine geçmez; onlar bir tamamlayıcıdır. Her birinin nereye uyduğunu anlamak mimari hataları önler.

Olgun veri mühendisliği uygulamalarına sahip kuruluşlar, Power BI'a özgü mantık için isteğe bağlı hafif bir dönüşüm olarak veri akışlarıyla birlikte birincil dönüşüm ve depolama katmanı olarak bir veri ambarı kullanmalıdır. Veri mühendisliği kaynaklarına sahip olmayan kuruluşlar, genellikle ayrı bir depoya ihtiyaç duymadan veri akışlarını kendi ihtiyaçları için yeterli buluyor.

---

Sıkça Sorulan Sorular

Power BI veri akışları ile Power BI veri kümeleri arasındaki fark nedir?

Veri akışları ETL/veri hazırlama katmanıdır; verileri Azure Data Lake'te tablolar (varlıklar) olarak çıkarır, dönüştürür ve depolar. Veri kümeleri (anlamsal modeller) analitik katmandır; depolanan verilerin üzerinde ölçümleri, hiyerarşileri, ilişkileri ve güvenliği tanımlarlar. Ortak bir model: veri akışları temiz verileri hazırlar ve saklar → veri akışlarından veri kümeleri içe aktarılır ve analitik mantık eklenir → raporlar veri kümelerine bağlanır. Mimaride farklı roller üstlenirler.

Veri akışlarını kullanmak için Power BI Premium'a ihtiyacım var mı?

Temel veri akışları Power BI Pro çalışma alanlarında kullanılabilir. Premium (veya Fabric), bilgisayarlı varlıkları, yapay zeka içgörülerini, artımlı yenilemeyi ve gelişmiş performansı ekler. Küçük ve orta ölçekli kuruluşların çoğu için Pro düzeyinde veri akışları yeterlidir. Dönüşüm hacimleri büyük olduğunda, yapay zeka zenginleştirmesine veya artımlı yenilemeye ihtiyaç duyulduğunda premium özellikler önem kazanır.

Power BI dışı araçları veri akışı verilerine bağlayabilir miyim?

Evet. Power BI veri akışları, çıktılarını Azure Data Lake Gen2'de CDM (Ortak Veri Modeli) biçiminde depolar. Premium veya Fabric kullanan kuruluşlar, veri akışını kendi Azure Data Lake hesaplarını kullanacak şekilde yapılandırarak parke dosyalarının diğer araçlar (Azure Synapse Analytics, Azure Databricks, Python, Tableau) tarafından erişilebilir olmasını sağlayabilir. Bu "kendi gölünüzü getirin" yapılandırması Premium ve Fabric çalışma alanlarında mevcuttur.

Veri akışları, veri kaynağı kimlik bilgisi yönetimini nasıl yönetir?

Veri akışlarındaki veri kaynağı kimlik bilgileri Power BI hizmetinde depolanır ve çalışma alanı yöneticileri tarafından yönetilir. Bu, rapor düzeyindeki kimlik bilgilerine göre bir gelişmedir; her rapor geliştiricisinin kimlik bilgilerini kendi .pbix dosyasında saklaması yerine, kimlik bilgileri veri akışı için merkezi olarak yönetilir. Kullanıcı kuruluştan ayrıldığında süresi dolan kişisel kullanıcı kimlik bilgileri yerine otomatikleştirilmiş üretim veri akışları için hizmet sorumlusu (Azure AD uygulaması) kimlik doğrulaması önerilir.

Veri akışları REST API'lerini veya standart dışı veri kaynaklarını çağırabilir mi?

Evet. Veri akışları, Web bağlayıcısı aracılığıyla REST API bağlayıcıları, özel bağlayıcılar (.mez dosyaları) ve İşlev bağlayıcıları dahil olmak üzere Power BI Desktop ile aynı Power Query bağlayıcı ekosistemini kullanır. API mantığını kapsüllemek için veri akışı içinde özel M işlevleri tanımlanabilir. Karmaşık API sayfalandırması, kimlik doğrulama akışları ve hız sınırlamanın tümü, veri akışı ortamında Power Query'de gerçekleştirilebilir.

---

Sonraki Adımlar

Veri akışları ölçeklenebilir, yönetilen bir Power BI analiz ortamının temelidir. Doğru veri akışı mimarisine erken yatırım yapmak, birbirinin kopyası, tutarsız veri hazırlama mantığına sahip yüzlerce bağlantısız raporun teknik borcunu önler.

ECOSIRE'ın Power BI veri modelleme hizmetleri veri akışı mimarisi tasarımını, katmanlı Bronz-Gümüş-Altın veri hazırlama modellerinin uygulanmasını ve yönetim yapılandırmasını içerir. Mevcut ortamınızı değerlendirmek ve kuruluşunuza göre ölçeklenen bir veri akışı stratejisi tasarlamak için bizimle iletişime geçin.