ERP Verileri için ETL İşlem Hatları: Odoo ve Shopify'dan Analiz Çıkarma

İş verileriniz silolarda yaşar. Odoo'da muhasebe, envanter ve İK verileriniz bulunur. Shopify'da e-Ticaret işlemleriniz vardır. GoHighLevel'de pazarlama ve CRM verileriniz bulunur. Google Analytics web trafiğinize sahiptir. Her platformun kendi raporlaması vardır ancak bunların hiçbiri sistemler arası soruları yanıtlayamaz: Sipariş karşılama ve destek dahil gerçek müşteri edinme maliyeti nedir? Hangi pazarlama kanalları müşterilere hem çevrimiçi hem de çevrimdışı satışlarda en yüksek yaşam boyu değeri sağlıyor?

ETL (Çıkarma, Dönüştürme, Yükleme) işlem hatları, her kaynaktan veri çekerek, temizleyerek ve standartlaştırarak ve BI araçlarınızın tüm sistemlerde sorgulama yapabileceği birleşik bir veri ambarına yükleyerek bu silolar arasında köprü oluşturur.

Önemli Çıkarımlar

• ETL işlem hatları, veri silolarını (Odoo, Shopify, GoHighLevel) tek bir depoya bağlayarak hiçbir platformun sağlayamayacağı çapraz sistemler analitiğini mümkün kılar
• Üç çıkarma stratejisi (API, veritabanı çoğaltma, web kancaları) farklı veri kaynaklarına ve güncellik gereksinimlerine uygundur
• Dönüşüm modelleri (tekilleştirme, normalleştirme, zenginleştirme), veri kalitesinin depoya ulaşmadan önce sağlanmasını sağlar
• İdempotent işlemlerle artımlı yükleme, veri hacmi büyüdükçe işlem hatlarını güvenilir ve verimli tutar

---

Çıkarma Stratejileri

Çıkarma aşaması ham verileri kaynak sistemlerden çeker. Her veri kaynağının farklı çıkarım yaklaşımları gerektiren farklı yetenekleri ve kısıtlamaları vardır.

API Çıkarma

Çoğu modern platform, veri erişimi için REST veya GraphQL API'lerini kullanıma sunar. API çıkarma en güvenli yaklaşımdır çünkü platformun resmi arayüzünü kullanır ve dahili veritabanı yapılarına bağlı değildir.

Odoo XML-RPC / JSON-RPC API'si:

Odoo, verilerini XML-RPC ve JSON-RPC uç noktaları aracılığıyla kullanıma sunar. Alan düzeyinde ayrıntı düzeyi ve etki alanı filtreleriyle herhangi bir modeli (müşteriler, satış siparişleri, faturalar, stok hareketleri) okuyabilirsiniz.

• Uç nokta: https://your-odoo.com/jsonrpc
• Kimlik doğrulama: Veritabanı adı, kullanıcı adı, şifre (veya API anahtarı)
• Sayfalandırma: offset ve limit parametrelerini kullanın
• Artımlı: write_date > last_sync_timestamp'ye göre filtrele
• Ücret sınırları: Kendi kendine barındırılan Odoo'da ücret sınırı yoktur. Odoo SaaS saniye başına sınırlar uygular.

Shopify REST / GraphQL API'si:

Shopify'ın API'si siparişlere, ürünlere, müşterilere, envantere ve daha fazlasına erişim sağlar.

• Uç nokta: https://your-store.myshopify.com/admin/api/2024-10/
• Kimlik doğrulama: Özel uygulama kimlik bilgileri veya OAuth erişim jetonu
• Sayfalandırma: İmleç tabanlı (next bağlantı başlığını izleyin)
• Artımlı: Çoğu kaynakta updated_at_min parametresi
• Hız sınırları: 2 istek/saniye (REST) veya 1.000 maliyet puanı/saniye (GraphQL)

GoHighLevel API'si:

• Uç nokta: https://rest.gohighlevel.com/v1/
• Kimlik doğrulama: API anahtarı veya OAuth
• Kaynaklar: İletişim bilgileri, fırsatlar, iletişim hatları, kampanyalar, görüşmeler
• Artımlı: Desteklendiği durumlarda tarih aralığına göre filtreleyin

Veri Kaynağı Çıkarma Yöntemleri

Veritabanı Çoğaltma

Özellikle Odoo için doğrudan veritabanı erişimi bazen API'den daha hızlı ve daha eksiksizdir. Odoo PostgreSQL'de çalıştığından, değişiklikleri Odoo veritabanından analitik veritabanınıza neredeyse gerçek zamanlı olarak aktarmak için mantıksal çoğaltmayı kullanabilirsiniz.

Avantajları: API hızı sınırı yoktur, tüm alanları yakalar (API aracılığıyla kullanıma sunulmayanlar dahil), sıfıra yakın gecikme.

Dezavantajları: Odoo'nun dahili şemasına sıkı sıkıya bağlıdır (yükseltmelerde kesinti olur), veritabanı erişimi gerektirir (Odoo SaaS için mevcut değildir), Odoo'nun erişim kontrol katmanını atlar.

Öneri: Çoğu kaynak için API ayıklamayı kullanın. Veritabanını kontrol ettiğiniz yüksek hacimli, gecikmeye duyarlı Odoo dağıtımları için veritabanı çoğaltmasını ayırın.

Web Kanca Tabanlı Çıkarma

Web kancaları, olaylar meydana geldiğinde verileri gerçek zamanlı olarak işlem hattınıza aktarır. Shopify, siparişler, ürünler, müşteriler ve envanter değişiklikleri için web kancalarını destekler. Odoo, özel modüller aracılığıyla web kancalarını destekler.

Avantajları: Yoklama ek yükü olmayan gerçek zamanlı veriler.

Dezavantajları: Uç noktanız kapalıysa (yeniden deneme mantığına ihtiyacınız varsa), sıra dışı teslimat varsa ve dolgu özelliği yoksa etkinlikleri kaçırabilirsiniz.

Öneri: Gerçek zamanlı kontrol panelleri ve uyarılar için web kancalarını kullanın. Tamlığı sağlamak için ambar için planlanmış API ayıklamayı kullanın.

---

Desenleri Dönüştür

Kaynak sistemlerden gelen ham veriler karmaşıktır: yinelenen kayıtlar, tutarsız formatlar, eksik değerler, çelişen adlandırma kuralları. Dönüştürme aşaması, verileri depoya ulaşmadan önce temizler ve standartlaştırır.

Tekilleştirme

Müşteriler farklı kimliklere sahip birden fazla sistemde bulunur. Aynı kişi Odoo'da "John Smith" (ID: 42), Shopify'da "[email protected]" (ID: 8891) ve "John S." olabilir. GoHighLevel'de (ID: contact_xyz).

Tekilleştirme stratejileri:

• E-posta eşleşmesi: En basit yaklaşım. Kayıtları sistemler arasında e-posta adresine göre eşleştirin.
• Bulanık ad eşleştirme: Benzer ancak aynı olmayan adlar için Levenshtein mesafesini veya fonetik eşleştirmeyi kullanın.
• Telefon numarası normalleştirmesi: Şerit biçimlendirmesi ve rakamlarla eşleştirme.
• Bileşik anahtar: Daha yüksek güven için e-posta + telefon + ad kombinasyonuyla eşleştirin.

Ambarda tüm kaynak sistemlerdeki kimliklere bağlanan bir ana müşteri kaydı oluşturun. Bu, sistem sınırlarını aşan RFM analizini ve kohort analizini mümkün kılar.

Normalleştirme

Veri formatlarını sistemler arasında standartlaştırın:

• Para birimi: Tüm parasal tutarları, geçmiş döviz kurlarını (işlem tarihi, cari kur değil) kullanarak temel para birimine dönüştürün.
• Tarihler: Tüm zaman damgalarını UTC'ye dönüştürün. Odoo mağazaları UTC'de, Shopify ise mağazanın saat dilimindedir.
• Durum alanları: Sisteme özgü durumları evrensel bir kümeyle eşleyin. Odoo'nun sale durumu "Onaylandı" ile, Shopify'ın paid durumu ise "Onaylandı" ile eşleşir.
• Birimler: Ölçü birimlerini standartlaştırın. Odoo kilogram cinsinden, Shopify ise pound cinsinden takip edebilir.
• Adres biçimi: Ülke kodlarını (ISO 3166), eyalet/il kodlarını ve posta kodu biçimlerini standartlaştırın.

Zenginleştirme

Herhangi bir kaynak sistemde bulunmayan türetilmiş alanları ekleyin:

• Müşteri yaşam boyu değeri: Tüm kanallardaki işlem geçmişinden hesaplanır.
• RFM puanları: Yenilik, sıklık ve parasal değerlerden hesaplanır.
• Edinme kanalı ilişkilendirmesi: İlk dokunuş UTM parametrelerinden eşlenmiştir.
• Coğrafi zenginleştirme: Adres verilerinden bölge, saat dilimi ve pazar katmanını türetin.
• İş günü hesaplaması: Doğru SLA ölçümü için hafta sonlarını ve tatil günlerini işaretleyin.

Veri Kalitesi Kontrolleri

Dönüştürme aşamasında otomatik kontroller çalıştırın:

---

Yükleme Stratejileri

Yükleme aşaması, dönüştürülen verileri veri ambarına yazar.

Tam Yük ve Artımlı Yük

Tam yükleme: Hedef tabloyu kısaltın ve tüm verileri sıfırdan yeniden yükleyin. Basittir ve tutarlılığı garanti eder ancak büyük tablolar (milyonlarca satır) için pratik değildir çünkü çok uzun sürer ve hesaplama israfına neden olur.

Artımlı yükleme: Yalnızca yeni veya son yüklemeden bu yana değişen kayıtları işleyin. Daha hızlı ve daha verimli. Son başarılı yükleme zaman damgasının izlenmesini veya değişiklik verileri yakalamanın kullanılmasını gerektirir.

Öneri: Veri tabloları (satış, envanter) için artımlı yüklemeyi, nadiren değişen küçük boyutlu tablolar (ürünler, çalışanlar) için ise tam yüklemeyi kullanın.

Yukarı (Birleştirme) Deseni

En sağlam artımlı yükleme modeli upsert'tir: Yeni kayıtları INSERT ve değişen mevcut kayıtları GÜNCELLEYİN.

For each record in the transformed batch:
  IF record exists in target (match on business key):
    IF record has changed (compare hash of all fields):
      UPDATE the target record
    ELSE:
      SKIP (no change)
  ELSE:
    INSERT the new record

Bu kalıp önemsizdir; aynı veriyle iki kez çalıştırmak aynı sonucu verir. Bu önemlidir çünkü ETL arızaları yeniden çalıştırmayı gerektirir ve eş zamanlı yüklemeler yinelenen verileri önler.

Yük Planlama

---

Boru Hattı Mimarisi

Bileşenler

Bir üretim ETL işlem hattının şu bileşenlere ihtiyacı vardır:

1. Zamanlayıcı: Ardışık düzen çalışmalarını programa göre tetikler (cron, Airflow, Dagster veya Prefect).
2. Çıkarıcılar: API, veritabanı veya web kancası aracılığıyla verileri çeken, kaynağa özel bağlayıcılar.
3. Transformatörler: Verileri temizleyen, standartlaştıran ve zenginleştiren iş mantığı.
4. Yükleyiciler: Dönüştürülen verileri depoya yazın.
5. Orkestratör: İşlem hattı adımları arasındaki bağımlılıkları yönetir (dönüştürmeden önce çıkarma, yüklemeden önce dönüştürme).
6. İzleme: İşlem hattının durumunu, veri güncelliğini ve kalite ölçümlerini izler.
7. Uyarı: İşlem hatları arızalandığında veya veri kalitesi düştüğünde ekibe bildirimde bulunur.

Araç Seçenekleri

Hafif (orta pazar başlangıç noktası):

• Cron aracılığıyla programlanan özel komut dosyaları (Python + SQLAlchemy veya Node.js)
• SQL tabanlı dönüşümler için dbt
• Günlük dosyaları ve e-posta uyarıları aracılığıyla basit izleme

Orta ağırlıkta (ölçek büyütülmüş):

• Düzenleme için Apache Hava Akışı
• Önceden oluşturulmuş kaynak konektörleri için Singer/Meltano
• Veri kalitesi testi için Büyük Beklentiler

Kurumsal:

• Yönetilen çıkarma için Fivetran veya Airbyte
• Depo olarak Snowflake veya BigQuery
• Veri gözlemlenebilirliği için Monte Carlo veya Bigeye

Odoo ve Shopify çalıştıran çoğu orta ölçekli şirket için, dbt dönüşümleri ve cron planlaması içeren özel Python komut dosyaları, veri hacmi günde 10 milyon satırı veya veri kaynağı sayısı 10'u aşana kadar yeterlidir.

---

Hata İşleme ve Kurtarma

ETL boru hatları başarısız oluyor. API'ler hata döndürüyor, kaynak sistemler bakım için kapatılıyor, veri formatları önceden haber verilmeden değişiyor, ağ bağlantıları kopuyor. Güçlü hata işleme, üretim düzeyindeki işlem hatlarını hassas komut dosyalarından ayırır.

Mantığı Yeniden Dene

Geçici hatalar (hız sınırları, zaman aşımları, sunucu hataları) için üstel geri çekilme uygulayın:

• 1. Deneme: Hemen
• 2. Deneme: 5 saniye bekleyin
• 3. Deneme: 30 saniye bekleyin
• 4. Deneme: 2 dakika bekleyin
• 5. Deneme: 10 dakika bekleyin
• 5 hatadan sonra: Ekibi uyarın ve boru hattını duraklatın

Teslim Edilmeyen Mektup Sırası

Dönüştürülemeyen kayıtlar (geçersiz veri, beklenmeyen format), manuel inceleme için teslim edilmeyenler kuyruğuna gider. Kötü bir kaydın tüm boru hattını durdurmasına izin vermeyin.

Kontrol Noktası ve Devam Etme

Uzun süren çıkarmalar için ilerleme kontrol noktalarını kaydedin. İşlem hattı, kayıtların yüzde 80'ini çıkardıktan sonra başarısız olursa, baştan başlamamalı, son kontrol noktasından devam etmelidir.

İzleme Kontrol Paneli

BI kontrol panellerinizden satış hattının durumunu izleyin:

• İşlem hattı başına son başarılı çalıştırma zaman damgası
• Çalıştırma başına işlenen kayıtlar (zaman içindeki eğilim)
• Boru hattı başına hata oranı
• Veri güncelliği (son depo güncellemesinden bu yana geçen süre)
• Teslim edilmeyen mektup kuyruğu derinliği

---

Sıkça Sorulan Sorular

ETL işlem hatlarını şirket içinde mi inşa etmeliyiz yoksa yönetilen bir hizmet mi kullanmalıyız?

Bir ila üç veri kaynağına ve bir geliştirici ekibine sahip orta ölçekli şirketler için şirket içi işlem hatları (Python komut dosyaları + cron) uygun maliyetlidir ve tamamen özelleştirilebilir. Fivetran veya Airbyte gibi yönetilen hizmetler, beş veya daha fazla veri kaynağınız olduğunda, ETL bakımı için geliştirici bant genişliğine sahip olmadığında veya karmaşık API'lere sahip platformlar için önceden oluşturulmuş konektörlere ihtiyaç duyduğunuzda anlamlıdır. Yönetilen hizmetlerin maliyeti, orta pazar hacimleri için ayda 500 ila 2.000 ABD Doları arasındadır; bu, geliştiricinin eşdeğer özel bağlayıcılar oluşturmak ve sürdürmek için gereken süresinden daha azdır.

Odoo veya Shopify'daki şema değişikliklerini nasıl ele alırız?

Son değişiklikler için kaynak sistem sürüm notlarını izleyin. İşlemeden önce yanıt şemasını doğrulamak için çıkarıcılarınızı oluşturun; bir alan eksikse veya yeni bir alan belirirse, çökmek yerine bir uyarı kaydedin. Shopify'ın API'si için sürüm sabitlemeyi kullanın (URL'de API sürümünü belirtin). Odoo için, büyük sürüm yükseltmeleri (örneğin, 17'den 18'e) genellikle alan adlarını ve model yapılarını değiştirir; ERP yükseltme projenizin bir parçası olarak bir işlem hattı güncellemesi planlayın.

Toplu iş yerine gerçek zamanlı ETL'ye ne dersiniz?

Gerçek zamanlı ETL (bazen ELT veya akışlı ETL olarak da adlandırılır), olayları planlanmış gruplar yerine geldikleri anda işler. Bu, gerçek zamanlı kontrol panelleri ve operasyonel uyarılar için uygundur ancak karmaşıklığı artırır. Çoğu orta ölçekli şirket, değerin yüzde 95'ini 15 ila 30 dakikalık parti döngülerinden elde ediyor. Toplu olarak başlayın, belirli yüksek değerli kullanım durumları için gerçek zamanlı ekleyin.

Depo ve kaynak sistemler arasında veri tutarlılığını nasıl sağlarız?

Günlük mutabakat kontrolleri yapın: Depodaki toplu toplamları (örneğin, toplam siparişler, toplam gelir) kaynak sistemin kendi raporlarıyla karşılaştırın. Bir eşiğin üzerindeki tutarsızlıkları işaretleyin (finansal veriler için genellikle yüzde 0,1). Tutarsızlığın yaygın nedenleri arasında saat dilimi farklılıkları, silinen kayıtlar, para birimi dönüştürme yuvarlaması ve çıkarma penceresi sırasında oluşturulan kayıtlar yer alır.

---

Sırada Ne Var

ETL işlem hatları, tüm analiz yığınınızı mümkün kılan tesisattır. Self servis kontrol panellerine, tahmin modellerine ve müşteri segmentasyonuna güç veren veri ambarını beslerler. Güvenilir işlem hatları oluşturmak, BI stratejinizde en yüksek yatırım getirisi sağlayan yatırımlardan biridir.

ECOSIRE, Odoo, Shopify, GoHighLevel ve diğer platformları birleşik bir veri ambarına bağlayan ETL işlem hatları oluşturur. Odoo entegrasyon hizmetlerimiz çıkarma katmanını yönetir, OpenClaw AI platformumuz dönüşüm ve kalite kontrollerini yönetir ve ekibimiz, analiz ihtiyaçlarınıza göre uyarlanmış depo şemasını tasarlar.

İş verilerinizi birleştirmek ve sistemler arası analizlerin kilidini açmak için Bize ulaşın.

---

ECOSIRE tarafından yayınlandı --- işletmelerin Odoo ERP, Shopify eCommerce ve OpenClaw AI genelinde yapay zeka destekli çözümlerle ölçeklenmesine yardımcı oluyor.