Proje İçeriği

Yapısal ve yapısal olmayan verilerin büyük veri ortamında arşivlenmesi ve tek bir kanaldan erişilmesini sağlayan bir ürün oluşturulmuştur. Böylece tüm arşivleme sistemi tek bir noktada birleştirilmiştir. Yapısal ve yapısal olmayan banka verileri, sosyal medya verileri büyük veri ortamına bir uygulama aracılığı ile aktarılmaktadır. Kullanıcılar büyük veri ortamını hiç bilmeden uygulama üzerinden arşivleme taleplerini ve yapabilmektedirler. Arşivlenen yapısal verilere standart sorgulama diliyle erişilebilmektedir. Yasal saklama süresi dolan veriler otomatik olarak büyük veri ortamında imha edilebilmektedir. Verilerin büyük veri ortamında arşivlenmesi ile daha az maliyetli ve daha performanslı Hadoop tabanlı büyük veri platformu kullanılmaya başlanmıştır.

Projenin Amacı

Kurumun veri saklama maliyetlerini düşürmek, tüm arşivleme sistemlerini tek bir noktada birleştirmek ve sistemlerin performansı arttırmak için bu proje yapılmıştır.

Proje içindeki en büyük inovasyon nedir? (yeni bir teknoloji veya var olan teknolojinin farklı kullanımı gibi. IOT, M2M, AI vb.)

Yapısal ve yapısal olmayan banka verileri, sosyal medya verileri büyük veri ortamına bir uygulama aracılığı performanslı ve hızlı bir şekilde aktarılmaktadır. Kullanıcılar büyük veri ortamını hiç bilmeden uygulama üzerinden arşivleme taleplerini yapabilmektedirler. Yazılan ara yüz üzerinden veri tabanı verileri için standart sorgulama dili ile sorgulama yapabilmektedirler. Aynı zamanda büyük veri ortamında arşivlenen yapısal olmayan veriler üzerinde de arama yapabilmektedirler. Bu yeni yapı kaynak sistemlerdeki yükün azalmasına ve son kullanıcıların daha performanslı bir ortamda işlemlerini yapmalarına olanak sağladı. Aynı zamanda bu proje ile kurumumuzun büyük veri ortamının alt yapısını kuruldu. Bundan sonra yapılabilecek büyük veri tabanlı büyük veri analitik ve makine öğrenmesi projeleri için ortam hazırlanılmış oldu.

Proje kurum içindeki hangi bölüme fayda sağlamıştır?(satış, pazarlama, finans, İK, IT, Üretim, Planlama, Satın alma, Lojistik Müşteri İlişkileri gibi)

Proje sayesinde veri saklama maliyetleri düşürülmüştür. Piyasadaki muadil ürünlerin fiyatlarının yüksek olması ve ihtiyaçları tam olarak karşılamaması, yerel destek alınmasında sorunlar yaşanması sebebi ile iç kaynak kullanılarak ürünün geliştirilmesi sağlanmıştır. Bu proje ile altyapı, lisans, sunucu ve bakım maliyetleri azaltılmıştır.

Projenin hayata geçirilmesi konusunda üst yönetimin desteğini tam olarak alabildiniz mi?

Üst yönetimimizin projemize destekleri sayesinde bu proje tamamlanmış ve projenin devamında büyük veri ortamının kullanılmasını sağlayacak yeni bir büyük veri analitik projesine başlanmıştır.

Proje sonunda ortaya çıkan sonuçları analiz edebildiniz mi? Rakamsal verilerle ifade eder misiniz?(ROI, maliyetlerde yüzdesel azalma, üretim süresinde azalma, hata payının düşmesi vs.)

ETL süreçleri ile günlerce uğraşılarak başka bir ortama aktarılabilecek veriler uygulamamız üzerinden dakikalar içerisinde çok rahatlıkla aktarılabilmektedir. Uygulamanın arka planda çalıştırdığı Sqoop jobları makinenin cpu'su kadar thread açabilmekte ve bu da çok hızlı bir şekilde milyarlarca kayıtlık dataların büyük veri ortamına aktarılmasına olanak sağlamaktadır. Yapısal olmayan veriler de sftp ve ftp üzerinden çok hızlı bir şekilde büyük veri ortamına aktarılmaktadır. Proje kapsamında veriler SSD disklerden büyük veri ortamındaki SATA disklere aktarılarak arşivlenmiştir. Hdfs'in kendi içerisindeki yedekleme yapısı SATA diskler ile uyumlu çalışmaktadır. Bu da storage maliyetlerimizi azaltmıştır.

Projenizde şirket içinden kaç kişi aktif olarak görev almıştır? Ekip birimleri hakkında kısaca bilgi verir misiniz?

Projemizde 5 kişi aktif olarak çalıştı. Kurumsal Mimari müdürlüğümüzdeki büyük veri developerları ile .Net Core ve Angular bilen yazılımcılar projemizde aktif olarak görevler aldı. .Net Core ve Angular yazılımcıları uygulamanın ara yüzünü geliştirirken, büyük veri developer'ları büyük veri ortamının kurulması ve büyük veri ortamındaki gerekli geliştirmelerin yapılması kısımlarında çalışmalar gerçekleştirdi.

Projenizde (varsa)işbirliği kurduğunuz veya destek aldığınız bilişim şirketlerini belirtiniz.

Komtaş ve İstanbul Data Science Academy'den büyük veri eğitimleri alındı.

Proje sırasında kullandığınız ve spesifik önemi olan markaları (varsa) belirtiniz. (Yazılım veya donanım markaları)

.Net Core ve Angular - Microsoft Hortonworks Data Platform ve Hortonworks Data Flow