Big Data Sunum.pptx
Transcription
Big Data Sunum.pptx
Büyük veriye genel bakış, mimari ve çözümler Tansel Okay Kurumsal Mimar Gündem Neden “Büyük Veri” ? Farkı nedir ? Nasıl ? – Oracle’ın önerdiği mimari yol haritası nedir ? – Ne sağlıyorsunuz ? Örnek(ler) 2 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Gündem Neden “Büyük Veri” ? Farkı nedir ? Nasıl ? – Oracle’ın önerdiği mimari yol haritası nedir ? – Ne sağlıyorsunuz ? Örnek(ler) 3 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Neden “Büyük Veri” ? Karar Gözlem / Olay 4 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Eylem Neden “Büyük Veri” ? İşlemsel Veri Machina Research / Big Data in M2M Tipping Points and Subnets of Things / Whitepaper 5 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Neden “Büyük Veri” ? B2B İşlemsel Veri Machina Research / Big Data in M2M Tipping Points and Subnets of Things / Whitepaper 6 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Neden “Büyük Veri” ? P2P B2B İşlemsel Veri Machina Research / Big Data in M2M Tipping Points and Subnets of Things / Whitepaper 7 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Neden “Büyük Veri” ? M2M P2P B2B İşlemsel İşlemsel Veri Veri Machina Research / Big Data in M2M Tipping Points and Subnets of Things / Whitepaper 8 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Neden “Büyük Veri” ? İşlemek zorunda kaldığımız verinin ... M2M P2P B2B İşlemsel İşlemsel Veri Veri 9 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Neden “Büyük Veri” ? İşlemek zorunda kaldığımız verinin ... Hacmi... M2M P2P B2B İşlemsel İşlemsel Veri Veri 10 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Neden “Büyük Veri” ? İşlemek zorunda kaldığımız verinin ... Hacmi... M2M P2P B2B İşlemsel İşlemsel Veri Veri Kontrolümüz dışında artan çeşitliliği 11 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Neden “Büyük Veri” ? İşlemek zorunda kaldığımız verinin ... Hacmi... M2M P2P B2B İşlemsel İşlemsel Veri Veri Kontrolümüz dışında artan çeşitliliği Azalan işlem süremiz... 12 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Gündem Neden “Büyük Veri” ? Farkı nedir ? Nasıl ? – Oracle’ın önerdiği mimari yol haritası nedir ? – Ne sağlıyorsunuz ? Örnek(ler) 13 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Farkı Nedir ? 14 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Farkı Nedir ? 15 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Farkı Nedir ? Schema on Read Name Node 16 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Farkı Nedir ? Sharding 17 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Farkı Nedir ? 18 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Gündem Neden “Büyük Veri” ? Farkı nedir ? Nasıl ? – Oracle’ın önerdiği mimari yol haritası nedir ? – Ne sağlıyorsunuz ? Örnek(ler) 19 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Nasıl ? / Mimari yol haritası Mimarinizi Büyük Veriye doğru geliştirmek: Adım 1: Mevcut Verinizi daha iyi analiz edin Adım 2: Veri çeşitliliği ve hacmini yönetin Adım 3: Veri hızını yönetin Adım 4: Veri içindeki yeni örüntüleri (pattern) keşfedin Arttırın 20 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. İş Değeri Adım 0: Temel Veri Ambarı mimarisi • Dashboard • Ad-Hoc Query Oracle Database High Density Data Oracle BI Enterprise Edition Acquire 21 Organize Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Analyze Decide Adım 1: Mevcut Verinizi daha iyi analiz edin • Dashboard • Ad-Hoc Query Oracle Database High Density Data Spatial and Graph Oracle BI Enterprise Edition Advanced Analytics Acquire 22 Organize Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Analyze Decide • Optimisations • Predictive Mnt. Mavi Balina / Düşük yoğunluklu Veri 23 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Adım 2: Veri çeşitliliği ve hacim için mimari Oracle Database High Density Data Low Density variable Data Hadoop Aggregate Pre-Analyze Acquire 24 • Dashboard • Ad-Hoc Query Organize Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Spatial and Graph Oracle BI Enterprise Edition Advanced Analytics Analyze Decide • Optimisations • Predictive Mnt. • Alarm & Performance • M2M telemetry Adım 3: Hız için mimari Oracle Database High Density Data Low Density Batch Data Hadoop Spatial and Graph Aggregate Pre-Analyze Streaming Data Oracle BI Enterprise Edition Advanced Analytics Model Real Time Decisions Event Processing Act Acquire 25 Organize Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Analyze Decide • Dashboard • Ad-Hoc Query • Optimisations • Predictive Mnt. • Alarm & Performance • M2M telemetry • Recommend • Act Adım 4: Yeni enformasyonu keşfedin Endeca Information Discovery Oracle Database High Density Data Low Density Batch Data Hadoop Spatial and Graph Aggregate Pre-Analyze Streaming Data Oracle BI Enterprise Edition Advanced Analytics Model Real Time Decisions Event Processing Act Acquire 26 Organize Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Analyze Decide • Dashboard • Ad-Hoc Query • Optimisations • Predictive Mnt • Alarm & Performance • M2M telemetry • Recommend • Act • Discover Gündem Neden “Büyük Veri” ? Farkı nedir ? Nasıl ? – Oracle’ın önerdiği mimari yol haritası nedir ? – Ne sağlıyorsunuz ? Örnek(ler) 27 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Büyük Veri: Problemden fırsata İş Değeri elde etmek için Büyük Veri’yi kullanın İş Değeri Büyük Veri Platformu → Derin Analitik → Yüksek Çeviklik → Yüksek Ölçeklenme → Gerçek Zamanlı Problemler Yarın → Yüksek Çeşitlilik → Yüksek Hacim → Yüksek Karmaşa → Yüksek Hız Büyük Veri Bugün Zaman 28 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Büyük Veri: Altyapı Gereksinimleri Acquire Organize • Düşük Gecikme • Yüksek işlem sayısı • Esnek veri yapısı • Yüksek işlem • Yerinde Veri hazırlığı • Tüm veri yapıları 29 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8 Analyze • Derin Analitik • Agile/Çevik geliştirme • Yüksek ölçeklenme • Gerçek Zamanlı Yanıt Belirsizliği yönetmek Bir sonraki seçimleri ne olacak ? Yeni hizmetim başarılı olacak mı? Doğru maliyetlendirme yaptım mı? Kaynaklarımı doğru yönetiyor muyum? Acquire Organize Analyze Bla • Veri odaklı • Analitik uygulamalı • Gerçek Zamanlı • Operasyon üzerinde etkili 30 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8 Decide Bölünmüş çözüm alanı Farklı Veri “Low Density” NoSQL DağıGk Dosya Sistemleri İşlem (Key-‐Value) Store’lar “High Density” DBMS (OLTP) Enformasyon Yoğunluğu Acquire 31 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Esnek, Özel, Geliştirici Merkezli MapReduce Çözümleri ETL DBMS (DW) Organize Insert Information Protection Policy Classification from Slide 8 Gelişkin AnaliDk Analyze SQL Güvenilir, Güvenli, Yönetilen Oracle Tasarlanmış Sistem Çözümleri Data Variety 32 Hadoop Big Data Appliance Oracle NoSQL DB “High Density” Oracle Database (OLTP) InformaDon Density Acquire Copyright © 2011, Oracle and/or its affiliates. All rights reserved. OLH Oracle Data Integrator Exadata Organize Insert Information Protection Policy Classification from Slide 8 In-‐DB AnalyDcs “R” Mining Text Graph SpaDal Exaly2cs “Low Density” HDFS Oracle Database Oracle (DW) BI Analyze Big Data Appliance • Hardware: Comparable to an Exadata Storage Expansion Rack • 18 Nodes • 2 CPU’s • 12 x 3TB 3.5” 7200 RPM SAS disks per node • InfiniBand Networking with IB/10 GbE connectivity • Software: – Hadoop Distribution – Oracle NoSQL DB – – – – 33 Oracle Data Integrator (Hadoop capabilities ) Oracle Loader for Hadoop Oracle JRockit Oracle Linux Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8 Oracle Büyük Veri Platformu Stream Acquire Organize / Discover Analyze Visualize / Decide Oracle is the industry leader in database and informa4on management. Oracle provides all the components you need to get real results from your big data ini4a4ves 34 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Gündem Neden “Büyük Veri” ? Farkı nedir ? Nasıl ? – Oracle’ın önerdiği mimari yol haritası nedir ? – Ne sağlıyorsunuz ? Örnek(ler) 35 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Örnek(ler) Elektrik dağıtım şirketi 01010101 01010101 01010101 Ne Topluyorlar Smart Metering –Enerji tüketimini topluyor Nasıl kullanıyorlar Büyük Veri … Daha iyi talep planlaması için Daha iyi pazarlama için Kişilerin kullanım alışkanlıklarına uygun çözümler sunmak için Ev bazında tüketim tahmini yapabilmek Spot marketten alım ihtiyacını düşürebilmek …Demek… Nike Spor işinde mi…yoksa Veri işinde mi ? 38 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.