Posted on

Microsoft Azure Storage

Merhaba,

Bulut bilişim servis sağlayıcıları, verilerinizi depolayabilmeniz ve uygulamalarnıza depolama alanları tedarik edebilmeniz için ölçeklenebilir,sağlam ve devamlı erişilebilir veri depolama seçenekleri sunar. Microsoft Azure Storage servisi de Azure’un sunduğu ve bu amaçla geliştirilmiş Azure bulut servislerinden biridir. Farklı ölçekteki uygulamalar için depolama alanı sunabildiği gibi sanal sunucularınız için de aynı hizmeti sunar. “Kullandığın kadar öde esasına” göre faturalandırılır.

Azure Storage Account ile Azure Storage servisine erişip, depolama hizmetinden faydalanmaya başlayabilirsiniz. Şimdilik iki farklı azure storage account’u sunulmaktadır.

Standard Storage Account: Table, Blob, Queue ve File Storage tiplerini sunar.

Premium Storage Account: Şimdilik sanal sunucu diskleri için kullanılabilen ve  preview aşamasında olan bir account tipidir. Kısa zamanda genel olarak kullanıma açılacaktır.

Continue reading “Microsoft Azure Storage”

Posted on

AWS Elastic File System

Merhaba,

AWS’nin yeni servislerinden biri olan Amazon Elastic File System(aws efs) aws bulutunda çalıştırılan instance’lar için yeni duyurulmuş(preview aşamasında) depolama servisidir. Çok sayıda EC2 instance’ı için düşük gecikme süreleri ve NFSv4 protokolü ile bir birinden farklı iş yükleri için yüksek sayıda eş zamanlı bağlantıyı destekleyecek şekilde dizayn edilmiştir. AWS bulutunda bu servisin başlıca kullanım alanı; içerik depolama,geliştirme ortamları,web sunucular,big data uygulamaları olarak görünmektedir.

SSD tabanlı EFS servisi, AWS web tabanlı yönetim konsolundan ve/veya AWS cli’ından yönetilebilmektedir. Peta-byte seviyelerine kadar büyüyebilmektedir. Zamanla değişebilme ihtimali olmakla birlikte, aylık olarak “kullandığın kadar öde” esasına göre $0.30 per gigabyte per month şeklinde ücretlendirilmektedir.

Continue reading “AWS Elastic File System”

Posted on

Microsoft Azure HDInsight ile Hadoop Cluster Kurulumu

Merhaba,

Önceki yazımda Hadoop Cluster kurulumu,yönetimi,gözlenmesi gibi süreçleri basitleştirerek yönetmenizi sağlayan Apache Ambari kurulumundan bahsetmiştim. Ambari web ui arabiriminden, node’larınızı ekleyerek Hadoop cluster’ını oluşturabilirsiniz. Azure yönetim konsolundan erişebileceğiniz HDInsight servisi, Hadoop cluster kurulumu için otomatize edilmiş süreçleri ve ortamı sunmaktadır. Hand-on demo’dan önce hadoop’tan biraz bahsedebiliriz.

Hadoop 2011’de duyurulmuş, çok büyük veri kümelerini işlemek için Java(bazı native C komutları ile) dilinde yazılmış açık kaynak kodlu bir “framework” ‘tür. Yüksek işlem gücü için mevcut “computing” donanımlarını kullanması önemli özelliklerinden biridir. Yüksek maliyet ile yüksek “compute” gücü sunan özel donanıma sahip sunucular yerine; “commodity hardware(commodity computing)” bileşenlerini kullanarak düşük maliyet ile yüksek işlem gücü sunar. Hadoop’u temel(core) bileşenleri hadoop distributed file system(storage) ve MapReduce(bilgi işleme) bileşenleridir. Hadoop, dosyaları bloklara böler ve cluster’daki node’lar arasında dağıtır.Verinin parallel olarak işlenmesi için MapRedure bileşeni çalışır.Apache Hadoop framework’ü temel olarak aşağıdaki şu modüllerden oluşur.

Hadoop common(araçlar ve kütüphaneler), HDFS(dosya sistemi), Hadoop Yarn(“computing” kaynakları yönetmek için kaynak yönetiminden sorumlu platform), Hadoop MapReduce( büyük ölçekli verileri işlemek için kullanılan programlama modeli). Hadoop ekosisteminde bu modüllerin dışında; Pig,HBase,Hive,Spark,Oozie vb. modüller mevcuttur.

Continue reading “Microsoft Azure HDInsight ile Hadoop Cluster Kurulumu”

Posted on

Microsoft Azure – Apache Ambari Kurulumu

Merhaba,

Apache Ambari, Hadoop cluster yönetimini, cluster kurulumunu ve cluster’ın gözlemini kolaylaştırmak için geliştirilmiş bir yazılımdır. API’leri ile Hadoop cluster yönetiminde kolaylık ve genel olarak aşağıdaki faydaları sağlar.Hadoop node’larına, Hadoop servislerini kurmak için step-by-step ilerleyebileceğiniz bir sihirbaz sağlar, cluster konfigürasyonunu yönetir. Cluster genelinde Hadoop servislerinin çalıştırılması, durdurulması ve/veya yeniden yapılandırılması için merkezi yönetim sunar. Hadoop cluster’ın sağlık seviyesi ve genel durumu için dashboard sunar. Metrik toplamak için ambari metric system’inin avantajını kullanır. Sistem uyarıları ve bilgilendirmeler için ambari alert framework’ünün avantajını kullanır. Uygulama geliştiriciler için de ambari rest api’leri mevcuttur.

Apache Ambari’nin an itibarıyla güncel sürümü 2.0.1 ‘dir. 64-bit işletim sistemi desteği mevcuttur. Desteklenen işletim sistemleri RHEL 5 ve 6 , CentOS 5 ve 6 , Oracle Linux Enterprise 5 ve 6 , SuSE Linux Enterprise Server 11 , Ubuntu 12 sürümleridir. Kurulum için hands-on demo ’ya geçmeden önce terminolojisinden bahsedeyim.

Service:

Service, Hadoop stack’indeki servisi ifade eder. Pig,HBase,HDFS, service’e örnek olarak gösterilebilir. Service’in birden fazla bileşeni olabilir.Örneğin HDFS servisi; namenode,secondary namenode, datanode vb. bileşenlere sahiptir.

Continue reading “Microsoft Azure – Apache Ambari Kurulumu”