Microsoft Azure HDInsight ile Hadoop Cluster Kurulumu

Merhaba,

Önceki yazımda Hadoop Cluster kurulumu,yönetimi,gözlenmesi gibi süreçleri basitleştirerek yönetmenizi sağlayan Apache Ambari kurulumundan bahsetmiştim. Ambari web ui arabiriminden, node’larınızı ekleyerek Hadoop cluster’ını oluşturabilirsiniz. Azure yönetim konsolundan erişebileceğiniz HDInsight servisi, Hadoop cluster kurulumu için otomatize edilmiş süreçleri ve ortamı sunmaktadır. Hand-on demo’dan önce hadoop’tan biraz bahsedebiliriz.

Hadoop 2011’de duyurulmuş, çok büyük veri kümelerini işlemek için Java(bazı native C komutları ile) dilinde yazılmış açık kaynak kodlu bir “framework” ‘tür. Yüksek işlem gücü için mevcut “computing” donanımlarını kullanması önemli özelliklerinden biridir. Yüksek maliyet ile yüksek “compute” gücü sunan özel donanıma sahip sunucular yerine; “commodity hardware(commodity computing)” bileşenlerini kullanarak düşük maliyet ile yüksek işlem gücü sunar. Hadoop’u temel(core) bileşenleri hadoop distributed file system(storage) ve MapReduce(bilgi işleme) bileşenleridir. Hadoop, dosyaları bloklara böler ve cluster’daki node’lar arasında dağıtır.Verinin parallel olarak işlenmesi için MapRedure bileşeni çalışır.Apache Hadoop framework’ü temel olarak aşağıdaki şu modüllerden oluşur.

Hadoop common(araçlar ve kütüphaneler), HDFS(dosya sistemi), Hadoop Yarn(“computing” kaynakları yönetmek için kaynak yönetiminden sorumlu platform), Hadoop MapReduce( büyük ölçekli verileri işlemek için kullanılan programlama modeli). Hadoop ekosisteminde bu modüllerin dışında; Pig,HBase,Hive,Spark,Oozie vb. modüller mevcuttur.

Continue reading Microsoft Azure HDInsight ile Hadoop Cluster Kurulumu

Microsoft Azure – Apache Ambari Kurulumu

Merhaba,

Apache Ambari, Hadoop cluster yönetimini, cluster kurulumunu ve cluster’ın gözlemini kolaylaştırmak için geliştirilmiş bir yazılımdır. API’leri ile Hadoop cluster yönetiminde kolaylık ve genel olarak aşağıdaki faydaları sağlar.Hadoop node’larına, Hadoop servislerini kurmak için step-by-step ilerleyebileceğiniz bir sihirbaz sağlar, cluster konfigürasyonunu yönetir. Cluster genelinde Hadoop servislerinin çalıştırılması, durdurulması ve/veya yeniden yapılandırılması için merkezi yönetim sunar. Hadoop cluster’ın sağlık seviyesi ve genel durumu için dashboard sunar. Metrik toplamak için ambari metric system’inin avantajını kullanır. Sistem uyarıları ve bilgilendirmeler için ambari alert framework’ünün avantajını kullanır. Uygulama geliştiriciler için de ambari rest api’leri mevcuttur.

Apache Ambari’nin an itibarıyla güncel sürümü 2.0.1 ‘dir. 64-bit işletim sistemi desteği mevcuttur. Desteklenen işletim sistemleri RHEL 5 ve 6 , CentOS 5 ve 6 , Oracle Linux Enterprise 5 ve 6 , SuSE Linux Enterprise Server 11 , Ubuntu 12 sürümleridir. Kurulum için hands-on demo ’ya geçmeden önce terminolojisinden bahsedeyim.

Service:

Service, Hadoop stack’indeki servisi ifade eder. Pig,HBase,HDFS, service’e örnek olarak gösterilebilir. Service’in birden fazla bileşeni olabilir.Örneğin HDFS servisi; namenode,secondary namenode, datanode vb. bileşenlere sahiptir.

Continue reading Microsoft Azure – Apache Ambari Kurulumu

AWS Marketplace

Merhaba,

Bulut servis sağlayıcılarını incelerken veya bulut servislerini kullanırken genelde web tabanlı yönetim konsollarında yapılan işlemleri incelemekle yetiniyoruz. Detaya girenler API desteğini, Shell desteğini, komut istemi ile yönetimini, SDK desteğini inceliyorlar. Tabii ki saydıklarım çok önemli detaylardır. Bu detayları göz önüne aldıktan sonra, gezinip fikir edinebileceğiniz bir başka ortam ise Marketplace ‘tir :)

İsminden de anlaşıldığı üzere market, hizmetlerin(servislerin) paketlenmiş olarak sunulduğu bir ortamdır. Marketteki hizmeti seçerek kurulum sürecini hızlıca tamamlayabilirsiniz. Böylelikle çoğu yapılandırma otomatik olarak tamamlanmış olur(Ör: WordPress , Checkpoint, Fortigate kurulumu gibi). Bulut servis sağlayıcısı olarak AWS de oldukça gelişmiş bir markete sahiptir. AWS marketine AWS yönetim konsolundan yönlenerek erişebilirsiniz veya https://aws.amazon.com/marketplace adresinden doğrudan erişebilirsiniz.

AWS marketin ana sayfasında sol kısımda kategoriler görünmektedir. Kategoriler; Destop Apps, Software Infrastructure, Developer Tools, Business Software ana kategorileri altında alt başlıklara ayrılmıştır. Kategorilere ait farklı bir görünüm aşağıdaki gibidir. Arama kutucuğunu kullanarak istediğiniz ürünlerin AWS ’de servis olarak sunulup sunulmadığına bakabilirsiniz.

Continue reading AWS Marketplace

Microsoft Azure Marketplace

Merhaba,

Bulut service sağlayıcılarını incelerken veya kullanırken genelde web tabanlı yönetim konsollarından yapılan işlemler ile yetiniyoruz. Biraz daha detaya girenler API desteğini, Shell desteğini, komut istemi ile yönetimini, SDK desteğini inceliyorlar. Tabii ki saydıklarım çok önemli detaylardır. Bu detayları göz önüne aldıktan sonra, gezinip fikir edinebileceğiniz bir başka ortam da Marketplace ‘tir :)

İsminden de anlaşıldığı üzere market, hizmetlerin(servislerin) paketlenmiş olarak sunulduğu bir ortamdır. Marketteki hizmeti seçerek kurulum sürecini hızlıca tamamlayabilirsiniz. Böylelikle çoğu yapılandırma otomatik olarak tamamlanmış olur. Bulut servis sağlayıcısı olarak Microsoft Azure da bir markete sahiptir ve gözlediğim kadarı ile günden güne gelişmektedir.

Continue reading Microsoft Azure Marketplace

Microsoft Azure – VMAgent ve Yeni Portal ile yönetimsel işlemler

Merhaba,

Azure bulut servisi üzerinde oluşturduğunuz sanal sunuculara vmagent isminde bir bileşen kurulmaktadır. Sanal sunucuları “quick create” menüsünden oluşturursanız vmagent’ın seçimi yapılmadan otomatik olarak kurulur. “Custom” kurulum seçeneği ile sanal sunucu oluşturursanız vmagent kurulumu “bir seçenek” olarak görülebilir.

clip_image002

“Custom” kurulum için galeriden bir sanal sunucu seçtiğinizde, vmagent seçim menüsü aşağıdaki gibi görülebilmektedir.

Continue reading Microsoft Azure – VMAgent ve Yeni Portal ile yönetimsel işlemler

Cloud & Security