AWS Storage Gateway

There are lots of documentation(blog posts etc.) about AWS in English that’s why I have been writing in Turkish. I hope this will be informative for Turkish readers.
Regards.

Merhaba,

AWS(amazon web service) Storage Gateway, şirketin veri merkezini veya bilişim altyapısını AWS’nin bulut tabanlı depolama ortamı ile entegre eden bir servistir. Bu servis ile şirket bilişim altyapınızda veya şirket veri merkezinde çalışan uygulamalarınızın depolama ihtiyacını, Amazon S3 veya Glacier üzerinden sağlayabilirsiniz. Servis, sıkça erişilen veriyi şirket tarafında saklarken, diğer veriyi Amazon üzerinde depolar. Servisin bu çalışma şekli farklılaştırılabiliyor. Aşağıda bahsedeceğim.

Bu servisten aşağıdaki biçimlerde faydalanabilirsiniz:

Gateway Cache Volume: Veriyi Amazon S3 üzerinde depolar, sık erişilen veriyi lokal ortamınızda tutar. Sık erişilen veri lokal ortamda depolanacağı için düşük gecikme süresi ile erişilir.

Gateway Stored Volume: Verinizi, düşük gecikme süresi ile erişilmesi için lokal sisteminizde tutarak belirli aralıklarda asenkron şekilde Amazon S3’e yedekler. Lokal sisteminiz dışınada bir ortama(off-site) yedek almanızı sağlar. Disaster recovery senaryoları için uygun bir seçimdir.

Gateway Virtual Tape Library: Şirketinizdeki yedekleme sisteminin Amazon S3 veya Amazon Glacier’e yedek alabilmesini sağlayan seçenektir. Desteklenen yedekleme sistemlerini incelemek isterseniz, kaynaklar kısmında paylaştığım adreslere göz atabilirsiniz.

Farklı ihtiyaçlar için farklı seçenekler sunulmuş. Bu servisin faydaları(göreceli olmakla birlikte):

– Veriniz AWS sistemine SSL bağlantısı ile aktarılır. Aktarılan veri Amazon S3 veya Glacier üzerinde AES 256 bit standardı ile şifrelenerek korunur. AWS ile on-premises arasında AWS Direct Connect hizmetini de kullanabilirsiniz.

– AWS bulut ortamına aktarılan veri, AWS ‘nin yapısı gereği, farklı fiziksel depolama alanlarına replicate edileceği için “redundancy” sağlanmış olur.

– Storage Gateway servisi, lokal ortamınızda çalışan uygulamalarınızın kullanımı için endüstri standardı iSCSI disk arabirimi veya iSCSI VTL arabirimi sunar. Uygulama sunucularınızın veya diğer sunucularınızın lokal ortamınızda çalışan uygulamalara bağlanabilmesi için depolama mimarinizde major bir değişiklik veya yeni mimari tasarım yapmak zorunda kalmazsınız(şirketten şirkete farklılaşabilir).

– Kullandığınız kadar ödeme seçeği bilindiği üzere her bulut tedarikçisinde olduğu gibi AWS’de de mevcut.

– Genel kullanımı

o Backup

o Disaster Recovery

o Kurumsal dosya paylaşımı

o Bulut tabanlı sistemleriniz için verinin “mirror” ‘lanması

o Arşivleme ve uzun zamanlı yedekleme için manyetik donanım yerine Gateway VTL

Yazıma giriş kısmını tamamlamış oldum 🙂 Artık yapılandırma kısmına geçeyim. AWS web konsolundan storage gateway alanına geçiyoruz.

Bu alana geçiş yaptığınızda, servisten faydalanmak için yapmanız gereken adımlar ile karşılaşıyorsunuz.

Üstteki adımlara geçmeden önce bu servisin mimarisinden kısaca bahsedeyim. Lokal sisteminize kuracağınız bir virtual appliance’ı kullanıyorsunuz. AWS ile lokal sisteminiz(on-premises) arasındaki bağlantıyı, lokal sisteminize kuracağınız bir sanal sunucu sağlıyor. Sanal sunucuyu Storage Gateway virtual appliance’ı olarak düşünebilirsiniz. Buna benzer bir hizmet Microsoft Azure’da da mevcut. İsmi StorSimple. Azure’daki hizmette, lokal sisteminize özel bir donanım konumlandırmanız gerekiyor. Microsoft ile şirketiniz arasında anlaşmalara bağlı olarak bu özel donanıma ek ücret ödemeden sahip olabiliyorsunuz. Sanal sunucu şeklinde dağıtımı yok(şimdilik). AWS storage gateway hizmeti içinde özel bir donanım yok(şimdilik). İçerik aynı olmakla birlikte sunuş şekilleri, AWS ile Azure arasında, biraz farklı 🙂

Bunun dışında AWS’de S3 ve Glacier farklı tür depolama alanları sunduğu için maliyet optimizasyonu yapabilirsiniz. Arşivlemek veya yedeklemek istediğiniz verinizi AWS S3’te tutmak yerine AWS Glacier üzerine aktarabilirsiniz(low-cost). Microsoft Azure tarafında bu tür bir ayrım göremedim. Microsoft tarafındaki bir yetkiliye sormanızda fayda var.

AWS Storage Gateway yapılandırması için AWS web konsolundan Set up and Activate New Gateway butonu ile işleme başlıyoruz.

Test ortamımda ilk seçenek ile ilerliyorum.Sonraki ekranda gereken donanım ihtiyacından bahsediliyor. Detaylar için yazımın sonundaki kaynaklar kısmına bakabilirsiniz.

AWS Storage Gateway sanal sunucusunu çalıştıracağınız hypervisor’ü seçerek devam ediyoruz. Bir sonraki ekranda Download butonu mevcut. Test ortamımda Windows 8.1 üzerindeki Hyper-v servisini kullandığım için Storage Gateway’in hyper-v sürümünü download ettim.

Sanal sunucuyu hyper-v servisine ekledim. Disklerden ilki, download edilen dosyalar içinden çıkacak. Üçüncü ve ikinci diski tasarımınıza uygun olarak siz ekleyiniz. Test amaçlı olarak iki adet 80 GB disk ekledim.Cache ve buffer için ilave disk eklemeniz gerekiyor, ilerleyen kısımlarda tekrar bahsedeceğim.

Sanal sunucuyu çalıştırdığınızda, önceden hazırlanmış olan bir linux(centos 5.3) işletim sistemi ve içinde kurulmuş olan AWS yazılımı açılıyor. Varsayılan detaylar üstteki gibi. Üstte belirtilen username ve password ile sisteme giriş yaparak TCP/IP ve Time(ntp) ayarlarını yapmanız gerekiyor!

İşlem bittikten sonra yaptığınız ayarları test edebilirsiniz. Testin başarı durumu aşağıdaki ekran görüntüsüne benzeyecektir.

AWS’deki region’a bağlı ve SG’nin o anki durumuna bağlı olarak farklı test adımları veya lokasyonlar olabilir. Üstte görülen bilgiler de zaman içinde değişebilir. Bu testin amacı, sanal storage gateway sunucunuz ile AWS bulut sisteminin iletişimini test etmektir.

Bu aşamadan sonra tekrar AWS web konsoluna geçerek kaldığınız yerden devam ediyoruz. Sanal sunucunun yapılandırmasının bulut tarafı, AWS konsolundan kaldığımız yerden devam ederek yapılıyor.

Sanal sunucuza buffer için eklemeniz gereken diskten bahsediyor. Önceki kısımlarda 80 GB ‘lik disk eklemiş olduğumdan bahsetmiştim.

Ekrandaki detayları okuyabilirsiniz. Calculator kısmında hesaplama yapabilirsiniz. Devam ediyoruz.

Üstteki resimde gösterilen kısma, sanal sunucunuza atadığınız IP adresini yazıyorsunuz. Proceed to Activation butonu ile devam ediyoruz. AWS konsolundan sanal sunucunuzun IP adresine (erişim URL ’ine) yönlendiriliyorsunuz, aktivasyon otomatik olarak yapılıyor ve yine AWS konsoluna yönlendiriliyorsunuz. İşlem tamamlandı.

Gateway’iniz üstteki şekilde AWS konsolunda yerine alıyor. Volume,Gateway ve görünen diğer kısımlardan gereken ayarları yapabilirsiniz.Test amaçlı 30 GB’lık bir volume açmıştım.

Volume oluştururken iSCSI yapılandırması da tamamlandığından, lokal sisteminizdeki sunucularda kullanacağınız iscsi detayları da belirlenmiş oluyor.

Windows Server 2012 R2 sunucumu, AWS konsolundan oluşturduğum iscsi target’a bağlamıştım. Görünüm üstteki gibidir.

Gateway tab’ından, yapılan upload’lar hakkında bilgi alabilirsiniz. AWS’ye yapacağınız upload’u ve AWS’den yapacağınız download’u limitleyebilirsiniz.

Üst kısımlarda sanal sunucuma iki adet 80 GB disk eklediğimi yazmıştım. Sanal sunucuya eklenen disklerin kullanılması ve yapılandırması için üstteki resimde görülen configure local storage butonunu kullanıyorsunuz.Sanal sunucunun disk layout’unun konfigürasyonu AWS web konsolu üzerinden yapılıyor.

Daha önce eklediğim 80’er GB’lık iki diski cache ve buffer olarak yapılandırmıştım. Ekran görüntüsü almak için sanal sunucuma yeni bir disk ekledim. Cache ve Buffer için en az iki disk kullandıktan sonra, yeni disklerinizi(gerekiyorsa) ekleyerek buradan yapılandırabilirsiniz.

Buffer diski, verinizin AWS’ye gönderilmesi fazında kullanılıyor.

Cache diski, sık erişilen verinin depolanması fazında kullanılıyor.

AWS’nin bu servisinden faydalanmak için yapmanız gerekenleri genel olarak yazayım

– Ücretini ödemek 🙂

– Storage gateway sanal sunucu için lokal sisteminizde, gereksinimlere uygun ortamı sağlamak

– Lokal sisteminiz ile AWS arasında, veri transferi için kullanacağınız internet hattını tedarik etmek.Internet hattının maliyeti ile AWS storage gateway servisinin maliyeti birbirinden farklıdır!

– Lokal sisteminizdeki sunucuları(Uygulama, dosya sunucusu gibi) iSCSI ile Storage Gateway sanal sunucunuza bağlamak.

– AWS tarafına yedek almak/geri dönmek için desteklenen yedekleme yazılımlarından birine sahip olmak.

– AWS’ye gönderilen veriniz için snapshot vs süreçleri planlamak

Servisin gözlenmesi için bir diğer AWS servisi olan CloudWatch’u kullanabilirsiniz.

CloudWatch, AWS storage gateway servisi hakkında gözlem metriklerini sunuyor.Örnek ekran görüntüsü üstteki gibidir. AWS storage gateway için yapılmış iki çalışmayı(Glympse ve NEWLOG Consulting) kaynaklar kısmına ekledim.

Özet:

AWS aboneleri için on-premise(lokal sisteminiz) ile bulut sistemi arasında depolama perspektifinden bir köprü kurmak isterseniz, AWS storage gateway servisi çözüm olacaktır. Microsoft Azure aboneleri için de benzer şekilde StorSimple bir çözüm olacaktır.

Herkese sorunsuz ve neşeli günleri dilerim.

Kaynaklar:

http://docs.aws.amazon.com/storagegateway/latest/userguide/WhatIsStorageGateway.html

http://docs.aws.amazon.com/storagegateway/latest/userguide/Requirements.html

http://azure.microsoft.com/en-us/pricing/details/storsimple/

http://www.xyratex.com/

http://storsimple.seagate.com/Specifications-8000

http://storsimple.seagate.com/sites/dealr/files/Xyratex_Price_List.pdf

http://www.microsoft.com/en-us/server-cloud/products/storsimple/Features.aspx

http://www.microsoft.com/en-us/server-cloud/products/storsimple/

http://docs.aws.amazon.com/storagegateway/latest/userguide/ApplicationStorageVolumesCached.html

http://docs.aws.amazon.com/storagegateway/latest/userguide/StorageVolumeStatuses.html