Yonghwan's Blog

"조금 복잡해 보인다"는 알량한 이유로 시험을 위해 설치만 한 후 방치해버린 서버 가상화/클라우드 컴퓨팅 솔루션이 하나 있는데, 그 "알량한 이유"가 합당치 않으므로... 다시 기억을 되새긴다. 물건일 것 같다. 언제든 꼭 확인하라.

OpenNebula is an open and flexible tool that fits into existing data center environments to build any type of Cloud deployment. OpenNebula can be primarily used as a virtualization tool to manage your virtual infrastructure in the data-center or cluster, which is usually referred as Private Cloud. OpenNebula supports Hybrid Cloud to combine local infrastructure with public cloud-based infrastructure, enabling highly scalable hosting environments. OpenNebula also supports Public Clouds by providing Cloud interfaces to expose its functionality for virtual machine, storage and network management.

Eucalyptus에 관한 이야기 몇 개 더.

Eucalyptus enables the creation of Private Clouds that can interface with Amazon Web Services API, which they view as the de-facto standard. The Enterprise edition, first released in September 2009, is fully compatible with Amazon EC2 and S3, whereas the open-source version supports almost all functions of EC2 and a limited set of S3. Enterprises can create hybrid Clouds with data and virtual machine images that can be seamlessly accessed from Eucalyptus clouds and Amazon's Elastic Compute Cloud and Simple Storage Service.

As I'm sure you've heard by now, Nebula's Infrastructure-as-a-Service layer is powered in major part by Eucalyptus, an open-source software system for managing cloud systems that came out of UC Santa Barbara. The key selling point of Eucalyptus is that it provides API compatibility with Amazon's EC2 web service. This means that creating and managing virtual machines in Nebula will be as easy as using Amazon EC2.

알려진 바와 같이, 우분투 리눅스의 새 버전인 9.10 Karmic Koala는 오픈소스 클라우드 컴퓨팅 플랫폼인 Eucalyptus를 포함하고 있다. 캐노니컬의 진로를 보여주는 예이자, 오픈소스 기반 클라우드 컴퓨팅 사례의 적절한 형태 중 하나. 유칼립투스는 제공하는 기능의 제한으로 인하여 사용을 보류하고 있지만, 분명 의미있는 솔루션 중 하나. 지켜볼 것.

The latest version of Ubuntu Server (9.10) includes the Ubuntu Enterprise Cloud (UEC), which is actually powered by Eucalyptus. The ability to deploy a “cloud” on any server running Ubuntu is really quite amazing, especially given the compatibility of Eucalyptus with Amazon and the plethora of application images available for nearly immediate deployment. It supports both a public and private option, and a hybrid model, and comes replete with management tools designed to make building, deploying, and managing your own personal, private cloud a breeze.

Koalas love eucalyptus, they spend three hours a day munching away on the sturdy plant. Likewise, Ubuntu 9.10 Karmic Koala loves Eucalyptus, the Open Source system for implementing on-premise private and hybrid clouds using the hardware and software infrastructure that is in place, without modification. This allows you to run your own private cloud on your own hardware and infrastructure. Sound interesting? It really is, and this a rocking new feature in the new Ubuntu Server edition.

EC2, S3 등을 시작으로 계속해서 새로운 서비스를 발표하면서 클라우드 컴퓨팅 산업을 선도해오고 있는 Amazon이 이번엔 Relational Database 를 역시 "서비스로써" 선보였다. 깜짝 깜짝... 재미있고, 은근히 시샘도 나고... 그렇다.

Amazon Relational Database Service (Amazon RDS)

Amazon Relational Database Service (Amazon RDS) is a web service that makes it easy to set up, operate, and scale a relational database in the cloud. It provides cost-efficient and resizable capacity while managing time-consuming database administration tasks, freeing you up to focus on your applications and business.

Amazon RDS gives you access to the full capabilities of a familiar MySQL database. This means the code, applications, and tools you already use today with your existing MySQL databases work seamlessly with Amazon RDS. Amazon RDS automatically patches the database software and backs up your database, storing the backups for a user-defined retention period. You also benefit from the flexibility of being able to scale the compute resources or storage capacity associated with your relational database instance via a single API call. As with all Amazon Web Services, there are no up-front investments required, and you pay only for the resources you use.

Introducing Amazon RDS - The Amazon Relational Database Service

We are always looking for ways to make it faster, simpler, and more fun to develop applications of all types. Every hour that you don't spend fiddling with hardware, tracing cables, installing operating systems or managing databases is an hour that you can spend on the unique and value-added aspects of your application.

Amazon Relational Database Service is a web service that makes it easy to set up, operate, and scale a relational database in the cloud. It provides cost-efficient and resizable capacity, while managing time-consuming database administration tasks, freeing you up to focus on your applications and business. Amazon RDS gives you access to the full capabilities of a familiar MySQL database. This means the code, applications, and tools you already use today with your existing MySQL databases work seamlessly with Amazon RDS. Amazon RDS automatically patches the database software and backs up your database, storing the backups for a user-defined retention period. You also benefit from the flexibility of being able to scale the compute resources or storage capacity associated with your relational database instance via a single API call. As with all Amazon Web Services, there are no up-front investments required, and you pay only for the resources you use. Please see the Amazon RDS detail page for more information on this exciting new service.

Ruby on Rails 개발자를 겨냥한 상용 PaaS(Platform as a Service) 서비스이다. 대충 봐도 멋지네! 다음에 찬찬히 들여다보자.

Heroku is a platform for instant deployment of Ruby/Rails web apps.

Heroku is a completely novel approach to deploying web applications. Forget about servers; the fundamental unit is the app. Use the Heroku client gem to create and manage apps from the command line. Then deploy your code with Git, and control the running app with the remote Ruby console and rake commands.

이것은 산뜻한 디자인의 Web UI가 돋보이는 오픈소스 가상화/클라우드 컴퓨팅 플렛폼이다. 상용 서포트 회사도 있고... Lab에서 얼마간 시험을 해봤는데, 단일 머신 환경이라서 썩 재미있는 실험을 하지는 못했다. 어쨌든 괜찮았던 기억.

Enomaly's Elastic Computing Platform (ECP) is the answer for service providers and enterprises that want to benefit from the power, flexibility, and compelling economics of cloud computing.

Enomaly's Elastic Computing Platform (ECP) is a programmable virtual cloud infrastructure for small, medium and large businesses. ECP can help you design, deploy and manage virtual applications in the cloud and in the process significantly reduce administrative and systems workload. Our browser-based dashboard enables IT personnel to simply and efficiently plan deployments, automate VM scaling and load-balancing, and analyze, configure and optimize cloud capacity in an easy to use utility. We've designed the ECP platform to work alongside your current virtual data center, providing additional value and cost saving.

가상화/클라우드 컴퓨팅 프로젝트 중에서 근래에 가장 관심이 가는 곳이 바로 오픈소스 클라우드 컴퓨팅 플렛폼인 Eucalyptus이다. 대학 연구에서 시작하여 회사 설립까지 이어진 케이스 중 하나인가 보다. 특히, Canonical이 Ununbu의 표준 클라우드 플랫폼으로 점찍기까지 한... 그래서 한 번 더 처다보게 되는 그런 프로젝트다.

한 번 설치해봤다. 그런데 "그 다음은 뭐야?" 이런 느낌? 왜냐하면 그 흔한 Web UI가 없기 때문. AWS의 EC2 호환이라는 점에서도 "그럴만두하나" 케이스이긴 한데... 어쨌든 그렇다. (심지어는 Eucalyptus에서 운영하는 체험 사이트에서도... 별로 체험할 것이 없다는... (아... 사실 문서만 조금 더 읽고 조금만 노력하면 뭔가 쉽게 해볼 수도 있는 구조인데 어쩜 이렇게 게으른가!)

Eucalyptus is an open-source system for implementing on-premise private and hybrid clouds using the hardware and software infrastructure that is in place, without modification.

Eucalyptus adds capabilities such as end-user customization, self-service provisioning, and legacy application support to data center virtualization features, making IT customer service easier, more fully featured, and less expensive.

Eucalyptus - Elastic Utility Computing Architecture Linking Your Programs To Useful Systems - is an open-source software infrastructure for implementing "cloud computing" on clusters. The current interface to Eucalyptus is compatible with Amazon's EC2, S3, and EBS interfaces, but the infrastructure is designed to support multiple client-side interfaces. Eucalyptus is implemented using commonly available Linux tools and basic Web-service technologies making it easy to install and maintain.

지난 버전에서도 관련된 지원이 있었지만, 이번엔 아주 적극적인 모습이다. Ubuntu Linux의 새 버전인 9.10에는 Eucalyptus 기반의 Cloud Computing 지원이 포함되었을 뿐만 아니라 아예 Cloud Computing을 위한 설치모드를 지원한다. (다른 일정에 밀려 다음 주 초 정도에 시험이 가능할 것 같다.)

어쨌든, Canonical/Ubuntu의 클라우드 컴퓨팅 전략은 남다른 면이 있다. 이미 올 해 초에 Landscape라는 이름의 SaaS 형태의 시스템 관리 서비스를 내놓았고, 그리고 얼마 전에는 Ubuntu One이라는 이름의 스토리지 서비스를 내놓았다. OS 제품을 전문으로 하는 기업이면서 그것과 잘 어울리는 형태로 클라우드 컴퓨팅을 접목, 확대하고 있는 모습이... 참 현실적이면서 좋아보인다.

Ubuntu Home Page | Ubuntu

# Set up an EC2-based private cloud in less than 60 minutes
# The only server OS with a built-in open source cloud

내가 어디로부터 왔는지 알고(너무 쉽지 않은가?) 그에 걸맞는 메시지 표시. 이게 참... 웃기는 것이, 아주 작은 노력일 뿐인데 느낌의 차이는 큰, 그런 것이 있다는 것이지...

참고로, 찾던 내용은 아마존의 RDS, "관계형 데이터베이스 서비스"에 대한 것이었다. 환장하겠다.

얼마 전부터 작은 오픈소스 프로젝트를 하나 (업무로써) 진행하고 있는데^[각주:1], 공부도 할 겸, 프로젝트의 웹 부분을 Django 프레임웍을 사용하여 작성하고 있다. django는 뭐랄까... 아쉽게도 ruby on rails를 처음 접했을 때 만큼의 감동은 없는데, 나름대로 단순한 면도 있고 쓸만 하다는 느낌이다. (MVC 관점이 좀 애매하기는 하다.)

그러던 어느 날, 문제가 생겼다! 그것도 하필 중간 점검을 코앞에 두고 말이다.^[각주:2] (항상 "밀려 하는 숙제" 스타일이 문제다.) 잘 동작할 것으로 예상했던 부분이 안돌아 가는데, 곰곰히 생각해보니... nested request! 이것이 문제였다. 문제의 부분은 사용자-시스템 간의 요청 처리 내부에 시스템-시스템 간의 요청이 하나의 단계로써 포함되어 있었던 것이다. 다시 말해서, 사용자의 요청(ㄱ)을 완료하기 위해서는 내부적으로 또 하나의 웹 요청(ㄴ)이 발생하게 되는데, 그것(ㄴ)이 처리 지연에 빠지는 현상이 발생했다. 처리 지연에 빠지는 이유는 바로 앞 선 요청(ㄱ)에 의하여, 이 요청의 수행이 끝날 때 까지 웹서버의 동작이 Blocking 되어 있었던 것. 데드락이다. (ㄱ)은  (ㄴ)의 수행이 필요한데 (ㄴ)이 수행되기 위해서는 (ㄱ)이 먼저 끝나줘야 하는 것. ... 지금껏 잘 사용해오던 django의 내장 (test용) 서버가 다중 요청을 지원하지 않는 것이다. (이 부분은 좀 더 확인이 필요하다.)

사실, 처음부터 내 잘못이다. django의 문서를 보면 명시적으로, "이 기능은 실무 환경을 위한 것이 아니에요. 우린 웹 개발 프레임웍을 만드는 중이지 웹서버는 관심이 없답니다."라고 말하고 있다. 어쨌든, 다음의 연결은 이와 관련하여 django를 다른 전문 웹서버와 연결하는 방식을 설명하고 있다. (이 부분도 rails에 비해서 좀 떨어지게 느껴지는, 또는 낯설은 부분 중 하나다.)

관심있는 구성 중 하나는 경량 웹서버인 nginx를 이용하는 방법. 다음은 우분투 문서 중, byteflow blog 엔진 설치, 그 중 django(FastCGI) + nginx 구성의 설명이다.

byteflow blog engine - Ubuntu Wiki

Byteflow is a blog engine, written on Python, using Django. Why should you choose it over competitors? It has very clean codebase and developers, which are struggling to keep it so. It has a lot of cool features, which you can't get in other blog engines or will get with difficulty (consider feed by union of tags, eh?).

# Ubuntu + nginx + FastCGI installation guide on Ubuntu wiki
# Debian + apache2 + mod_python. Installation and setup guides by Oleg Leschinsky.
# lighttpd + fastcgi installation guide from Benjamin Smith
# Installing byteflow on dreamhost by William Stearns
# ByteFlow on CentOS 5 with Apache, mod_wsgi and MySQL by Michal Ludvig

django 공식 문서. 일단은 공식 문서의 apache+django(fastcgi mode) 방식을 적용하여 문제(다중 요청 처리)를 해결했다. 이렇게 단순 간단한 것을... 처음엔 원인을 떠올리지 못하고 심지어는 별도 Job Queuing 모듈까지 만들었다는...

Django’s chock-full of shortcuts to make web developer’s lives easier, but all those tools are of no use if you can’t easily deploy your sites. Since Django’s inception, ease of deployment has been a major goal. There’s a number of good ways to easily deploy Django:

교훈:

• "밀린 숙제 방법론"을 버려라
  
• "실전을 통한 학습"은 허상이다.
  
• 문서와 저자의 의도를 받아들여라.
  
• 뭔가 분명히 있다. 만들기 전에 다시 한 번.