gilbird.com

증권 및 투자 관련 권장 사이트

2012-01-23T06:11:17+09:00

세계시장 분석http://www.ft.com투자속보http://money.cnn.com시황분석http://www.thestreet.comhttp://...

CDH3로 업그레이드

2011-11-21T17:42:47+09:00

CDH3로 오면서 hadoop 운영을 위한 계정으로 hdfs, mapred 두 개가 생겼다.

hdfs - NameNode, DataNode, SecondaryNameNode 실행 담당
mapred - JobTracker, TaskTracker 실행 담당

따라서 safemode를 해제하려면 hdfs 계정으로 실행해야 정상 동작한다.

일단 맵-리듀스 프로그램은 별도의 사용자 계정을 만들어서 돌리면 된다.

CDH3로 업그레이드 하면서 선택사항이지만 조취를 강력 권장하는 사항이 하나 있다.

바로 /tmp 디렉토리 sticky bit 설정이다.

$ sudo -u hdfs hadoop fs -chmod 1777 /tmp

이 명령을 수행하고 나면 x대신 t로 변경되어 있는 것을 확인할 수 있다.

$ hadoop fs -ls /
Found 2 items
drwxrwxrwt - hdfs supergroup 0 2011-02-14 15:55 /tmp
drwxr-xr-x - hdfs supergroup 0 2011-02-14 14:01 /user

보안 이슈에 대한 대책인것 같은데 이 부분은 계속 숙지해야 할 부분으로 보인다.

참고

Upgrading to CDH3

Apache Hadoop과 Pig로 실용적인 문제 해결하기

2011-11-16T16:06:06+09:00

자료가 오래된 것이긴 한데 지금봐도 될만큼 좋습니다.

특히 158페이지 부터 나오는 Pig 부분은 내용이 알차네요.

SQL과 Pig를 비교한 부분도 볼만합니다.

199장의 압박이 있으나 Pig는 내용이 적으니 이 부분만 따로 봐도 되겠습니다.

Practical Problem Solving with Apache Hadoop & Pig

View more presentations from Milind Bhandarkar

Hadoop World 2011: Apache Hadoop 0.23

2011-11-11T12:06:54+09:00

아파치 하둡 0.23 버전이 내년 1/4분기 후반에는 베타, 내년 중순이면 정식으로 릴리즈할 예정이라고 합니다.

Hadoop World 2011: Apache Hadoop 0.23 - Arun Murthy, Horton Works

View more presentations from Cloudera, Inc.

[팁] 윈도우즈용 사파리에서 휠 스크롤이 잘 안되는 경우

2011-10-26T17:54:02+09:00

윈도우에서 사파리를 새로 설치했더니 휠 스크롤이 잘 안되더군요.

여기저기 찾아봐도 정보가 없어서 팁을 올립니다.

제어판 > 마우스 > 휠 선택
[올바르게 스크롤되지 않는 프로그램 확인...] 선택
[추가] 버튼을 누르고 사파리 프로그램 등록
끝으로 [적용] 버튼을 누르면 반영 완료

하다보니 결국 사파리나 아이튠즈는 윈도우즈의 부드로운 스크롤이 제대로

동작하지 않는다는 점을 알아냈습니다.

껍데기만 윈도우고 UI는 모두 직접 만들다보니 나온 결과가 아닐까 생각이 듭니다.

어쨌든 문제는 해결했네요.

마음의 상처를 예방하는 3가지 훈련

2011-10-19T06:10:05+09:00

매일 시간을 내서 마음의 상처를 예방하는 세 가지 원칙을 훈련해 보자.긴장을 풀고 스트레스를...

[해몽] 하늘에 관한 꿈

2011-10-15T16:36:19+09:00

하늘의 꿈 하늘은 국가나 사회의 최고 권력기반과 사회.사업의 기반을 의미한다. 하늘이 갈...

[해몽] 물에 빠지는 꿈

2011-10-15T16:25:47+09:00

이 꿈을 꾸면 생활이 깊숙한 바닥에까지 떨어지게 되고 사는 집도 옮기지 않으면 안된다...

[Ganglia] CentOS 5.3(i386)에 ganglia 3.2.0 설치하기

2011-09-02T16:22:41+09:00

0. 들어가며

CentOS 5.3에 클러스터 모니터링 시스템 ganglia 3.2.0을 설치해보았다.

ganglia는 호스트서버와 모니터링 서버 두가지에 대해서 각각 설치를 진행하며 각각의 서버에 다음과 같은 모듈을 설치해야한다.

호스트서버

gmetad 데몬 (메타데이터 데몬은 모니터링할 메타 데이터 취합용이다.)
gaglia web 파일 (PHP 웹페이지)
gmond 데몬 (모니터링 데몬은 호스트서버도 모니터링하는 경우 설치한다.)

모니터링 서버

gmond

서버 모니터링 상태를 호스트서버에 주기적으로 전달
전달 방식은 gmetad로 직접 전달하는 방식과 gmond에 전달하는 방식 두가지가 있다.(gmond.conf 설정)

1. ganglia-3.2.0.tar.gz 다운로드

 # wget http://sourceforge.net/projects/ganglia/files/ganglia%20monitoring%20core/3.2.0/ganglia-3.2.0.tar.gz/download

2. rpm 만들기

 # rpmbuild -ta --target i386 ganglia-3.2.0.tar.gz

목표대상(target) 플랫폼으로 제작 중: i386

i386(을)를 제작하고 있습니다

오류: Failed build dependencies:

libpng-devel is needed by ganglia-3.2.0-1.i386

libart_lgpl-devel is needed by ganglia-3.2.0-1.i386

python-devel is needed by ganglia-3.2.0-1.i386

libconfuse-devel is needed by ganglia-3.2.0-1.i386

pcre-devel is needed by ganglia-3.2.0-1.i386

expat-devel is needed by ganglia-3.2.0-1.i386

rrdtool-devel is needed by ganglia-3.2.0-1.i386

freetype-devel is needed by ganglia-3.2.0-1.i386

apr-devel > 1 is needed by ganglia-3.2.0-1.i386

☞ OS를 새로 설치하고 진행하는 경우 위와 같이 오류가 나옴.

☞ 각 패키지를 설치해줘야함.

 # yum install libpng-devel libart_lgpl-devel  python-devel libconfuse-devel pcre-devel  expat-devel  rrdtool-devel  freetype-devel  apr-devel

☞ 일부 패키지를 찾을 수 없어서 설치불가할 수도 있음

 # yum install libconfuse-devel

Loaded plugins: fastestmirror

Loading mirror speeds from cached hostfile

Setting up Install Process

Parsing package install arguments

No package libconfuse-devel available.

Nothing to do

☞ 이경우에는 EPEL(Extra Packagers for Enterprise Linux) rpm을 설치하고 다시 진행해야함.

☞ http://fedoraproject.org/wiki/EPEL 접속하여 버전에 맞는 EPEL rpm을 받음.

# wget http://download.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm
# rpm -ivh epel-release-5-4.noarch.rpm

☞ 다시 나머지 패키지 설치 진행

# yum install libconfuse-devel rrdtool-devel

☞ rpmbuild 완료시킴

# rpmbuild -ta --target i386 ganglia-3.2.0.tar.gz

☞ 설치완료한 경우 rpm파일들은 다음 위치에 있음

# ls /usr/src/redhat/RPMS/i386/

합계 884

8 ./ 68 ganglia-gmetad-python-3.2.0-1.i386.rpm

8 ../ 136 ganglia-gmond-3.2.0-1.i386.rpm

484 ganglia-debuginfo-3.2.0-1.i386.rpm 36 ganglia-gmond-modules-python-3.2.0-1.i386.rpm

56 ganglia-devel-3.2.0-1.i386.rpm 48 libganglia-3.2.0-1.i386.rpm

40 ganglia-gmetad-3.2.0-1.i386.rpm

☞ 이 파일들을 가지고 설치작업 진행하면 됨.

3. gmetad 설치 및 실행

# rpm -ivh libganglia-3.2.0-1.i386.rpm
# rpm -ivh ganglia-gmetad-3.2.0-1.i386.rpm

☞ /conf 설정 (아래 부분 입력)

# vi /etc/ganglia/gmetad.conf

datasource "cluster1" localhost

☞ gmetad 데몬 실행

# service gmetad start

Starting GANGLIA gmetad: [ OK ]

☞ gmetad 데몬 동작확인

# telnet localhost 8651

Trying 127.0.0.1...

Connected to localhost.localdomain (127.0.0.1).

Escape character is '^]'.

<?xml version="1.0" encoding="ISO-8859-1" standalone="yes"?>

<!DOCTYPE GANGLIA_XML [

...

☞ 위와같이 XML 문서가 나오면 정상동작임

4. gmond 설치 및 실행

☞ 편의상 확인용으로 호스트서버에 모니터링 모듈도 설치함

# rpm -ivh ganglia-gmond-3.2.0-1.i386.rpm
# rpm -ivh ganglia-gmond-modules-python-3.2.0-1.i386.rpm

☞ gmond.conf 설정 고침

# vi /etc/ganglia/gmond.conf

cluster {

name = "cluster1"

owner = "unspecified"

latlong = "unspecified"

url = "unspecified"

}

udp_send_channel {

#bind_hostname = yes # Highly recommended, soon to be default.

# This option tells gmond to use a source address

# that resolves to the machine's hostname. Without

# this, the metrics may appear to come from any

# interface and the DNS names associated with

# those IPs will be used to create the RRDs.

//mcast_join = 239.2.11.71

host = localhost // gmetad가 동작하는 서버명

port = 8649

ttl = 1

}

udp_recv_channel {

//mcast_join = 239.2.11.71

port = 8649

//bind = 239.2.11.71

bind = localhost

}

☞ gmond 데몬 실행

# service gmond start

Starting GANGLIA gmond: [ OK ]

☞ gmond 동작 확인

# telnet localhost 8649

Trying 127.0.0.1...

Connected to localhost.localdomain (127.0.0.1).

Escape character is '^]'.

<?xml version="1.0" encoding="ISO-8859-1" standalone="yes"?>

<!DOCTYPE GANGLIA_XML [

...

☞ 위와 같이 나오면 정상 동작중임

5. ganglia web 설치

☞ 아파치웹서버, PHP 모듈을 설치한다.

# yum install httpd php

☞ gweb-2.1.7.tar.gz 다운로드 및 설치

# wget http://sourceforge.net/projects/ganglia/files/gweb/2.1.7/gweb-2.1.7.tar.gz/download
# tar xvf gweb-2.1.7.tar.gz
# cd gweb-2.1.7
# make install

☞ httpd 데몬실행

# service httpd start

httpd (▒▒)▒▒ ▒▒▒▒ ▒▒: [ OK ]

☞ 웹페이지에서 동작을 확인한다.

☞ 접속 주소는 http://localhost/gweb이다.

6. 기타 팁

☞ yum 설치를 하려고 하는데 패키지가 다운로드 되지 않는 경우에는 다음 경로를 지워준다.

 # rm -rf /var/cache/yum/*

☞ ganglia 데이터를 초기화 하고 싶으면 다음 경로 밑의 데이터를 삭제한 후에 gmetad를 재시작한다.

 # rm -rf /var/lib/ganglia/rrds/*

☞ ganglia web 2.1.7 버전에는 모바일 기기도 지원한다. mobile.php를 수정하면 아이폰, 아이패드 등의 해상도에 맞게 볼 수 있다.

 # vi /var/www/html/gwen/mobile.php

<title>태그 밑에 라인 추가

 <meta name="viewport" content="width=device-width, initial-scale=1">

7. 참고링크

http://testbed.gridcenter.or.kr/kor/technical_doc/ganglia/ganglia-install.html
http://sysadmin.tistory.com/295
http://www.ibm.com/developerworks/wikis/display/WikiPtype/ganglia
http://www.jansipke.nl/installing-ganglia-on-centos
http://iserlohn-opensource.blogspot.com/2011/02/ganglia-slackware-131.html
http://fedoraproject.org/wiki/EPEL

[2011신형 맥미니] 램 업그레이드 정보

2011-08-30T10:13:06+09:00

맥미니를 최소사양으로 구입하면 램이 2G인데 OS X Lion에서는 어플 몇개만 실행해도 2G...

[이매지너] 미래에 대한 긍정적인 확신 이매지닝

2011-08-28T19:23:02+09:00

<다음 세대를 지배하는자 이매지너>의 저자 이노디자인 김영세 대표의 다음글이 정말 마음...

[주식] 반대매매란?

2011-08-14T16:13:57+09:00

반대매매란 투자자가 신용매수하고 증권사가 담보로 맡아 갖고 있던 주식을 임의로 팔아치워&nb...

[HBase] @ Hadoop Day Seattle

2011-07-20T14:26:00+09:00

HBase @ Hadoop Day Seattle

View more presentations from amansk

세고비아의 미투데이 - 2011년 7월 19일

2011-07-20T04:39:00+09:00

[PDF] Designing a Parallel Query Engine over Map/Reduce http://j.mp/nBURHl 2011-07-13 ...

[Pig] Hadoop, Pig, and Twitter (NoSQL East 2009)

2011-07-15T18:59:05+09:00

Hadoop, Pig, and Twitter (NoSQL East 2009)

View more presentations from Kevin Weil