iopeni - Think of C#

얼마전 VM을 이용하여 Linux에 Hadoop을 설치 하고 공부 하려고 했었는데.... 

암튼 불의의 사정으로 인하여 VM이 사라져 버리는 바람에... Hadoop은 포기해야 하나 생각 하던 중... 그냥 Windows에 Hadoop을 설치 하고 C#으로 프로그램이 가능하지 않을까? 하는 궁금증이 생겼고...

오늘은 그 궁금증을 해결 하는 날이다.

일단... Windows 10에 ANT를 설치 한다.. 

ANT다운로드 사이트는.... 

http://ant.apache.org/bindownload.cgi 

이곳이 되겠다.

이어 Java를 설치 한다...

자바의 다운로드 사이트는....

http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html

이곳이 되겠다.

그리고 나서 하둡을 다운로드 받는다..

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz 

이곳이 되시겠다. 

이제 JDK를 설치 하고 Hadoop과 Ant는 사용자가 원하는 임의의 폴더에 압축을 해제 한다. 

하둡 압축 해제 도충 다음과 같은 오류를 만나게 되면 무시 한다.

임의의 ANT 설치 폴더와 하둡 설치 폴더를 환경 변수에 등록 한다.

이렇게 설치 된 폴더를 등록 하고 Path를 등록 한다.

이 까지 완료 하였다면 하둡의 설치 경로가 C:\hadoop-2.8.0 일 경우라고 가정 할때 

아래 폴더를 생성 한다.

C:\hadoop-2.8.0\data

C:\hadoop-2.8.0\data\data

C:\hadoop-2.8.0\data\name

C:\Hadoop\temp

C:\Hadoop\userlog

다음 하둡의 환경 설정파일을 수정 하여야 한다.

C:\hadoop-2.8.0\etc\hadoop 디렉토리의 4가지 xml 파일을 수정 하여야 한다.

-- Core-site.XML -----------------------------------------------------------------------

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

  <name>hadoop.tmp.dir</name>

  <value>C:\hadoop\temp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:50071</value>

</property>

</configuration>

-- hdfs-site.XML -----------------------------------------------------------------------

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<!-- 데이터를 저장할 생성 디렉토리 설정. -->

<property>

<name>dfs.namenode.name.dir</name>

<value>/hadoop-2.8.0/data/name</value>

<final>true</final>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/hadoop-2.8.0/data/data</value>

<final>true</final> 

</property> 

</configuration>

-- mapred-site.XML -----------------------------------------------------------------------

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

  <property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

  </property>

<property>

  <name>mapred.job.tracker</name>

  <value>localhost:9001</value>

  </property>

<property>

<name>mapreduce.application.classpath</name> 

<value>/hadoop-2.8.0/share/hadoop/mapreduce/*,

  /hadoop-2.8.0/share/hadoop/mapreduce/lib/*,

  /hadoop-2.8.0/share/hadoop/common/*,

    /hadoop-2.8.0/share/hadoop/common/lib/*,

    /hadoop-2.8.0/share/hadoop/yarn/*,

  /hadoop-2.8.0/share/hadoop/yarn/lib/*,

  /hadoop-2.8.0/share/hadoop/hdfs/*,

  /hadoop-2.8.0/share/hadoop/hdfs/lib/*,

 </value>

</property>

</configuration>

-- yarn-site.XML -----------------------------------------------------------------------

<?xml version="1.0"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

 <name>yarn.nodemanager.aux-services</name>

 <value>mapreduce_shuffle</value>

 </property>

 <property>

 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

 <value>org.apache.hadoop.mapred.ShuffleHandler</value>

 </property>

<property>

 <name>yarn.nodemanager.log-dirs</name>

 <value>C:\hadoop\userlog</value>

 <final>true</final>

 </property>

 <property>

<name>yarn.nodemanager.local-dirs</name>

<value>C:\hadoop\temp\nm-localdir</value>

</property>

 <property>

 <name>yarn.nodemanager.delete.debug-delay-sec</name>

 <value>600</value>

 </property>

 <property><name>yarn.application.classpath</name>

 <value>/hadoop-2.8.0/,

       /hadoop-2.8.0/share/hadoop/common/*,

       /hadoop-2.8.0/share/hadoop/common/lib/*,

       /hadoop-2.8.0/share/hadoop/hdfs/*,

       /hadoop-2.8.0/share/hadoop/hdfs/lib/*,

       /hadoop-2.8.0/share/hadoop/mapreduce/*,

       /hadoop-2.8.0/share/hadoop/mapreduce/lib/*,

       /hadoop-2.8.0/share/hadoop/yarn/*,

       /hadoop-2.8.0/share/hadoop/yarn/lib/*

 </value>

 </property>

</configuration>

하둡 버젼 확인은 잘 된다. 

이제 하둡 namenode 포맷을 하면 된다.

hdfs namenode -format 

명령으로 포맷 한다.

이 후 hadoop의 sbin 디렉토리로 경로 이동하여 

start-all 명령을 실행 하면 다음과 같은 오류가 발생 한다. 

이 문제의 해결 방법은 위 에러 메시지에서 해결 방법을 안내 하고 있다. 

https://wiki.apache.org/hadoop/WindowsProblems

사이트의 내용을 읽어 보면...  

How to fix a missing WINUTILS.EXE

You can fix this problem in two ways

1. Install a full native windows Hadoop version. The ASF does not currently (September 2015) release such a version; releases are available externally.

2. Or: get the WINUTILS.EXE binary from a Hadoop redistribution. There is a repository of this for some Hadoop versions on github.

Then

1. Set the environment variable %HADOOP_HOME% to point to the directory above the BIN dir containing WINUTILS.EXE.

2. Or: run the Java process with the system property hadoop.home.dir set to the home directory.

이런 방법으로 해결 하라고 한다. 

난 그냥 winutils.exe를 찾아서 다운로드 받아 bin 디렉토리에 추가해 주었다. 

Hadoop-2.7.1_WinUtils.zip

다시 start-all 명령을 때리면 잘 동작 된다. 

그런데 PC를 다시 재부팅 하고나니 이거 참... 

또 에러가 뜬다. 에러의 종류가.. org.apache.hadoop.yarn.exceptions.YarnRuntimeException

요런 Error인데. cmd를 관리자 권한으로 실행 이후 start-all 명령 실행 하니 아주 잘 동작 한다.

이제.. Windows 10에 하둡 실행 완료

자 이제 C#으로 로컬 테스트만 성공 하면 되겠다. 

요즘 다이어트 한답시고.. 헬스장에서 런닝 머신위를 열심히 걸어 다니고 있었다..

런닝.. 머신... 런닝 머신...... 머신 러닝..........

말 같지도 않은 저런 이유로 요즘 머신 러닝... 딥 러닝 이런 주제들에 갑작스런 호기심이 생겼고.

요즘 한참 화자 되고 있는 텐서플로우를 한번 설치해 보기로 마음 먹었다.

Bit Data DB 까지 엮어 보면 좋으련만.... 이걸 Hadoop으로 엮을지.... 아님 MongoDB로 엮어 볼지는 아직 결정 하지 않았다.

그나 저나... 뭐.. 일단은 OS부터가 문제인데... 엣날엔 .. 그래도 FreeBSD 만만 했다 나름 OS설치 부터 X 윈도우 컴파일... 포트 컴파일, 폰트 컴파일 등등 해 가면서. 서버 구성도 해봤고 .... 이렇게 하다 보니 man Page 보는게 DOS Help 쳐다 보는 것 보다 훨씬 편안하게 느껴질 때도 있었다. 다 옛날 이야기 였다.

제일 처음 욕심 낸건... FreeBSD였다.. 젠장... 이거 뭐 ..... 하나도 모르겠다. 

세상은 너무 발전 했는데 난 계속 퇴보에 퇴보를 거듭하고 있었던 거다.

그래.. FreeBSD는 포기 하고.... 그냥 쉬운걸로 하자... 마음편히..... 

데미안, 레드햇, 우분투, 뭘 할까 고민 하다가 아직 한번도 안써본 CentOS를 한번 써보자 마음먹고 고고~~~~~

알고 봤더니... 뭐 CentOS가 사실 RadHat이었다. 

OS설치는 했는데 이거 참... 단순 명령어들도 기억나는건 하나도 없고... ifconfig로 확인 해야 하는 IP를 ipconfig로 확인하려고 두들겨 놓고.. 이거 뭐지 뭐지???? 라고 헤매고 있는 나 자신이 왜 이렇게 한심 하던지... 아~~ 공부 하자 ~~~~

이렇게 저렇게 삽질에 삽질...... 기본 개발툴 설치 하고 어쩌구 저쩌구.... 

막상 텐서 플로우를 설치 하려고 Tensorflow.org 사이트에서 설치 메뉴얼을 확인 하고 있는데.

기존에 파이썬으로 작성된 프로젝트가 있으면 단순 pip설치를 하게 되면 프로젝트가 영향을 받을 수 있다고 명시 되어 있었다.

뭐 오늘 OS설치 했는데 기존 Python 프로젝트가 있을리는 만무 했지만.. pip가 먼지도 모르는데. 뭐 대략 MS의 NuGet 같은 것이려니... 짐작만 하고는 그 밑에 환경을 보니 virtualenv 라는 걸로 설치를 하면 괜찮단다.

그래 모르는거 한번 해보자~~~

그리고 그냥 설치 페이지에 있는 내용을 따라하니 .. 그냥 설치 된다... 

이거 너무 쉽다. 

초보들이여... 두려워하지 말고 따라해 보자. 나같은 초보도 그냥 설치 했다... ^^;;;

자알 된다 아주 자알

참고로 텐서플로우의 GPU버젼은 MacOS에선 지원하지 않는다. Linux에서만 지원된다. 

더불어 AMD 계열의 그래픽 카드는 지원하지 않는다.

오리지 NVidia 그래픽 카드만 지원한다는 사실...... 하드웨어와 설치 OS를 확인하고 괜시레 삽질 하지 않길 바란다. 

https://www.tensorflow.org/versions/r0.11/get_started/os_setup.html#download-and-setup

요기에 설치 방법이 있다. 심심풀이 땅콩으로 가지고 놀아볼 ... 주제 하나 만들어 졌다.. ^^ 

마이크로소프트 종속적인 어플리케이션 개발자로서 NuGet을 처음 경험 하였을 때의 경이로움은 정말 이루 말 할 수 없었다.

오늘은 NuGet과 비슷한 어플리케이션을 관리 하는 툴을 처음 알게 되었다.

이건 뭐..... 정말 사랑해 주고 싶다.. 나의 귀차니즘이여.. 안녕~~~~

사이트는

https://chocolatey.org 이다.

메인 페이지에 있는 스크립트를 관리자 모드의 cmd에서 복사 붙여 넣은 후 설치 하면 완료.

등록된 패키지는 clist 로 검색 ....

설치는 cinst 로 한다. 

만약 파일질라를 설치 하고 싶으면 

"c:\>clist filezilla" 로 검색.

"c:\>cinst filezilla" 로 설치...

 편하돠~~~~~~

Synology NAS를 구입 하게 된 가장 큰 이유는 사실 SVN이었습니다.

뭐 사실 구입 이후 문화 생활 부분에서 조금은 윤택 해짐을 느끼고 있습니다.

한동안 잘 쓰던 SVN을 접고 갑자기 Git을 쓰고 싶어서.. Synology NAS에 기본 포함된 Git을 쓰려고 하니.. 이거 참 난감한 겁니다.

난감한 이유가 시놀로지 나스에 기본 포함된 Git은 SSH프로토콜만 사용하고 있는 거였습니다. 결국 외부 확장 프로그램들 즉 Tortoise Git 같은 것들의 도움을 받아야 좀 수월해 질 수 있었습니다.

그런데 전 외부 확장프로그램을 쓰고 싶다기 보다 Visual Studio 에서 Git을 이용할 수 있었으면 했습니다. 이력관리 도구가 너무 좋거든요. SVN 과는 비교도 되지 않을 정도로 훌륭합니다.

그런데 Visual Studio 의 Git Provider는 HTTP 프로토콜만 지원합니다.

별 오만가지 방법을 다 동원하고 테스트 하고 실험 하였습니다만.. 끝내는 그냥 포기 하고 말았습니다. 그냥.. PC Git을 설치 하는게 오히려 더 편하고.. 확장성이 더 좋았기 때문입니다.

그런데 어느날... Synology NAS에 가상화 솔루션 Docker가 포함된 겁니다.

그리고 좀 있다가.... GitLab 이 Docker에 포함 되었는데. 이 GitLab이 나름 그래도 꽤 유명한 Git Server에 마일스톤 관리 및 이슈트래킹을 할 수 있는 도구 입니다. 혼자 가지고 놀기는 정말 딱이죠.

이게 웬 떡이냐~~~ 바로 함 해봐야 겠다 라고 생각할 즈음.. 정말 아끼는 동생으로 부터 또 다른 제보를 받았습니다.

소스트리에 좀 사이즈가 큰 파일을 첨부 하여 커밋 푸쉬 하려고 하니 원격서버에서 자꾸 뱉어 낸다는 겁니다.

그래서 인터넷 검색을 해 봤더니. 용량 제한이 있다고 인터넷에 기사가 올려져 있다는 겁니다.

인터넷에서 하라는 데로 다 해봤는데 안된다는 겁니다.

이거참... 그래서 저두 빨리 해 봐야 겠다고 생각 하며 오늘 오전 Reposirory를 만들고. 사이즈가 좀 큰 동영상 file 하나와 PDF문서 하나를 커밋 하고. 바로 Push~~~~~~~~

올라가는지 관찰 하려던 찰나.. 다음과 같은 오류가 터지며 뱉어 내 버리는 겁니다.

fatal: The remote end hung up unexpectedly
fatal: The remote end hung up unexpectedly
error: RPC failed; result=22, HTTP code = 413
Everything up-to-date

뭐 구글링 약간 하다 보니 몇가지 방법들이 보입니다. 문제는 이것이었던 거죠... 웹서버가 대용량 파일일 경우 뱉어 버리는 겁니다.

역시나 개발자의 천국 이라는 Stackoverflow에는 정확한 해결책이 제시 되고 있습니다.

http://stackoverflow.com/questions/7489813/github-push-error-rpc-failed-result-22-http-code-413

------------------------------------------------------------------------------------

If you get error 413, then the issue doesn't lie with git but with your web server. It's your web server that is blocking big upload files.

Solution for nginx

Just load your nginx.conf and add client_max_body_size 50m; ( changing the value to your needs ) in the http block.

Reload nginx to accept the new config by executing sudo service nginx reload and try again to push your commit over http.

Solution for Apache

In your httpd.conf add LimitRequestBody 52428800 ( changing the value to your needs ) inside a <Directory /> block. Doing this you can limit the request of the whole server filesystem, just a single Virtual Host or a directory.

I hope this helps.

--------------------------------------------------------------------------------------

그런데 이눔의 제 나스는 이 해결책 대로 열심히 했는데 안되는 겁니다. 

문득 드는 생각이 가상화 솔루션이므로 혹시 Docker에서 뭔가 걸르는게 아닌가 싶더군요. 

https://registry.hub.docker.com/u/sameersbn/gitlab/

이 문서를 쭉 보다 보면.. 해결책이 보입니다. 답은 말이죠 바로.. 이겁니다.

일단 SSH 터미널을 오픈 합니다. 그리고 root 계정으로 로그인 하세요. 그 다음.. 아래 파일을 vi로 오픈 하세요

/usr/syno/etc/packages/Docker/synology_gitlab.config

그리고 다음과 같이 추가해 주세요.

{

"key" : "NGIX_MAX_UPLOAD_SIZE"

"value" : "1000m"

}

물론 위 Stackoverflow에 달린 답변 처럼. 

etc/nginx/nginx.conf

파일도 수정해 주셔야 합니다. 그리고 리부팅... 하면 됩니다.

오늘 이걸 해결 하느라구 하루 종일 걸렸네요. 어찌 되었든... 이제 정말 자알 사용 할 수 있을 듯 합니다.  

개발자 로서... 가끔은 기획부서가 제안해야 할 화면을 먼저 제안하고 컨폼 받아야 할 경우가 있다.

상상의 나래를 펼쳐 가며 화면을 디자인 하고 컨폼을 받기 위하여, 디자인 한다는 것은 개발자로서는 정말 하기 싫은 일일 것이다. 먹고 살기 위해서 어쩔 수 없이 해야 하긴 하지만.... ^^ 뭐 아무튼 이런 잡이 생기면 보다 빨리 보다 잘 하고 싶은게 모든 사람이 가진 욕망 일지도 모르겠다.

예전 이런 디자인을 위한 보조 도구로 Balsamik Mockup이란 프로그램을 회사 기획팀에서 사용하는 것을 보고 이런 프로그램도 있구나 깜놀 했던 기억이 있다.

이후 무료로 제공되는 Mockup 프로그램이 없나 찾다가... 어느날 갑자기 PowerMockup이란 프로그램을 알게 되었다.

이건 Power Point Plug-In으로 사용할 수 있는 목업 프로그램이다. ㅎㅎ 저엉말 딱 찾던 거다...

일단... 

http://www.powermockup.com/ 

위 사이트에 접속 하여 보면.... 트라이얼을 설치 하여 볼 수 있다.

설치 정말 쉽다.

이렇게 설치 하고 보면..... 

파워포인트를 실행 하였을 때.... 다음과 같은 화면을 볼 수 있다..

이거 참 쉽다.

나는 이걸 원했다.

그런데 말이다.. 이거 유료다...저기 보면 스텐실에 회색으로 되어 있는 부분이 트라이얼이라 막혀서 그렇다.

이거 결제 해야 하나? 하고 고민할 즈음...... $59.95 라는 만만치 않은 가격... 

블로거나.... 기자 또는 비영리 단체의 회원일 경우 이 프로그램을 공짜로 제공해 주겠다는 글을 보고야 말았다.

그래서 지금 이 글을 쓰고 있다.

블로거는 이 프로그램을 홍보 하여 주면 라이센스를 제공하여 주겠다는 문구......아. 말로 설명 하느니.... 해당 사이트로 직접 직행 하여 보시길....

http://www.powermockup.com/order/free-license

나에게 피가 되고 살이 될 수 있는 화면 설계 보조 도구를 득템 했다...

프리젠터의 대명사 라는 WP-8500을 구매하여 사용하여 보니... 사실 이만한 프리젠터는 없어 보입니다.

많은 유저분들 께서 명품이라고 이야기 하시는데는 틀림없이 이유가 있나 봅니다.

예전 IBM노트북의 키보드에 빨간색 마우스 포인터 트랙 볼을 기억하시는지 모르겠습니다. 

이 프리젠터에 상단 부에 위치한 레버가 바로 그겁니다.

마우스 왼쪽 오른쪽 버튼 다 활용 하실 수 있으며, 앞으로 뒤로.. 버튼과 함께 레이저 포인터와.. 볼륨 컨트롤

그리고 실행 F5 Key 와 Blank 화면 호출 등등.. 측면의 스크롤 까지 

이거 하나만 있으면 좀 불편하긴 하겠으나 모든 작업을 다 할 수 있을 정도로 기능이 풍부 합니다.

리시버가 좀 크다는게 흠이긴 한데 리시버가 좀 크기 때문에 통신 거리도 좀 더 길지 않을까 하는 추측을 해 봅니다.

구매 후 후회 하지 않는 나의 귀여운 프리젠터 입니다.