불로

들어가며: 우리가 ssh를 접속해서 무언가를 작업을 할때 세션이 타임아웃되서 실행중이던 작업이 종료될때가 있다. 그럼 정말 너무 화가 치밀어 오르며, 다시 접속을 한 뒤에 그전에 작업을 다시 실행한다. 그래서 ssh connection이 끊어져도 작업을 할 수 있는 방법을 찾아보니 nohup을 이용해서 하는 방법이 있다. nohup을 이용하면 결과적으로는 세션이 타임아웃이 되어도, 내가 실행한 작업은 백그라운드에서 계속 실행한다. nohup을 사용하는 방법은 아래와 같다. nohub 사용하기: $ nohup command 1>/dev/null 2>&1 & 위에서 사용하는 명령어에 대해서 이해를 하기 위해서는 아래 내용을 읽어보시기 바랍니다. I/O Redirection: bash와 다른 shell에서는 ..

들어가며 Hadoop의 MapReduce와 HDFS 등 Hadoop Ecosystem을 설치하고, 설정을 하는게 매우 번거로운 작업이 많다. 그렇기 때문에 각종 Application을 패키지화 해서 개발자들에게 제공하는 회사들이 등장하기 시작한다. Cloudera와 Hortonworks가 바로 자신들만의 Manager를 통해서 각종 어플리케이션을 배포하고, 설정을 쉽고 빠르게 할 수 있도록 도움을 주고 있다. 그렇기 때문에 결과적으로 Hadoop, Spark, Hive, 그리고 Hue와 같은 기존에는 독립적으로 설치해서 사용했다면, 이제는 Cloudera에서 제공하는 Manager를 통해서 설치를 해보자. Pre-Installation 설치하기 전에는 호스트 등록과, ssh-keygen을 통해 ssh-k..

들어가며 linux에서 ssh키를 이용해 서버에 접속하는 경우가 많습니다. 특히 분산처리할때는 ssh키를 등록해 놓고 처리를 해야지 패스워드 없이 작업을 원활하게 진행이 가능합니다. 그렇다면 ssh키를 등록한다는 말이 무엇을까요? ssh-key는 내가 너의 비밀번호를 이미 알고 있으니, 다음부터는 너한테 비밀번호 물어보지 않고 접속할께 알겠지? 라는 의미라고 생각하시면 됩니다. 등록하는 방법은 서버와 클라이언트로 나누어서 생각하면, 서버는 내가 ssh를 통해 접속하고자 하는 컴퓨터를 의미하고, 클라이언트는 서버에 접속하기 위한 컴퓨터라고 생각하시면 됩니다. 클라이언트에서 ssh키를 생성하고, 생성된 키를 서버에다가 등록해주면 끝입니다. 그럼 생성하고 등록하는 방법에 대해서 알아보도록 하겠습니다. ssh ..

Github 시작하기 및 ssh-key 등록하는 방법 들어가며 Git은 코드 버전 관리를 해주는데 중요한 Software라고 할 수 있습니다. 우리가 흔히 학생때 조별 과제를 하게 되면 작은 프로젝트를 자주 진행하게 됩니다. 그 때 바로 등장한 멍청하지만 어떻게 보면 작은 프로젝트에 현명한... 방법중에 하나인 hand-merge 그냥 손머지죠. 이렇게 해왔는데, 프로젝트의 규모가 커지고, 기간이 길어지다 보면 자연스럽게 손머지는 한계에 부딪히게 됩니다. 저는 git을 코드관리도 중요하지만 공유하고 협업이라는 모두가 함께 만들어가는 opensource의 중요성에 대해서 더 중요하게 생각합니다. 소프트웨어 개발자라면 github 아이디 하나 정도는 갖고 있어야 하겠죠. 요즘에는 오픈소스 활동이나 stack..

[AWS] AWS EC2 ssh 접속 오류 Permission denied (publickey) 들어가며 AWS에서 EC2를 생성한 후에 터미널에서 ssh를 통해 접속을 시도할때 생기는 에러에 대해서 설명하려고 합니다. 아마존에서 인스턴스를 생성하고 나면 다운로드 받을 수 있는 파일이 *.pem 파일입니다. 해당 파일은 우리의 서버로 접속을 가능하게 해주는 인증을 해주는 역할이라고 생각하시면 됩니다. 해당 파일에는 인스턴스의 private key의 내용이 담겨 있습니다. 그 만큼 보안에 중요한 파일입니다. 어디에서나 해당 키가 있어야 접근이 가능합니다. 만약 *.pem파일을 분실하면 매우 번거롭게 다시 재발급을 받아야 하기 때문에 항상 백업을 해 놓는게 중요합니다. 에러내용 ssh를 통해 -i 옵션으로 ..