불로

웹페이지는 HTML로 작성이 되어있고, HTML은 element와 attribute로 구성되어 있다. HTML에서 ‘id가 foo인 요소에 포함되어 있는 텍스트를 가져와’라는 규칙으로 필요한 정보를 추출할 수 있다. 하지만 실제로 제대로 된 형태를 갖추지 못했기 때문에 HTML의 요소를 tree 형태로 변환해서 쉽게 접근이 가능하게 해주는 BeautifulSoup라이브러리를 사용하면 쉽다. 파이썬에서 HTML을 파싱하기 위해서는 BeautifulSoup, requests, html5lib이 필요하다. 파이썬에서 기본적으로 제공하는 라이브러리인 HTML parser는 완벽한 HTML 구조가 아니면 제대로 작동하지 않기 때문에 html5lib이 필요하다. $ pip install beautifulsoup4 ..

들어가며 최근에는 개인용 NAS를 구축해서, 사진을 저장하거나, 영상을 다운로드해서 바로 영상을 시청하시는 분들이 많습니다. 저같은 경우에도 폰으로 토렌트를 사용하다가 개인용 NAS를 구축하고 영상을 다운로드를 원격으로 받은뒤에, 영상을 받아보기 위해서 NAS를 구축을 해보았습니다. 아무래도 개인용 NAS를 구축하면 나만의 저장공간에 내가 바로바로 관리가 가능하다는게 장점입니다. 아무래도 외부 클라우드에 자신의 데이터를 업로드하기를 꺼려하시는 분들이라면 추천을 해드립니다. 무료로 제공되는 애플리케이션도 많아서 스마트폰에서도 쉽게 나의 NAS를 접근하고 관리가 가능합니다. 단점은 전기요금이 많이 나올수 있지만, 아무래도 NAS라는게 저전력으로 동작하기 때문에 전기요금을 크게 걱정하실 필요가 없습니다. 단,..

들어가며 Hadoop의 MapReduce와 HDFS 등 Hadoop Ecosystem을 설치하고, 설정을 하는게 매우 번거로운 작업이 많다. 그렇기 때문에 각종 Application을 패키지화 해서 개발자들에게 제공하는 회사들이 등장하기 시작한다. Cloudera와 Hortonworks가 바로 자신들만의 Manager를 통해서 각종 어플리케이션을 배포하고, 설정을 쉽고 빠르게 할 수 있도록 도움을 주고 있다. 그렇기 때문에 결과적으로 Hadoop, Spark, Hive, 그리고 Hue와 같은 기존에는 독립적으로 설치해서 사용했다면, 이제는 Cloudera에서 제공하는 Manager를 통해서 설치를 해보자. Pre-Installation 설치하기 전에는 호스트 등록과, ssh-keygen을 통해 ssh-k..