반응형

Architecture 2

[Tensorflow] CNN (Convolutional Neural Networks): cifar-10

Overview CIFAR-10 classification은 machine learning에서 공통적으로 benchmark problem이다. 여기서 문제는 RGB 32 x 32 pixel의 이미지들을 10개의 카테고리로 분류하는것이다. Goals image recognition을 위한 작은 convolutional neural network를 build하는 tutorial입니다. - network architecture, training, evaluation을 위해서 어떻게 조직화 할 것인지. - models을 construct하기 위한 template을 제공 CIFAR-10은 model을 만들기위해 tensorflow의 예제코드로 이루어져 있다. 현재는 작고, 빠르게 트레이닝이 가능하다. CIFAR-..

클러스터 매니저(Cluster Manager) Yarn의 아키텍쳐 및 역할

Yarn? Hadoop 1.0에서는 JobTracker가 클러스터의 자원 배분과 Job관리를 함께 수행했기 때문에 JobTracker에서 병목현상이 일어났다. JobTracker가 하던 두 가지 역할-자원관리를 Resource Manager와 Application Master로 분리해서 JobTracker에 몰리던 병목을 제거했습니다. Resource Management, Scheduling/Monitoring을 구분하는 daemon의 기능을 분할하였습니다. global하게 ResourceManager, per-application ApplicationManager를 두자라는 아이디어에서 부터 시작했습니다. 범용 컴퓨팅 클러스터가 가능 (MapReduce)외에도 다양한 어플리케이션을 실행할 수 있으며, ..

빅데이터/Hadoop 2016.06.16
반응형