반응형

2019/01/16 4

[Bash] 데이터에서 특정 컬럼 추출하는 방법

데이터에서 특정 컬럼을 추출해야 하는 경우 기본으로 awk를 사용하면 seperator는 " "(공백)으로 들어가기 때문에 -F오션을 사용해서 내가원하는 delimter를 설정할 수 있다. print $를 사용하면 되는데, index는 1부터 시작이다 $ awk -F "\t" '{print $5}' data.txt.sample reference https://stackoverflow.com/questions/2609552/how-to-use-as-awk-field-separator

Programming/Shell 2019.01.16

[Mac] Mounty를 이용해서 NTFS 형식의 외장하드 읽고쓰기

외장하드가 읽기만 가능할때, 외장하드가 쓰기가 불가능? 삼성 외장하드 P3을 사용하고 있는데, macOS에서 read-only라는 ...? 폴더도 생성을 할 수 없었다 문제 해결을 위해서 별도의 추가 앱이 필요하다. (다른 사람들은 극단적으로 포매을 해야 한다고... 따라하지마셔요) Mounty는 윈도우에서 NTFS로 포맷된 외장하드를 읽기/쓰기를 지원 가능하도록 해준다. 다운로드 http://enjoygineering.com/mounty/# 다운을 받고 설치하면, 추후에 외장하드가 mount가 되면 읽으시겠냐고 물어보면 '응'이라고 눌러주면 끝 그리고 위쪽에 Mounty의 아이콘을 통해서 Finderd에서 오픈이 가능하다. 하지만 여기서 Finder에서가 아닌 다른곳에서 열기 위해서 경로를 찾으면 Mo..

Mac 2019.01.16

[DevEnv] kubernetes

Kubernetes open-source features automatic binpacking horizontal scaling automated rollouts and rollbacks self-healing service discovery and load balancing secret and configuration management storage orchestration batch execution Kubernetes features 멀티플 호스트 전체에서 컨테이너를 오케스트레이션 하드웨어를 더 효과적으로 활용하여 엔터프라이즈 애플리케이션을 실행하는 데 필요한 리소스를 극대화 애플리케이션 배포 및 업데이트를 제어하고 자동화 스토리지를 장착 및 추가해 스테이트풀(stateful) 애플리케이션을 실행..

DevEnv 2019.01.16

[Python] 큰 데이터 사이즈 읽는 방법(Iterator, Generator)

파이썬에서 데이터를 읽을때, 보통은 모든 데이터를 메모리에 올리고 사용하는 경우가 많다. 하지만, 작은 사이즈의 데이터는 가능하지만 큰 사이즈의 데이터를 메모리에 올리고 사용하는게 가능하다면? 피시에 감사하자. 큰 데이터셋을 사용하는 경우인 데이터 학습 시킬 학습 데이터, 통계를 낼때 데이터 등등.. 이때는 데이터를 built-in 함수인 iterator, generator를 이용을 해야만 한다. MUST!! Iterator, Generator 자 interation을 어떻게 쓰는게 좋은가? python for x in range(10): print x range(10)은 리스트를 생성하는것과 동일하다. [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] list를 iteration object로 생..

Programming/Python 2019.01.16
반응형