불로

쉘(shell)에서 특정 컬럼 더하기 데이터 분석을 하다 보면 특정 컬럼의 값을 더할 때가 있다. 예를 들어서 positive/negative의 비율(ratio)을 확인할 때, label의 값이 0 또는 1의 값이면, 1의 값을 모두 더하면 positive의 개수를 알 수 있다. 전체 positive의 개수를 확인하고, 파일의 line수를 계산하면 쉽게 알 수 있다. shell $ cat data | wc -l 데이터 1 2 3 4 5 6 7 8 9 명령어 shell $ cat data | awk '{sum+=$2 ; print $0} END{print "sum=",sum}' 출력 결과 1 2 3 4 5 6 7 8 9 sum= 15

command to split the file into multiple files 한개의 파일을 여러 파일로 분할하는 방법 데이터의 사이즈가 너무 크게 되면 메모리에 올릴 수 없다. 파일 하나를 shuf하거나 다른 작업을 할때, 메모리가 넘칠 수 있다. 하나의 파일을 여러개의 파일로 분할하자 파일의 개수와, 행의 개수를 지정 한다. 코드

쉘(shell) 스크립트에서 에러가 발생하면 메시지 보내는 방법 들어가며 쉘에서 스크립트 실행을 한 이후에 에러까 발생하면 메시지를 보내자 기존에 있는 메신저앱 텔레그램(telegram)을 이용하자 쉘 스크립트 어디에도 마지막에 한줄 추가로 가능 코드

쉘(shell)에서 날짜(date) 반복 하는 방법 요구사항 월별, 일별 데이터를 읽어야 한다. 반복문을 이용해 반복적으로 날짜를 읽어야 한다. 날짜의 시작과 끝을 설정해야 한다. bash에서 제공하는 date를 이용해서 여러가지 포맷으로 출력한다. date의 연산(+, -)가 가능해야 한다. 코드