[Shell] 데이터 특정 퍼센트로 나누는 방법

데이터를 특정 퍼센트로 나누는 방법

하나의 큰 데이터를 특정 퍼센트 만큼 샘플링을 하거나, train/test 데이터셋으로 나누고 싶은 경우가 있는데, 이때 사용하면 좋다.

1) split 70% based on lines

split -l $[ $(wc -l filename|cut -d" " -f1) * 70 / 100 ] filename

2) split 70% based on bytes

split -b $[ $(wc -c filename|cut -d" " -f1) * 70 / 100 ] filename

• 참고
  • https://unix.stackexchange.com/questions/10219/split-how-to-split-into-different-percentages