반응형
파이썬에서 gzip파일을 읽는 방법 2가지 성능 비교
gzip 파일 확인
gzip의 파일을 읽으려면 shell에서는 zcat을 이용하면 쉽게 데이터를 확인이 가능하다.
$ zcat * | head -100
$ zcat * | wc -l
아래 소스코드는 zcat과 pipeline을 이용해 읽는 방식과, gzip.open을 이용해 gzip의 파일을 읽는 속도를 비교한 코드이다.
코드
[참고] * https://codebright.wordpress.com/2011/03/25/139/
반응형
'Programming > Python' 카테고리의 다른 글
| [Python] Pandas csv를 dataframe으로 읽고 쓰는 방법 (0) | 2018.10.20 |
|---|---|
| [Python] Jupyter matplot한글 깨짐 현상 (0) | 2018.10.20 |
| [Python] 튜블 정렬 하는 방법 (0) | 2018.10.20 |
| [Python] 쥬피터(jupyter) 노트북 백그라운드로 실행 (0) | 2018.10.20 |
| [Python] 사전에서 값을 기준으로 topK를 추출하는 방법 (0) | 2018.10.20 |