반응형
파이썬에서 gzip파일을 읽는 방법 2가지 성능 비교
gzip 파일 확인
gzip의 파일을 읽으려면 shell에서는 zcat을 이용하면 쉽게 데이터를 확인이 가능하다.
$ zcat * | head -100
$ zcat * | wc -l
아래 소스코드는 zcat과 pipeline을 이용해 읽는 방식과, gzip.open을 이용해 gzip의 파일을 읽는 속도를 비교한 코드이다.
코드
[참고] * https://codebright.wordpress.com/2011/03/25/139/
반응형
'Programming > Python' 카테고리의 다른 글
| [파이썬] Jupyter 한글 깨짐 현상 (0) | 2017.12.31 |
|---|---|
| [Python] Pandas csv를 dataframe으로 읽고 쓰는 방법 (1) | 2017.12.31 |
| 파이썬(Python) 리스트 모든 조합 구하기 (combination vs permutations vs product) (0) | 2017.12.17 |
| 파이썬(Python) 한글 문자 길이 (0) | 2017.12.10 |
| C를 Python으로 Wrapping하는 방법 (0) | 2017.12.10 |