반응형

파이썬 35

[데이터분석] 어디지역의 아파트를 사야할까? (#서울특별시)

안녕하세요. 오늘은 부동산 "시군구별평당가격"에 대해서 알아보도록 하겠습니다. 그 중에서도 "서울특별시"지역에 대해서 알아볼까합니다. 차트 아래 차트는 "서울특별시의 시군구별평당가격" 를 나타낸 내용입니다. x축의 값은 시간을 나타냅니다. y축의 값은 평당거래액을 나타내며 단위는 만원입니다. 왼쪽 위에는 범례(legend)를 나타냅니다. 해당 그래프는 시간에 따라 평당거래금액의 변화 추이를 확인하기 위한 그래프입니다. 차트 오른쪽에 붙어있는 테이블은 평균, 편차, 최소값, 최대값, 상위 하위 25%, 중간값을 나타냅니다. 위 차트에서는 평당거래액의 편차가 크면 클수록 네모박스의 크기가 커집니다. 네모박스가 커진것은 월마다 평당가격의 변화가 크다고 해석하시면 됩니다. 네모박스 안에 있는 초록색 선은 해당 ..

경제/부동산 2018.12.08

[부동산 데이터 분석] #2.재료만들기 (“11110” 아는사람은 Skip, 모르면 드루와)

​ https://youtu.be/xJy4IShFZ2I​ # 주제 부동산 데이터 분석 https://www.youtube.com/watch?v=e1N3PVwRV_U 에서 부동산 실거래 매매 내역 데이터의 출처와 가져오는 방법에 대해서 소개를 했습니다. 부동산 데이터를 다루기 전에 필요한 재료들을 모으는 시간입니다. “11110”은 무엇을 의미할까요? # 오늘 다루는 주제 * 부동산 주소코드 구조 * 인코딩 해결 방법 [¿⁄∑·∞«ºˆ] ∞«π∞DB(2018≥‚ 10ø˘ 31¿œ ±‚¡ÿ) * 윈도우에서 리눅스로 데이터 옮길때 한글 짐 현상 * 나만의 메타데이터 생성하기 (*.csv) * 주피터랩 (JuipyterLab) * https://www.youtube.com/watch?v=sqMYhAIaYZQ *..

데이터분석 2018.12.02

[부동산 데이터 분석] #1.데이터의 출처 어디일까? 공공데이터 포털의 실체 (feat. Postman) 내집마련이 시급하다!

​ # 주제 부동산 데이터 분석의 시작! “Chapter1. 요리에 필요한 재료를 어디에서 얻을까?” 부동산 실거래 (매매, 전세) 데이터를 수집 아파트, 오피스텔 계약(매매,전세)시에 나에게 맞는 집을 어떻게 찾을수 있을까? 내집마련이 필요한 사람들 다 모여라! 데이터 분석을 통한 내집마련 이제 시작합니다. https://youtu.be/e1N3PVwRV_U​ # 오늘 다룰 주제 * 공공데이터 * 국토교통부의 정체 * API를 이용한 데이터 조회 * API를 개발할때 유용한 툴 postman # URLs * https://www.data.go.kr * https://www.getpostman.com # 블로그 * 영상을 보시고 궁금한점이 있으면 아래 댓글로 남겨주시면 답변 해드리겠습니다. * 이것이 알..

데이터분석 2018.12.02

네이버 댓글 봇, 야구 자동예매 어떻게 만들어지는 걸까? (Selenium with Python을 이용한 자동화를 해보자!!!)

​ 유투브 바로가기​ # 주제 안녕하세요 동화입니다. 네이버 댓글 봇, 야구자동예매, 웹클롤러는 어떻게 만들어질까? 브라우저에서 하는 작업을 모든것을 자동화할 수 있습니다. 잘못 사용하면 악용이 될 수 있습니다. # 오늘 다루는 주제 * 네이버 댓글 논란! 어떻게 만들어지는 걸까 ? * 나보다 빠른 예매, 야구 공연 티켓을 어떻게 할까? * 데이터를 모으는 크롤링(Crawling)은 어떻게 할까? * Selenium, WebDriver를 설치하고, 실습까지!! * 브라우저에서 하는 모든 작업은 자동화가 가능합니다! # URLs * https://selenium-python.readthedocs.io/ *http://chromedriver.chromium.org/downloads * http://ourcs..

Programming/Python 2018.11.21

엑셀 언제까지? 간단한 개발로 3초안에 정산 순삭! (엑셀하는 사람들 모여라~) 판다스(Pandas)로 한방에!

영상 ​ 엑셀 언제까지? 간단한 개발로 3초안에 정산 순삭! (엑셀하는 사람들 모여라~) https://youtu.be/hRMAl3cRE8c # 정산하는 방법 안녕하세요 동화입니다. 엑셀로 반복적인 지긋지긋한 정산은 이제그만~ 손쉬운 코딩으로 자동화 하면! 3초면 정산 완료! # 오늘 다루는 주제 * 정산 어떻게 하면 쉽게 할 수 있을까? * 쥬피터랩(Jupyterlab)을 사용하고 정산하기 * 판다스(Pandas)를 사용해서 쉽게 정산하기 * 일상에서 간단한 프로그래밍 * 배달의 민족, 요기요, 배달통 정산 3초에 끝내기 # URLs * http://jupyter.org/ * https://pandas.pydata.org/ * https://jupyterlab.readthedocs.io/en/... #..

Programming 2018.11.18

[Python] Jupyter matplot한글 깨짐 현상

파이썬 쥬피터(juypter) 한글 깨짐 현상 파이썬에서 주로 사용하는 jupyter notebook에서 한글을 설정 안하면 깨진다. 'ㅁㅁㅁㅁ'로 표시 되기 때문에 한글을 설치하고, 세팅하는 작업이 필요하다 Centos에 한글 나눔 글씨체 설치 ``` $ cd /usr/share/fonts/ $ wget http://cdn.naver.com/naver/NanumFont/fontfiles/NanumFontTTFALL.zip $ unzip NanumFontTTFALL.zip -d NanumFont $ rm -f NanumFontTTFALL.zip ``` [참고] 2017.02.20 - Centos 나눔글씨체 설치하는 방법 http://zetawiki.com/wiki/%EB%A6%AC%EB%88%85%EC%..

Programming/Python 2018.10.20

[Tensorflow] How to Retrain Inception’s Final Layer for New Categories

modern object recognition models은 수백만개의 파라미터의 값과 full train을 하는데 걸리는 시간이 주 단위로 걸리게 된다. Transfer learning은 여러개의 categories로 이루어진 set을 fully-trained model인 ImageNet을 대상으로, 새로운 클래스를 추가해서 기존에 존재하는 weights를 다시 retrain하는 것을 말한다. 요약해서 말하면, 이미 트레이닝이 된 모델의 수백만개의 parameters를 그대로 사용하는데, 새로운 클래스를 추가하므로서, 기존 weights를 retrain하는 것을 Transfer learning이라고 한다. 예를 들어서 마지막 final layer를 retraining하고, 그 나머지 모든 layer에 ..

[Python] Flask Response Encoding 문제

파이썬에서 response를 보내는데, utf8이아닌, 유니코드 그대로 보내지고, 화면에 출력되는 문제가 발생했다. 정말 파이썬 하면서 encoding 문제는 진짜… 항상 마주할때마다 이렇게 해서 고쳐야지~라고 생각하고 고쳤을때 바로 안되면, 그냥 당황스럽기 짝이없음. { "code": 100, "data": { "\uc548\ub155": 2, "\ud558\uc774\ub8e8": 2 }, "mesg": "success", "method": "get", "target": "/api/test", "time": 0.001} 아무래 utf8로 encoding을 해도 결과는 같음, postman에서 json으로 보면 아주 예쁘게 보여서 content-type을 appliction/json으로 보내면 되나 했..

Programming/Python 2017.02.07

[Tensorflow] Overfitting 해결방법

네트워크를 구성하고, training을 하는데, accuracy와 cross-entropy의 그래프에서 training, validation의 값이 차이가 나는게 보였다. 빨간색이 training, 파란색이 validation이다. training의 acc의 값은 증가하고, cross-entropy의 값은 계속 줄어드는데 반면, validation의 값은 반대로 유지가 되거나, 반대로 증감하는 그래프를 확인할 수 있었다. 즉 현재 네트워크는 overfitting 되었다고 말할 수 있다. Dropout tensorflow에서는 fully connected layer를 일정 노드를 dropout을 함으로써, overfitting문제를 해결한다. input으로는 neuron’s을 유지할 probability를..

[Python] Flask logging 하는 방법

WAS에서 logging을 남기는건 기본중에 기본, 파일로 로깅을 남기는 방법과 에러가 나면 메일을 보내주는 방식이 두가지가 있다. 참 편하게 다 해주니 너무 좋구나. 이번에는 file로 logging을 남기기로 생각했다. 디버깅을 하기 위해서는 file로 많은 정보가 있을수록 좋다. 여러개의 file_handler를 사용해서 구현하면 된다. * FileHandler - logs messages to a file on the filesystem. * RotatingFileHandler - logs messages to a file on the filesystem and will rotate after a certain number of messages. * NTEventLogHandler - will l..

Programming/Python 2017.02.07
반응형