불로

​ [부동산 데이터 분석] #3. 실거래데이터 쌓기 (데이터를 꼭 DB에 저장해야 한다는 생각을 버려~ 노하우 공유!!)​ # 주제 부동산 데이터 분석 [부동산 데이터 분석] #1.데이터의 출처 어디일까? 공공데이터 포털의 실체 (feat. Postman) 내집마련이 시급하다!​ [부동산 데이터 분석] #2.재료만들기 (“11110” 아는사람은 Skip, 모르면 드루와)​ 에 이어서 실거래 매매 데이터 쌓기 최종회! 어떻게 함수형태로 구성하고 데이터를 저장할까~? # 오늘 다루는 주제 * 이전 영상 리뷰 * 파이썬 함수형태 * 어떻데 유니크한값을 찾을까? * 데이터 저장할때 어떻게 효율적으로? 데이터 저장구조 * 날짜데이터는 어떻게 생성할까? (datetime) * 주피터랩 (JuipyterLab) * ..

​ https://youtu.be/xJy4IShFZ2I​ # 주제 부동산 데이터 분석 https://www.youtube.com/watch?v=e1N3PVwRV_U 에서 부동산 실거래 매매 내역 데이터의 출처와 가져오는 방법에 대해서 소개를 했습니다. 부동산 데이터를 다루기 전에 필요한 재료들을 모으는 시간입니다. “11110”은 무엇을 의미할까요? # 오늘 다루는 주제 * 부동산 주소코드 구조 * 인코딩 해결 방법 [¿⁄∑·∞«ºˆ] ∞«π∞DB(2018≥‚ 10ø˘ 31¿œ ±‚¡ÿ) * 윈도우에서 리눅스로 데이터 옮길때 한글 짐 현상 * 나만의 메타데이터 생성하기 (*.csv) * 주피터랩 (JuipyterLab) * https://www.youtube.com/watch?v=sqMYhAIaYZQ *..

​ # 주제 부동산 데이터 분석의 시작! “Chapter1. 요리에 필요한 재료를 어디에서 얻을까?” 부동산 실거래 (매매, 전세) 데이터를 수집 아파트, 오피스텔 계약(매매,전세)시에 나에게 맞는 집을 어떻게 찾을수 있을까? 내집마련이 필요한 사람들 다 모여라! 데이터 분석을 통한 내집마련 이제 시작합니다. https://youtu.be/e1N3PVwRV_U​ # 오늘 다룰 주제 * 공공데이터 * 국토교통부의 정체 * API를 이용한 데이터 조회 * API를 개발할때 유용한 툴 postman # URLs * https://www.data.go.kr * https://www.getpostman.com # 블로그 * 영상을 보시고 궁금한점이 있으면 아래 댓글로 남겨주시면 답변 해드리겠습니다. * 이것이 알..

​ 유투브 바로가기​ # 주제 안녕하세요 동화입니다. 네이버 댓글 봇, 야구자동예매, 웹클롤러는 어떻게 만들어질까? 브라우저에서 하는 작업을 모든것을 자동화할 수 있습니다. 잘못 사용하면 악용이 될 수 있습니다. # 오늘 다루는 주제 * 네이버 댓글 논란! 어떻게 만들어지는 걸까 ? * 나보다 빠른 예매, 야구 공연 티켓을 어떻게 할까? * 데이터를 모으는 크롤링(Crawling)은 어떻게 할까? * Selenium, WebDriver를 설치하고, 실습까지!! * 브라우저에서 하는 모든 작업은 자동화가 가능합니다! # URLs * https://selenium-python.readthedocs.io/ *http://chromedriver.chromium.org/downloads * http://ourcs..

영상 ​ 엑셀 언제까지? 간단한 개발로 3초안에 정산 순삭! (엑셀하는 사람들 모여라~) https://youtu.be/hRMAl3cRE8c # 정산하는 방법 안녕하세요 동화입니다. 엑셀로 반복적인 지긋지긋한 정산은 이제그만~ 손쉬운 코딩으로 자동화 하면! 3초면 정산 완료! # 오늘 다루는 주제 * 정산 어떻게 하면 쉽게 할 수 있을까? * 쥬피터랩(Jupyterlab)을 사용하고 정산하기 * 판다스(Pandas)를 사용해서 쉽게 정산하기 * 일상에서 간단한 프로그래밍 * 배달의 민족, 요기요, 배달통 정산 3초에 끝내기 # URLs * http://jupyter.org/ * https://pandas.pydata.org/ * https://jupyterlab.readthedocs.io/en/... #..

overview tensorflow는 graphs의 형태로 나타내는 프로그래밍 시스템을 말합니다. 그래프에 있는 노드들은 operations이라고 불리우는데, 줄여서 ops라고 칭합니다. op는 Tensor로 이루어져 있고, tensors간에 computaiton을 수행하게 됩니다. tensor는 multi-dimentional array형태로 되어있다. Tensorflow graph를 연산하기 위해서는 Session을 launch를 해야한다. Session은 Devices(CPUs, GPUs)위에서 연산을 실행한 후에 결과를 반환한다. The computation graph Tensorflow 프로그램은 graph의 형태로 되어 있고, 그래프에 있는 ops의 연산을 수행하기 위해 session을 이용한..

modern object recognition models은 수백만개의 파라미터의 값과 full train을 하는데 걸리는 시간이 주 단위로 걸리게 된다. Transfer learning은 여러개의 categories로 이루어진 set을 fully-trained model인 ImageNet을 대상으로, 새로운 클래스를 추가해서 기존에 존재하는 weights를 다시 retrain하는 것을 말한다. 요약해서 말하면, 이미 트레이닝이 된 모델의 수백만개의 parameters를 그대로 사용하는데, 새로운 클래스를 추가하므로서, 기존 weights를 retrain하는 것을 Transfer learning이라고 한다. 예를 들어서 마지막 final layer를 retraining하고, 그 나머지 모든 layer에 ..

파이썬에서 response를 보내는데, utf8이아닌, 유니코드 그대로 보내지고, 화면에 출력되는 문제가 발생했다. 정말 파이썬 하면서 encoding 문제는 진짜… 항상 마주할때마다 이렇게 해서 고쳐야지~라고 생각하고 고쳤을때 바로 안되면, 그냥 당황스럽기 짝이없음. { "code": 100, "data": { "\uc548\ub155": 2, "\ud558\uc774\ub8e8": 2 }, "mesg": "success", "method": "get", "target": "/api/test", "time": 0.001} 아무래 utf8로 encoding을 해도 결과는 같음, postman에서 json으로 보면 아주 예쁘게 보여서 content-type을 appliction/json으로 보내면 되나 했..

네트워크를 구성하고, training을 하는데, accuracy와 cross-entropy의 그래프에서 training, validation의 값이 차이가 나는게 보였다. 빨간색이 training, 파란색이 validation이다. training의 acc의 값은 증가하고, cross-entropy의 값은 계속 줄어드는데 반면, validation의 값은 반대로 유지가 되거나, 반대로 증감하는 그래프를 확인할 수 있었다. 즉 현재 네트워크는 overfitting 되었다고 말할 수 있다. Dropout tensorflow에서는 fully connected layer를 일정 노드를 dropout을 함으로써, overfitting문제를 해결한다. input으로는 neuron’s을 유지할 probability를..

WAS에서 logging을 남기는건 기본중에 기본, 파일로 로깅을 남기는 방법과 에러가 나면 메일을 보내주는 방식이 두가지가 있다. 참 편하게 다 해주니 너무 좋구나. 이번에는 file로 logging을 남기기로 생각했다. 디버깅을 하기 위해서는 file로 많은 정보가 있을수록 좋다. 여러개의 file_handler를 사용해서 구현하면 된다. * FileHandler - logs messages to a file on the filesystem. * RotatingFileHandler - logs messages to a file on the filesystem and will rotate after a certain number of messages. * NTEventLogHandler - will l..