불로

들어가며 데이터 분석에서 가장 많이, 그리고 자주 사용하는 field가 timestamp의 값이 아닐까 싶다. 그 중에서도 timestamp의 raw데이터를 통해서 새로운 feature를 생성하는 방법이 있다. 예를 들어 날짜별 사용자 방문 수 라고 할때, timestamp의 값에서 우리는 month와 day를 추출해서 새로운 feature의 값으로 사용을 해야 한다. 소스코드 DataFrame의 데이터 타입인 df에서 select의 함수를 통해서 원하는 Column을 추출을 하는 과정이다. timestamp_milli의 값은 ms의 단위의 값이기 때문에 1000을 나눈뒤에 spark에서 제공하는 functions의 라이브러리를 import한 뒤에 사용하면 된다. from_unixtime을 통해 date..

들어가며 서버 작업을 하다보면 timestamp와 datetime을 자주 사용하게 된다. 로그 파일명이나 로그를 남기는 안에 내용도 시간이 포함되어 있어야 하니까, 가끔 파일에 작성하고, 파일에서 시간을 읽었을때 datetime의 형태로 string인 값을 받아올 때가 있는데, 이때는 String값을 datetime으로 변환할 줄 알아야한다. 또한 로그를 남길때 거의 대부분 timestamp로 남긴 후에 나중에 내가 보기 편한 형태로 변형하기 위해서 datetime형태로 작성을한다. 마지막은 보너스입니다. 총 3가지의 방법에 대해서 설명한다. String의 값을 datetime으로 변환하는 방법timestamp를 datetime으로 변환하는 방법datetime을 timestamp로 변환하는 방법 예제 코..