불로

들어가며 데이터 분석에서 가장 많이, 그리고 자주 사용하는 field가 timestamp의 값이 아닐까 싶다. 그 중에서도 timestamp의 raw데이터를 통해서 새로운 feature를 생성하는 방법이 있다. 예를 들어 날짜별 사용자 방문 수 라고 할때, timestamp의 값에서 우리는 month와 day를 추출해서 새로운 feature의 값으로 사용을 해야 한다. 소스코드 DataFrame의 데이터 타입인 df에서 select의 함수를 통해서 원하는 Column을 추출을 하는 과정이다. timestamp_milli의 값은 ms의 단위의 값이기 때문에 1000을 나눈뒤에 spark에서 제공하는 functions의 라이브러리를 import한 뒤에 사용하면 된다. from_unixtime을 통해 date..

들어가며 SQL을 사용하면서 시간에 대한 조건을 걸어서 검색을 하는 경우가 많습니다. 저 같은 경우에는 로그가 정확하게 해당 날짜에 올라오는 개수를 알고 싶을때나, 특정 시간대에 이상점을 알고, 그 이상점에 대해 자세하게 분석하기 위해 시간 조건을 걸어서 조금더 디테일하게 보는 경우가 있습니다. 아래 예제는 timestamp에 between and 의 조건으로 검색하는 방법에 대해서 설명을 하려고 합니다. 쿼리 예제 해당 쿼리는 MySQL의 기준으로 사용한 쿼리입니다. 어떤 특정 table에서 모든 조건(*)을 검색하려고 합니다. 여기서 timestamp의 형은 SQL에서 데이터 타입인 TIMESTAMP의 형태를 갖고 있습니다. 이때 SQL에서 특정 날짜에 속해있는 rows를 가져오는 방법으로 betwe..

들어가며 리눅스 shell에서 날짜, 시간에 대해서 정보가 필요할 경우가 있습니다. 저 같은 경우에는 로그 파일을 떨어뜨릴때 현재시간이 포함된 파일명을 함께 저장하고 싶을때 사용하는데요. shell script를 작성할때 사용하면 유용하니 사용 방법에 대해서 설명해 드리겠습니다. 리눅스에서 중요한 명령어 중 하나인 man의 명령어를 통해 date를 어떻게 사용하는지는 너무너무 친절하게 나와있으니, 추가적으로 궁금하거나 알고 싶은 내용이 있으면 확인을 해보는게 좋습니다. 특히 linux를 주로 사용하는 유저라면 man에 익숙해지는게 중요하니 아래 내용을 한번 확인해보세요. $ man date 예제 아래 예제에서 현재 시간을 가져오고, 현재 시점에서 +/-를 하는 방법에 대해 설명하고 있습니다. 그 외에도 ..