dev_moment dev_moment

해당 게시글은 비전공자이자 초보 개발자 지망생이 작성한 글로 정확하지 않을 수 있으니 참고해주시길 바랍니다! 피드백과 정보 정정 댓글은 환영입니다 :) 요즘 강의 듣고 남는 공강 시간에 하둡 완벽가이드라는 책을 읽고 있다. 하둡에 대한 기초 지식을 잘 풀어서 설명하고 있어서 읽게 되었는데, 오늘 이 책이 나에게 첫 시련을 주었다... 하둡은 brew로 쉽게 설치했으나 의사 분산 모드로 실행하는 과정에서 엄청난 삽질을 해버렸다. 다른 사람들이 나처럼 삽질 하지 않기를 바라며 그 과정을 정리해보도록 하겠다. 설치 환경: Mac Os Catalina 버전 10.15.7 0. ssh 설치 확인 ssh localhost 해당 코드를 입력하여 ssh 설치 여부를 확인해준다. 만약 connection refused ..

해당 게시글은 비전공자이자 초보 개발자 지망생이 작성한 글로 정확하지 않을 수 있으니 참고해주시길 바랍니다! 피드백과 정보 정정 댓글은 환영입니다 :) Hadoop은 대용량의 데이터가 디스크에 저장되어 있고, 대용량의 데이터를 디스크(하드드라이브, HDD)에서 읽고 쓰기 때문에 처리 시간이 오래 걸린다. 또한, 아래 그림과 같이 하둡은 맵리듀스 과정에서 나온 중간 결과를 모두 디스크에 저장하고 이를 재사용하여 처리 시간이 오래 걸리고 디스크 사용량이 늘어나게 된다. 이러한 단점을 개선한 것이 Spark이다. - Spark란 ? Spark는 인메모리 기반의 대용량 데이터를 분산처리할 수 있는 고속 처리 엔진이다. RDD(Resilient Distributed Dataset) 방식의 인메모리형 자료 구조를 ..

해당 게시글은 비전공자이자 초보 개발자 지망생이 작성한 글로 정확하지 않을 수 있으니 참고해주시길 바랍니다! 피드백과 정보 정정 댓글은 환영입니다 :) http://www.kmooc.kr/courses/course-v1:MA_CUK+MATCHUP_CUK08+2022_1/course/ 강좌 | MATCHUP_CUK08 | K-MOOC www.kmooc.kr 1주차에는 빅데이터 프레임워크에 대한 전반적인 이해를, 2주차에는 리눅스 사용 방법과 도커에 대한 기본적인 개념에 대해 알아보았다. 3주차에는 도커를 활용하여 Flume을 실행하고 이를 통해 기본 문법(?) 및 명령어에 대해 알아보았다. 이 과정에서 새롭게 알게 된 내용이 많아 정리해보고자 한다. 1. 아파치 플룸이란, 그리고 특징들 아파치 플룸은 데이..

해당 게시글은 비전공자이자 초보 개발자 지망생이 작성한 글로 정확하지 않을 수 있으니 참고해주시길 바랍니다! 피드백과 정보 정정 댓글은 환영입니다 :) 출처: https://wikidocs.net/book/2203 빅데이터 - 하둡, 하이브로 시작하기 이 책은 하둡을 처음 시작하는 사람들을 대상으로 작성하였습니다. **하둡**은 빅데이터 기술의 시작점입니다. 하둡이 맵리듀스와 HDFS 기술을 소개하면서 빅데이터를 ... wikidocs.net 1 - 하둡이란? 하둡은 하나의 고성능 컴퓨터로 모든 데이터를 처리하지 않고, 적당한 성능의 컴퓨터 여러 대를 클러스터화(여러 컴퓨터를 논리적으로 결합하여 전체를 한 대의 컴퓨터처럼 이용할 수 있게 하는 시스템 구축 기술. 구성 요소인 각각의 컴퓨터를 노드라고 하며..

해당 게시글은 비전공자이자 쌩초보 개발자 지망생이 작성한 글로 정확하지 않을 수 있으니 참고해주시길 바랍니다! 피드백과 정보 정정 댓글은 환영입니다 :) 해커랭크에서 Select/Aggregation 섹션에 있는 문제들을 풀고 알게 된 구문들을 정리해보자! 다만 문제들 이름을 다 적어놓지 않아서... 어떤 문제에 대한 솔루션인지는 알 수 없다 ^^... 앞으로는 잘 메모를 해놓자... - 정규표현식의 활용 * CITY 에 해당하는 값들을 STATION 이라는 테이블에서 가져오되, CITY의 값이 모음으로 시작하고 모음으로 끝나는 형태만 select * ^[]은 []안에 있는 문자로 시작하는 것을 의미. [^]은 [] 안에 있는 문자를 제외하는 것을 의미. ^의 위치에 따라 의미하는 바가 다르다. SELE..

해당 게시글은 비전공자이자 쌩초보 개발자 지망생이 작성한 글로 정확하지 않을 수 있으니 참고해주시길 바랍니다! 피드백과 정보 정정 댓글은 환영입니다 :) 프로그래머스에 나오는 문제들 풀면서 새롭게 알게 된 구문들을 정리해보자! - table_name 의 전체 행 개수 가져오기 SELECT COUNT(*) FROM table_name; - table_name의 전체 행 개수를 cnt 라는 이름으로 가져오기 SELECT COUNT(*) as cnt FROM table_name; - table_name에서 name 열에 해당하는 행의 개수를 중복 없이, NULL 값을 제외하고 cnt라는 이름으로 가져오기 SELECT COUNT(DISTINCT name) as cnt FROM table_name; - 프로그래머..