Solution developer

Hadoop 스터디를 위해 설치한 AWS 서버가 free teer 버전이라 메모리가 1G 였다. 따라서 Hadoop 설치 후, Mapreduce의 Wordcount를 실행하려하니 아래와 같은 에러가 발생했다. 1. 에러 OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000f660c000, 104861696, 0) failed; error='Cannot allocate memory' (errno=12) # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 10486169..

[문제] 문제 설명 대문자와 소문자가 섞여있는 문자열 s가 주어집니다. s에 'p'의 개수와 'y'의 개수를 비교해 같으면 True, 다르면 False를 return 하는 solution를 완성하세요. 'p', 'y' 모두 하나도 없는 경우는 항상 True를 리턴합니다. 단, 개수를 비교할 때 대문자와 소문자는 구별하지 않습니다. 예를 들어 s가 pPoooyY면 true를 return하고 Pyy라면 false를 return합니다. 제한사항 문자열 s의 길이 : 50 이하의 자연수 문자열 s는 알파벳으로만 이루어져 있습니다. 입출력 예 s answer pPoooyY true Pyy false 입출력 예 설명 입출력 예 #1 'p'의 개수 2개, 'y'의 개수 2개로 같으므로 true를 return 합니다...

[문제] 문제 설명 문자열로 구성된 리스트 strings와, 정수 n이 주어졌을 때, 각 문자열의 인덱스 n번째 글자를 기준으로 오름차순 정렬하려 합니다. 예를 들어 strings가 [sun, bed, car]이고 n이 1이면 각 단어의 인덱스 1의 문자 u, e, a로 strings를 정렬합니다. 제한 조건 strings는 길이 1 이상, 50이하인 배열입니다. strings의 원소는 소문자 알파벳으로 이루어져 있습니다. strings의 원소는 길이 1 이상, 100이하인 문자열입니다. 모든 strings의 원소의 길이는 n보다 큽니다. 인덱스 1의 문자가 같은 문자열이 여럿 일 경우, 사전순으로 앞선 문자열이 앞쪽에 위치합니다. 입출력 예 stringsnreturn Strings n retrun [s..

AWS EC2 free teer로 Hadoop을 실행하면서 많은 문제가 발생했다. Mapreduce를 이용해 wordcount를 테스트하는 작업은 환경만 제대로 주어진다면, 간단하게 종료 될 예제였지만 Exception 처리 등 생각보다 많은 시간이 소요되었다. 1. WordCount 실행 전 디렉토리 생성 및 파일 작업 hdfs dfs -mkdir -p /user/hadoop/input cd hadoop hdfs dfs -put LICENSE.txt /user/hadoop/input/ ​ 2. Mapreduce jar 파일 해제 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount input output 발생 가능..

AWS EC2 Centos7 환경에서 hadoop3 설치 후 Hdfs를 시작해보자. [이전 포스팅] - AWS EC2 서버 생성 - Hadoop 설치 1. Hadoop Web Interface 접속하기 퍼블릭ip:9870 을 통해 Hadoop Web Interface에 접속한다. * 접속이 되지 않는 경우 ( 이전 포스팅 : Windows에서 AWS EC2 접속 방법) 1, 해당 port가 Inbound 규칙에 Open이 되어있는지 확인한다. 2. AWS 내에서 방화벽을 설정해둔 상태라면 해제해둔다. (Inbound, Outbound로 관리하여야 한다.) 3. 실행중인 하둡의 Default Port 버전을 확인한다. (50070->9870으로 변경) 2. hdfs 디렉토리 생성 hdfs dfs -mkdi..

하둡 설치 후 AWS 서버에서 Jps를 통해 하둡 Job이 정상 시작한 것은 확인 할 수 있었다. 하지만 로컬(Windows)에서 Chrome과 같은 브라우저를 통해 Web 화면을 띄워 정상 시작을 확인하는 과정에서 많은 시간이 소요되었다. [문제점] 1. 방화벽 문제 2. Hadoop Default 문제 0. Hadoop job 확인 위의 해결방법을 찾아보기 전, 가장 먼저 확인해야 할 것은 Hadoop이 서버에 떠있지 않아 화면을 볼 수 없는 경우가 있으므로, jps를 통해 job이 정상 실행되고 있는지 먼저 확인한다. 1. 방화벽 문제 Windows Chrome에서 하둡 인터페이스 웹에 접근하려 했더니 계속해서 방화벽 문제가 발생했다. 검색을 하다가 centos에 방화벽을 설치하고 세팅해주었는데, ..

AWS Centos서버에 Hadoop 3.1.2 버전을 설치해보자. 이전 포스팅 : AWS 서버 생성 1. 기본 세팅 1. root계정 sudo su ​ 2. java 다운 yum install java-1.8.0-openjdk-devel.x86_64 ​ 3. 계정 생성 및 전환 adduser hadoop passwd hadoop su hadoop ​ ​ 4. SSH 설정 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ssh localhost exit ​ 2. 설치 1. wget 설치 yum install wget su hadoop ..

AWS Centos7 서버를 생성하고 SSH를 통해 접속을 시도 했는데, 접속이 되지 않았다. pem 키를 ppk 형식으로 변환해주어야하는 과정이 필요하고, centos의 경우 서버 접속 전, login as 값에 centos를 입력해주어야 접속이 가능했다. 1. SSH Tool Download AWS 서버에 접속하기 위해 SSH 툴을 다운받는다. 시큐어 셸(Secure Shell, SSH)은 네트워크 상의 다른 컴퓨터에 로그인하거나 원격 시스템에서 명령을 실행하고 다른 시스템으로 파일을 복사할 수 있도록 해 주는 응용 프로그램 또는 그 프로토콜을 가리킨다. - putty - cmder - mobaXterm 구글링해보면 putty를 주로 사용하고 있어 검색 결과도 많이 나오는데, 개인적으로 mobaXte..

Hadoop 환경 구축을 위한 AWS를 구축하기로 했다. AWS Centos7 서버를 생성해보자. 1. Amazon EC2 시작하기 https://aws.amazon.com/ko/ec2/ 아마존 클라우드 서버 호스팅 | Amazon Web Services “많은 퍼블릭 클라우드를 둘러보았지만, AWS가 안정성, 보안, 서비스 다양성을 포함한 주요 기준에서 가장 높은 점수를 받았습니다.” Lawrence Fong, Cathay Pacific IT 솔루션 부장 aws.amazon.com EC2는? Amazon Elastic Compute Cloud(EC2)는 안전하고 크기 조정이 가능한 컴퓨팅 파워를 클라우드에서 제공하는 웹 서비스입니다. 개발자가 더 쉽게 웹 규모의 클라우드 컴퓨팅 작업을 할 수 있도록 설..

[문제] 문제 설명 두 정수 a, b가 주어졌을 때 a와 b 사이에 속한 모든 정수의 합을 리턴하는 함수, solution을 완성하세요. 예를 들어 a = 3, b = 5인 경우, 3 + 4 + 5 = 12이므로 12를 리턴합니다. ​ 제한 조건 a와 b가 같은 경우는 둘 중 아무 수나 리턴하세요. a와 b는 -10,000,000 이상 10,000,000 이하인 정수입니다. a와 b의 대소관계는 정해져있지 않습니다. ​ 입출력 예 a b return 3 5 12 3 3 3 5 3 12 ​ [1차 풀이] - 풀긴 풀었는데 다른 코드를 보니 좋은 방법이 너무 많다.풀어보자~! def solution(a, b): answer = 0 if a==b: return a elif a b : a , b = b , a ..