Yeon's 개발블로그

지식을 전파하는 개발자가 되고싶습니다.

hadoop 2

15. MapReduce Program의 구조

1. MapReduce 프로그램의 구조 public class ExampleClass{ //inner class로, 부모클래스의 인스턴스가 없어도 인스턴스 생성이 가능하도록 static으로 정의 public static vlass MyMapper extends Mapper{ K2 k2= new K2(); V2 v2=new V2(); public void map (K1 key, V1 value, Context context){ //body context.write(k2,v2); } } public static class MyReducer extends Reducer{ K3 k3=new K3(); V3 v3=new V3(); public void reduce(K2 key, Iterable values, Co..

Cloud Computing 2020.12.09

14. 병렬분산 처리 시스템: HADOOP이란?

*HADOOP이란? 안정적이고 확장가능한 분산 컴퓨팅을 하기 위한 오픈소스 소프트웨어이다. 하둡 소프트웨어 라이브러리는 프레임워크이고, 클러스터 상에 분산 저장되어있는 대용량 데이터셋을 대상으로 분산처리를 가능하게 한다. 단일서버나 수천대의 컴퓨터로 구성된 클러스터 상에도 실행이 가능하고, 클러스터내의 각 컴퓨터에서 로컬 컴퓨팅과 스토리지 기능을 제공한다. 고품질 하드웨어를 사용하는 것이 아니기 때문에 고가용성을 보장하고, 응용레이어에서 자체적으로 오류를 감지하고 해결하도록 라이브러리가 설계되어있다. 하둡은 HDFS에 데이터를 저장하고, YARN으로 리소스를 관리하고 MapReduce로 데이터를 처리한다. -개발배경: Google에서 모든 데이터를 대상으로 검색엔진을 제공하려는 목적에서 기존의 저장체계와..

Cloud Computing 2020.12.09