반응형 빅데이터2 [JAVA] 로컬에 있는 파일 하둡(Hadoop)으로 복사 일일이 파일을 HDFS에 올리는 작업을 할 수 없어서 JAVA코드로 지정해 놓은 경로에 파일이 있는 경우에 파일을 HDFS에 복사하는 코드를 작성해 보았습니다. - 개발환경 JDK 1.8 hadoop-common-2.10.0.jar (글 작성 기준 최신버전) Spring Boot 2.1.8 Spring Boot POM.xml org.apache.hadoop hadoop-common 2.10.0 jdk.tools jdk.tools org.apache.hadoop hadoop-hdfs 2.10.0 // 로컬 파일 파일 시스템에 복사 public void fileCopy() throws IOException { // hdfs://hadoop설치IP:hadoop설정포트 --> namenode 경로 String .. 2020. 3. 26. 빅데이터 기반의 분산 처리 클러스터 기능을 가진 하둡(Hadoop) 큰 크기의 데이터를 클러스터에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 하는 분산처리를 위한 오픈소스 프레임워크라고 할 수 있습니다. 장점 : - 저렴한 구축비용과 비용대비 빠른 데이터 처리 - 일부 장비에 장애가 발생하더라도 전체 시스템 사용성에 영항이 적음 - HDFS는 데이터를 저장하면, 다수의 노드에 복제 데이터도 함께 저장해서 데이터 유실을 방지 단점 : - HDFS에 저장된 데이터를 변경 불가 - 많은 버전과 부실한 서포트, 설정의 어려움 - 서버 재부팅되면 모든 메타데이터 유실 가능성 있음 여기서 HDFS란 ? - HDFS는 Hadoop Distributed File System의 약자이다. 수십 테라바이트 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 그 .. 2020. 3. 26. 이전 1 다음
