하둡2 [클라우드컴퓨팅] HDFS & MapReduce HDFS HDFS 특징 분산 파일 시스템 네트워크로 연결된 여러 머신의 스토리지를 관리하는 파일시스템. 특정 노드에 장애가 발생해도 자료가 유실되지 않아야 함. 또한 데이터가 단일 물리 머신의 저장 용량을 초과하게 되면 전체 데이터셋을 분리된 여러 머신에 나눠서 저장할 필요가 있음. 일반적으로 매우 큰 파일을 저장 수백 메가바이트 ~ 페타바이트 대용량 데이터의 순차적 접근에 유리 첫 번째 레코드를 읽는데 걸리는 지연시간보다, 전체 데이터셋을 모두 읽을 때 걸리는 시간이 더 중요하다. 범용 하드웨어를 기반으로 설계 신뢰성이 비교적 낮은, 저가의 범용 하드웨어를 위한 설계. 장애 시 사용자가 알 수 없을 정도의 작업 수행 가능. 적합하지 않는 분야 빠른 데이터 응답시간이 필요한 경우 / 임의 접근 수 많은 .. 2022. 10. 15. [클라우드컴퓨팅] 클라우데라 하둡 싱글노드 설치 설치 환경 아래의 프로그램들이 준비되어야 합니다. VirtualBox 6.0.10 Ubuntu 18.04 XShell 6 XFTP 6 Java 11.04 하둡 설치 공식 문서를 통해서도 진행 가능합니다. https://hadoop.apache.org/docs/r2.10.2/ 1. Hadoop 다운로드 하둡은 아파치 프로젝트에 속해 있습니다. >> https://www.apache.org/ Welcome to The Apache Software Foundation! Official ASF reports and statements, including Quarterly and Annual Reports, Vision Statement, "Apache is Open", 5-Year Strategic Plan, .. 2022. 10. 14. 이전 1 다음
