반응형 Hadoop에 있는 파일 읽기1 [Python] Hadoop에 있는 csv파일 내용 pandas를 사용하여 읽기 안녕하세요. 이번에는 Python으로 Hadoop에 있는 csv파일 내용 pandas를 사용하여 읽기 방법을 알아보려고 합니다. from hdfs import InsecureClient import pandas as pd # hdfsIp - hadoop이 설치 되어 있는 IP를 써주시면 됩니다. ex) 192.168.1.1:9870 client = InsecureClient(hdfsIp) # filePath - hadoop 기준 어디에 있는 파일인지 path를 설정해주시면 됩니다. with client.read(filePath, encoding = 'utf-8') as data: # header - 헤더를 제외하고 데이터를 불러오게 됩니다. / delimiter - csv 구분자를 지정해주는 기능입니다... 2021. 12. 6. 이전 1 다음