[Python] 로컬에 있는 csv파일 Hadoop으로 복사하기

안녕하세요.

이번에는 Python으로 로컬에 있는 csv파일을 Hadoop으로 복사하는 방법을 알아보려고 합니다.

 

from hdfs import InsecureClient

# hdfsIp - hadoop이 설치 되어 있는 IP를 써주시면 됩니다. ex) 192.168.1.1:9870
client = InsecureClient(hdfsIp)

# filePath - 로컬 기준 어디에 있는 파일인지 path를 설정해주시면 됩니다.
with client.write(filePath, encoding = 'utf-8') as path:

data.to_csv(path, index = False)

 
위와 같이 주석으로 처리한 부분만 주의해주시면서 작성하시면 될 것 같습니다!

감사합니다!