반응형 Programming/Python22 [Python] 로컬에 있는 csv파일 Hadoop으로 복사하기 안녕하세요. 이번에는 Python으로 로컬에 있는 csv파일을 Hadoop으로 복사하는 방법을 알아보려고 합니다. from hdfs import InsecureClient # hdfsIp - hadoop이 설치 되어 있는 IP를 써주시면 됩니다. ex) 192.168.1.1:9870 client = InsecureClient(hdfsIp) # filePath - 로컬 기준 어디에 있는 파일인지 path를 설정해주시면 됩니다. with client.write(filePath, encoding = 'utf-8') as path: data.to_csv(path, index = False) 위와 같이 주석으로 처리한 부분만 주의해주시면서 작성하시면 될 것 같습니다! 감사합니다! 2021. 12. 6. [Python] Hadoop에 있는 csv파일 내용 pandas를 사용하여 읽기 안녕하세요. 이번에는 Python으로 Hadoop에 있는 csv파일 내용 pandas를 사용하여 읽기 방법을 알아보려고 합니다. from hdfs import InsecureClient import pandas as pd # hdfsIp - hadoop이 설치 되어 있는 IP를 써주시면 됩니다. ex) 192.168.1.1:9870 client = InsecureClient(hdfsIp) # filePath - hadoop 기준 어디에 있는 파일인지 path를 설정해주시면 됩니다. with client.read(filePath, encoding = 'utf-8') as data: # header - 헤더를 제외하고 데이터를 불러오게 됩니다. / delimiter - csv 구분자를 지정해주는 기능입니다... 2021. 12. 6. [Python] 윈도우에서 주피터 노트북 설치 및 실행 안녕하세요. 이번에는 주피터 노트북 설치 및 실행을 해보겠습니다. 먼저 CMD(명령프롬프트)를 실행해주시고 아래 그림과 같이 py -m pip install jupyterlab이라고 적어주시게 되면 주피터 노트북 설치가 진행됩니다. 설치가 되었으면 실행을 해보도록 하겠습니다. 아래 그림과 같이 py -m jupyter lab 을 치시게 되면 주피터 노트북을 실행할 수 있습니다. 주피터 노트북을 실행하게 된다면 아래와 같이인터넷 창이 하나 열리게 됩니다. 또한 http://localhost:8888 으로 주피터 노트북을 실행할 수 있습니다. 초기화면에서 Notebook에 있는 Python 3를 누르게 되면 파이썬을 실행할 수 있는 주피터 노트북을 만들 수 있습니다. 파일이 만들어지는 위치는 왼쪽에 보면 디.. 2021. 10. 28. [Python] 파이썬 설치 및 실행 방법 안녕하세요. 이번에는 파이썬 설치하는 법을 알려드릴건데요. 파이썬은 최신 버전보다는 한단계 낮은 릴리즈 버전을 다운받는것을 추천드립니다. ex) 3.10.x 이 최신이라면 3.9.x를 추천 드립니다. 그렇다면 파이썬 설치법을 알려드리겠습니다. 첫번째로는 파이썬 공식 사이트에 가서 원하는 버전의 파이썬을 설치하시면 됩니다. 현재 기준 3.10.x가 최신이므로 3.9.x 버전을 설치하도록 하겠습니다. https://www.python.org/downloads/ Download Python The official home of the Python Programming Language www.python.org 글 쓰는 날을 기준으로는 3.9.x 중 3.9.7이 제일 최신이네요! 그럼 저는 3.9.7을 설치해보.. 2021. 10. 19. 이전 1 2 3 4 다음
