SPARK_HOME 환경 변수가 설정되어 있지만 주피터 노트북에는 표시되지 않습니다. (윈도우)

SPARK_HOME 환경 변수가 설정되어 있지만 주피터 노트북에는 표시되지 않습니다. (윈도우)

나는 윈도우 10에 있다. 나는 스파크를 파이썬 3.5와 함께 주피터 노트북에서 실행시키려 했다. 나는 Spark의 사전 구축 버전을 설치하고 SPARK_HOME 환경 변수를 설정했다. findspark를 설치하고 코드를 실행했습니다:

import findspark
findspark.init()

값 오류가 발생합니다:

값 오류: 스파크를 찾을 수 없습니다. 스파크_HOME env가 설정되어 있거나 스파크가 예상 위치에 있는지 확인하십시오(예: 홈브루 설치에서).

그러나 SPARK_HOME 변수가 설정되어 있습니다. 는 내 시스템의 환경 변수 목록을 보여주는 스크린샷입니다.

이 문제를 겪었거나 이 문제를 해결하는 방법을 아는 사람이 있습니까? 나는 누군가가 SPARK_HOME을 잘못된 폴더로 설정한 오래된 토론만 찾았지만 내 경우는 아닌 것 같다.

---

나도 같은 문제가 있었고 '부랑'과 '가상 상자'를 설치하여 해결했다. (참고, Mac OS와 Python 2.7.11을 사용하지만)

하버드 CS109 과정을 위한 이 튜토리얼을 살펴보십시오:

터미널에서 부랑자 새로고침을 한 후, 나는 오류 없이 코드를 실행할 수 있다. 첨부된 이미지에 표시된 "os.getcwd" 명령의 결과 차이를 기록하십시오.

---

나도 같은 문제가 있어서 많은 시간을 낭비했어. 두 가지 해결책을 찾았습니다:

두 가지 해결책이 있습니다

1. 다운로드 받은 스파크 폴더를 C 디렉토리 어딘가에 복사하고 링크를 아래와 같이 제공합니다

   import findspark
   findspark.init('C:/spark')
   

2. 스파크 찾기 기능을 사용하여 스파크 폴더를 자동으로 찾습니다

   import findspark
   findspark.find()
   

---

환경 변수는 시스템 재부팅 후에만 업데이트됩니다. 시스템을 다시 시작한 후 작동합니다.

---

나는 콘다 환경에서 스파크를 설치할 때도 같은 문제가 있었다.

해결책은 다음과 같습니다:

export /Users/pete/miniconda3/envs/cenv3/lib/python3.6/site-packages/pyspark/
jupyter notebook

위의 명령에서 콘다 환경의 이름을 대신해야 합니다.

---

환경 변수를 설정한 후 시스템을 다시 시작하는 것이 나에게 효과가 있었다.

---

나도 같은 문제가 있어, cmd를 닫고 다시 열어서 해결했어. 나는 cmd를 다시 시작해야 하는 윈도우에서 env 변수를 편집한 후에 잊어버렸다..

---

저도 같은 오류가 났어요. 처음에는 Spark 폴더를 Documents 디렉토리에 저장했습니다. 나중에 데스크톱으로 옮기자 갑자기 모든 시스템 변수를 인식하기 시작했고 오류 없이 findspark.init()를 실행했다.

한 번 해보세요.

---

.bashrc 파일에서 환경 변수를 설정하지 않으면 이 오류가 발생할 수 있습니다. 파이썬 환경 변수를 다음과 같이 설정합니다:

export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.8.1-src.zip:$PYTHONPATH
export PATH=$SPARK_HOME/bin:$SPARK_HOME/python:$PATH

 

---

내가 주피터 노트북으로 스파크를 사용하는 가장 간단한 방법은

1- 다운로드 스파크

2 - 원하는 위치로 압축 풀기

3- 평소 방식으로 열린 주피터 노트북은 특별한 것이 없다

4- 이제 다음 코드를 실행합니다

import findspark
findspark.init("location of spark folder ")

# in my case it is like 

import findspark
findspark.init("C:\\Users\\raj24\\OneDrive\\Desktop\\spark-3.0.1-bin-hadoop2.7")

---

최신 스파크 버전(3.4.1)을 사용하는 사람이 있는 경우: init() 문에 "libexec" 폴더를 포함해야 합니다:

findspark.init("/opt/homebrew/Cellar/apache-spark/3.4.1/libexec/")