apache spark를 테스트 중입니다.

Question

현재 jetbrains을 통해 개발중이고spark를 ec2 ubuntu서버에 올려져 있습니다.그래서 제 컴퓨터에서 테스트할려고합니다. 원격으로 붙어서요. SparkSession spark &#61; SparkSession.builder() .appName(&#34;Spark Hive Example&#34;) .master(&#34;spark://ip:7077&#34;) // Spark 마스터 URL .config(&#34;spark.hadoop.fs.defaultFS&#34;, &#34;hdfs://ip:9000&#34;) .config(&#34;hive.metastore.uris&#34;, &#34;thrift://ip:9083&#34;) .enableHiveSupport() .getOrCreate();코드는 위와같은데 spark.sql로 show tables, show databases는 데이터를 잘가져오는데 create나 select문을 할려면 Call From 내컴퓨터 to localhost:9000 failed on connection exception 이런에러가 생깁니다. 그래서 혹시 몰라서 SELECT 1&#43;1하니간 값을 잘가져오는걸로보아선 연결은 잘 된거같은데 데이터나 테이블을 만들라면 에러가 뜹니다. 혹시 저와 같은 현상이 있거나 해결하셨었던분들 계시면 공유좀 부탁드리겠습니다.

초무쿤 · Answer

노드쪽 로그를 보셔야 되는데생성시만 오류 나는거봐선 디렉터리 생성 권한 문제가 아닐지 싶은데요. Mysql은 메타데이터민 관리하고 실제는 하둡 데이터 생성하디 나는듯 한데요

apache spark를 테스트 중입니다.

1개의 답변

Q&A 목록