끄적 끄적 로깅! 로깅!

CDH5.8 버전 업데이트 하고, Zeppline 재컴파일 후 mvn clean package -Pspark-1.6 -Dhadoop.version=2.6.0-cdh5.8.0 -Phadoop-2.6 -Pvendor-repo -DskipTests Zeppline 에서 pyspark 실행시 아래 발생 Py4JJavaError: An error occurred while calling o0.textFile.: com.fasterxml.jackson.databind.JsonMappingException: Could not find creator property with name 'id' (in class org.apache.spark.rdd.RDDOperationScope) at [Source: {"id":"2"..

1. Ceph분산 오브젝트 파일 시스템으로 좋은 성능, 신뢰성, 확장성을 가지고 있다.2. Block Device2.1. 커널 모듈 사용커널에 Ceph 모듈이 포함되어야 있어야 한다.(CentOs 7 기본 탑재)2.1.1. pool 생성# rados mkpool dsan_block_devicesuccessfully created pool dsan_block_device2.1.2. 이미지 생성# rdb create test-images --size 10240 --pool dsan_block_device2.1.3. Device 맵핑 생성# rbd map test-images --pool dsan_block_device/dev/rbd0# rbd ls -p dsan_block_devicetest-images# ..