끄적 끄적 로깅! 로깅!

1. 개요파이썬을 데몬 개발을 하다 보면, 해당 데몬이 문제를 메모리를 많이 먹거나, 프로세스를 너무 많이 생성하거나, 파일을 너무 많이 오픈하여, 서버 전체에 문제를 일으키는 경우가 발생하는데, 이를 해결하기 위한 방법을 찾아보았다.2. Resource limitshttps://docs.python.org/2/library/resource.htmlhttp://pythonforbiologists.com/index.php/measuring-memory-usage-in-python/import resourceprint resource.getrlimit(resource.RLIMIT_AS)print resource.getrusage(resource.RUSAGE_SELF)resource.setrlimit(reso..

1. Command Injection1.1. subprocess.call() functionsubprocess.call(), shell=True 인 경우에 해당shell=False 처리하고, 커멘드 라인 shlex.split() 처리1.2. os.system() or os.popen*() functionos.system(), os.popen*() 경우에 해당pipes.quote()를 사용하여, 변수(명령어 아규먼트), quote 처리한다.2. Code Injection2.1. exec() or eval() function위험성이 많기 때문에 가능하면 사용하지 않는게 좋다.사용해야 한다면, 받드시 들어올 수 있는 변수값을 체크 해야한다.2.2. pickle or shelve moduleCelery, Dja..

http://blog.recopick.com/28 topology.max.spout.pending topology.acker.executorsKafka 조합으로 사용시 Spout 의 parallelism_hint 값을 늘릴경우, Kafka의 partition 도 동일한 값으로 늘려야한다. storm.zookeeper.connection.timeout

1. 개요로그 데이터를 중앙으로 전달하고 저장하는 툴 비교2. Apache Flumehttps://flume.apache.org/Flume은 수로라는 뜻으로 로그를 수로를 통해서 한곳에 모은 다는 뜻으로 풀이 될 수 있다.Flume은 과거 Cloudera에서 제작하여, 지금은 Apache 톱레벨 프로젝트가 되었다.Flume OG(v0.9.x 이하)의 경우 master 노드를 통해서, 제어되는 방식이었으나, NG(v1.x 이상)로 변경되면서, Agent에서 직접 제어 방식으로 변경되었다.JAVA로 만들어졌고, 이벤트 방식으로 제작되었다.(로그 한 줄이 하나의 이벤트)tail 명령어로 데이터를 읽어올 수 있고, Syslog, Scribe 등을 통해서 로그를 가져올 수 있다.Thrift를 이용해서 직접 어플리..

https://regex101.com/페이지에서 정규표현식을 작성하고, 테스트 스트링으로 결과를 바로 확인 할 수 있다.php, javascript, python 에서 정규표현식 결과를 확인 할 수 있고, 각종 매치 옵션을 적용해 볼 수 있다.

http://colorscripter.com/페이지에서 소스 작성하고 클립코드에 복사 후 블로그에 붙여넣기 하면, 소스 코드를 예쁘게 블로그에 넣을 수 있다.

CDH5.8 버전 업데이트 하고, Zeppline 재컴파일 후 mvn clean package -Pspark-1.6 -Dhadoop.version=2.6.0-cdh5.8.0 -Phadoop-2.6 -Pvendor-repo -DskipTests Zeppline 에서 pyspark 실행시 아래 발생 Py4JJavaError: An error occurred while calling o0.textFile.: com.fasterxml.jackson.databind.JsonMappingException: Could not find creator property with name 'id' (in class org.apache.spark.rdd.RDDOperationScope) at [Source: {"id":"2"..

1. Ceph분산 오브젝트 파일 시스템으로 좋은 성능, 신뢰성, 확장성을 가지고 있다.2. Block Device2.1. 커널 모듈 사용커널에 Ceph 모듈이 포함되어야 있어야 한다.(CentOs 7 기본 탑재)2.1.1. pool 생성# rados mkpool dsan_block_devicesuccessfully created pool dsan_block_device2.1.2. 이미지 생성# rdb create test-images --size 10240 --pool dsan_block_device2.1.3. Device 맵핑 생성# rbd map test-images --pool dsan_block_device/dev/rbd0# rbd ls -p dsan_block_devicetest-images# ..