For the better software

airflow를 간단히 써보려는데... http://pythonhosted.org/airflow/start.html 여기있는 초 간단 버전은 일단 python 버전이 꼬인건지... pip install airflow부터 말썽. 깔끔하게 넘어가려고 docker를 알아봤는데... 이가 간단하지 않네..;; 이틀 삽질. 일단 아래 스크립트 정도면 docker 기본은 문제 없을 듯. >> do..

(흠.. ML4J로...대체 되는 영역이려나? 완전 다르려나? ML4J에도 배열연산 있는것 같던데) http://nd4j.org/benchmarking ND4J: N-Dimensional Arrays for JavaND4J and ND4S are scientific computing libraries for the JVM. They are meant to be used in production environments, which means routines are designed to run fast with minimum RAM requirements. Main fea..

http://docs.aws.amazon.com/ko_kr/machine-learning/latest/dg/tutorial.html 링크따라가보면 아마존에서 제시하는 ML 적용사례 등의 정보도 있음. Machine Learning Concepts : http://docs.aws.amazon.com/ko_kr/machine-learning/latest/dg/machine-learning-concepts.html

left outer join보다는 inner join을 쓴다. - 왜그런진 모르겠는데..;; outer join보다는 inner join이 성능이 더 좋단다. - 물론, left 테이블에 없어도될 것들이 join 되는 케이스를 고려한다면 inner가 당연히 효율이 좋은건데, 이 상황은 어차피 left 테이블 전체를 무조건 남겨야 하는 경우였음. 다만, 그 ..

http://hunkim.github.io/ml/

http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram

모션 챠트 / Motion Chart 짱짱맨 https://developers.google.com/chart/interactive/docs/gallery/motionchart

http://dlib.net/ml_guide.svg

출처: An Introduction to Statistical Learning with Applications in R

http://nbviewer.jupyter.org/gist/hyeshik/cf9f3d7686e07eedbfda?revision=6 loess smoothing 곡선을 그려준것이 매우 유효해보인다. import rpy2.robjects as ro def loess_fit(x, y, px=None, model=None, alpha=0.5): if model is None: model = ro.r('y ~ x') if px is None: px = np.linspace(min(x), max(x), 22)[1:-1] fitframe = ro.DataFrame({'x': ro.FloatVector(x), 'y': ro.Fl..