這次是打算用Machine Learning和Deep Learning來處理關聯分析,在這邊先介紹一些觀念和工具,主要工具都是Python模組。
依訓練資料有無Labeling可以粗略分為兩類:Unsupervised Machine Learning, Supervised Machine Learning,通常為了提升效能或為了解決Samples不足,會把多個Supervised Machine Learning結合作為Ensemble Learning,或是採用將Unsupervised Machine Learning和Supervised Machine Learning結合成Semi-Supervised Learning,因為本次的目標是關聯分析,我會偏好採用Unsupervised Machine Learning或是Semi-Supervised Learning。
總之就是大家耳熟能詳的Scikit-Learn,因為我前面建立環境是採用Anaconda,安裝指令如下:
conda install scikit-learn
因為要從Elasticsearch把Log給提出來做ML,這邊同時也安裝Elasticsearch API:
conda install elasticsearch