Machine learning

Machine learning category

기계 학습(machine learning)은 인공 지능의 한 분야로, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다. 가령, 기계 학습을 통해서 수신한 이메일이 스팸인지 아닌지를 구분할 수 있도록 훈련할 수 있다.

기계 학습의 핵심은 표현(representation)과 일반화(generalization)에 있다. 표현이란 데이터의 평가이며, 일반화란 아직 알 수 없는 데이터에 대한 처리이다. 이는 전산 학습 이론 분야이기도 하다. 다양한 기계 학습의 응용이 존재한다. 문자 인식은 이를 이용한 가장 잘 알려진 사례이다.

1959년, 아서 사무엘은 기계 학습을 "컴퓨터에게 배울 수 있는 능력, 즉 코드로 정의하지 않은 동작을 실행하는 능력에 대한 연구 분야"라고 정의하였다.

Model Representation

ML_-Model_Representation-_genericmlatwork.png

~~(그가 중지를 들어올리자 훈련이 시작되더니 모델이 태어났어요)~~ ¹

대표적인 머신러닝 개념도는 위와 같다.

Input Features: 입력 변수
Training Data-Set: 훈련 변수
Learning Algorithm
- Cost function: Parameter(θ) 를 구하는 방법.
Hypothesis (가설): 예측 되는 데이터와 결과값 사이의 관계 함수
Expected Output (예상 결과): Hypothesis(가설)을 사용하여 Inferencing(추론)한 결과.

Learning Course

MachineLearning:Course:Basic: 머신러닝 기초
MachineLearning:Course:Python: Python 환경 설정 (pyenv, pyenv-virtualenv, jupyter, numpy, scipy, matplotlib) 그리고 PyCharm
MachineLearning:Course:LinearRegression: 가설 (Hypothesis)과 선형 회귀 (Linear regression), 비용 함수 (Cost function)에 대한 설명.
MachineLearning:Course:GradientDescent: Gradient descent에 대한 설명.
~~Linear regression -> Python implementation~~ 직전 항목에 병합.
- Advanced Python: Python 고급 과정
~~Overfitting~~ 차 후 진행
MachineLearning:Course:Perceptron: Perceptron & Artificial neuron에 대한 내용.
~~Multilayer perceptron~~ 직전 항목에 병합.
MachineLearning:Course:LogisticRegression: Logistic regression에 대한 설명.
~~Activation function (Sigmoid function & Euler's number)~~ 직전 항목에 병합.
Perceptron & Perceptron:Example
~~Feedforward neural network~~
~~Softmax function (Loss function)~~
MachineLearning:Course:Backpropagation: Backpropagation에 대한 설명.
Convolutional neural network (CNN)
Region-based Convolutional Network (RCNN, R-CNN, SSD)
Fully Convolutional Networks for Semantic Segmentation (FCN)
Genertive Adeversarial Networks (GAN)

학습(Learning) 이란?

학습 평가

AP(Average Precision), 평균 정확도(Mean Accuracy) 등에 대한 내용. 정밀도와 재현율 (Precision and recall) 항목을 참조.

훈련 데이터란? (Dataset)

tykimos.github.io - 데이터셋 이야기

10가지 최고의 기계 학습 알고리즘

10가지 최고의 기계 학습 알고리즘(2024년) - Unite.AI ²
- 알고리즘 별 "인기있는 사용법" 예시가 포함됨.
트랜스포머
생성적 적대 신경망 (GAN)
SVM
K-평균 클러스터링
랜덤 포레스트
나이브 베이즈
K-최근접 이웃 (KNN)
마르코프 결정 프로세스 (MDP)
용어 빈도-역 문서 빈도 <- ??
확률적 경사하강법 (SGD)

개발 시간 절반 줄이는 오픈 소스 AI 도구 25가지

25 Open Source AI Tools to Cut Your Development Time in Half - Jozu MLOps
KitOps - 모델, 코드, 메타데이터, 아티팩트 공유, 관리에 사용하는 패키지 지원
LangChain - 모듈화된 아키텍처로 커스텀 LLM 애플리케이션 개발 도움
Pachyderm - 데이터 변환 자동화
ZenML - MLOps 파이프라인 생성 추상화로 데이터 전처리, 모델 훈련, 평가, 배포 도움
Prefect - 태스크와 플로 개념으로 머신러닝 파이프라인 구성
Ray - 모델 개발 중에 머신러닝 워크로드 쉬운 확장 지원
Metaflow - AI 프로젝트의 프로토타입→프로덕션 실행에 필요한 통합 API 제공
MLflow - 데이터 과학자와 엔지니어가 모델 개발과 실험을 관리하도록 지원
Kubeflow - Kubernetes 클러스터서 ML 워크플로 오케스트레이션, 배포 간소화하도록 설계
Seldon core - ML 모델(TensorFlow, PyTorch, H2o 등) 또는 랭귀지 래퍼(Python, Java 등)를 프로덕션 지원 REST/GRPC 마이크로서비스로 변환해 ML 모델 배포, 제공, 관리 간소화
DVC - Git이 코드에 하는 것처럼 데이터와 모델 변경 사항을 추적, 모든 Git 리포지토리 위에서 실행할 수 있도록 함
Evidently AI - 프로덕션 ML 모델 분석, 모니터링하도록 설계된 옵저버빌리티 플랫폼
Mage AI - 광범위한 코딩 없이 데이터 파이프라인 구축, 자동화하는 데이터 변환, 통합 프레임워크
ML Run - 엔드투엔드 MLOps 시스템 오케스트레이션하는 서버리스 기술 제공
Kedro - 재현 가능, 유지 관리 가능, 모듈식 데이터 사이언스 코드 생성 위한 ML 개발 프레임워크
WhyLogs - ML 모델과 데이터 파이프라인 위해 설계된 오픈 소스 데이터 로깅 라이브러리
Feast - 개발, 프로덕션 환경서 ML 기능 관리, 제공하는 이해 관계자 문제 해결
Flyte - 데이터 사이언티스트, 데이터/분석 엔지니어에게 워크플로 구축할 수 있는 Python SDK 제공, 이를 Flyte 백엔드에 손쉽게 배포
Featureform - 데이터 사이언티스트가 ML 모델의 기능 관리, 제공하는 기능 간소화하는 가상 기능 저장소
Deepchecks - AI 프로젝트 실험부터 배포 단계까지 ML 모델과 데이터 지속적 테스트하고 검증하는 ML 모니터링 도구
Argo - Kubernetes서 병렬 작업 오케스트레이션하는 Kubernetes 네이티브 워크플로 엔진 제공
Deep Lake - 딥러닝 위한 데이터 레이크, RAG 애플리케이션 위한 벡터 저장소 역할 하도록 설계된 ML 특화 데이터베이스 도구
Hopsworks feature store - 데이터 수집과 피처 엔지니어링부터 모델 훈련, 배포, 모니터링까지 ML 피처 라이프사이클 관리할 수 있는 엔드투엔드 솔루션 제공
NannyML - ML 모델 배포 후 모니터링과 유지 관리에 특화된 Python 라이브러리
Delta Lake - 데이터 레이크에 안정성 제공하는 스토리지 레이어 프레임워크
Optuna - 파이썬 기반의 하이퍼파라미터 최적화 (hyperparameter optimization) 프레임워크

Table of Machine learning

Table of Machine learning
Learning Course	이론 (Theory)	확률론 (Probability theory) → 베이즈 이론 (Bayesian probability)
	Machine learning	Hypothesis → Loss function → Gradient descent → Overfitting
	Neural network	Artificial neuron → Perceptron → Multilayer perceptron → (Example) → Feedforward neural network → Activation function (Sigmoid function & Euler's number) → Softmax function (Loss function) → Backpropagation (Gradient descent) → (Example)
	딥 러닝 (Deep learning)	합성곱 신경망 (Convolutional neural network) (CNN) & Region-based Convolutional Network (RCNN, R-CNN)
	ETC	Tutorials
이론 (Theory)	Basic	용어 (Terms)
	확률론 (Probability theory)	베이즈 이론 (Bayesian probability), 결정이론 (Decision Theory), 확률 밀도 함수 (Probability Density Function) (PDF), 방사형 기저 함수 (Radial basis function) (RBF), Hyperparameter
	신경과학 (Neuroscience)d	뉴런 (Neuron)
	통계학 (Statistics)	공분산 (Covariance), 통계 분류, 분류행렬 (Confusion matrix), 교차 검증 (Cross-validation), 평균 제곱근 편차 (Root-mean-square deviation) (MESD), Mean squared error
	그래프 이론 (Graph theory)
	행렬 (Matrix)	General matrix-matrix multiplication (gemm), Toeplitz matrix, im2col
	기타	Computational learning theory, Empirical risk minimization, Occam learning, PAC learning, Statistical learning, VC theory, 베이즈 네트워크, 마르코프 임의장 (Markov random field), Hidden Markov Model (HMM), Conditional Random Field, 정규 베이즈 분류기 (Normal Bayes Classifier), Energy Based Model, 오컴의 면도날 (Occam's razor), Ground truth
알고리즘 유형	지도 학습 (Supervised Learning)	서포트 벡터 머신 (Support Vector Machine) (SVM), Hidden Markov model, 회귀 분석 (Regression analysis), 신경망 (Neural network), 나이브 베이즈 분류 (Naive Bayes classifier), K-근접이웃 (K-Nearest Neighbor) (K-NN), Decision trees, Ensembles (Bagging, Boosting, Random forest), Relevance vector machine (RVM)
	자율 학습 (Unsupervised learning)	군집화 (Clustering), 독립 성분 분석 (Independent component analysis)
	준 지도 학습 (Semi-supervised learning)	Generative models, Low-density separation, Graph-based methods, Heuristic approaches
	기타 학습	강화 학습 (Reinforcement learning), 심화 학습
주제별	구조적 예측 (Structured prediction)	Graphical models (Bayes net, CRF, HMM)
	모수 추정 알고리즘	동적 계획법 (Dynamic programming), 기대값 최대화 알고리즘 (EM algorithm)
	근사 추론 기법	몬테 카를로 방법, 에이다 부스트 (AdaBoost)
	접근 방법	결정 트리 학습법, 연관 규칙 학습법, 유전 계획법, 귀납 논리 계획법, 클러스터링, 베이지안 네트워크, 강화 학습법, 표현 학습법, 동일성 계측 학습법
	모형화	신경망 (Neural network), SVM K-NN, 결정 트리, 유전 알고리즘 (Genetic Algorithm), 유전자 프로그래밍, 가우스 과정 회귀, 선형 분별 분석, 퍼셉트론, 방사 기저 함수 네트워크
	Recommender system (추천 시스템)	Collaborative filtering (협업 필터링), Content-based filtering (컨텐츠 기반 필터링), Hybrid recommender systems
데이터 마이닝 (Data mining)		교차 검증 (Cross-validation) (k-fold), Data set (Training set, Validation set, Test set)
회귀 분석 (Regression analysis)		선형 회귀 (Linear regression), 로지스틱 회귀 (Logistic Regression), Logit function, Multinomial logistic regression (Softmax Regression)
군집화 (Clustering)		k-means clustering, BIRCH, Hierarchical, Expectation-maximization (EM), DBSCAN, OPTICS, Mean-shift
종류별		3D Machine Learning
인공신경망 (Artificial Neural Networks; ANN)	인공 뉴런 (Artificial neuron)	퍼셉트론 (Perceptron), Sigmoid neuron
	합성함수 (Combination function) & 활성함수 (Activation function)	Sigmoid function, Rectified linear units (ReLU), 1x1 Convolution
	손실 함수 (Loss function) or Cost function	Softmax, Sum of squares (Euclidean), Hinge / Margin, Cross entropy, Infogain, Accuracy and Top-k
	알고리즘	다층 퍼셉트론 (Multilayer perceptron) (MLP), Feed-forward Neural Network (FNN), Long short-term memory (LSTM), Autoencoder, 자기조직화지도 (Self-organizing map) (SOM), Network In Network (NIN), Adaptive neuro fuzzy inference system (ANFIS)
	딥 러닝 (Deep learning)	심층 신경망 (Deep neural network) (DNN), 합성곱 신경망 (Convolutional neural network) (CNN) & Regions with Convolutional Neural Network (RCNN, R-CNN, SSD), 순환 신경망 (Recurrent neural network) (RNN), Gated Recurrent Unit (GRU), 제한 볼츠만 머신 (Restricted Boltzmann Machine) (RBM), 심층 신회 신경망 (Deep Belief Network) (DBN), 심층 Q-네트워크(Deep Q-Networks), Deep hyper network (DHN), Deconvolutional Network, Fully Convolutional Networks for Semantic Segmentation (FCN), Generative Adversarial Networks (GAN), Learning Deconvolution Network for Semantic Segmentation, Multi-Scale Context Aggregation by Dilated Convolutions (Dilated Convolutions), Dynamic Routing Between Capsules (Capsules Network), YOLO, Path Aggregation Network for Instance Segmentation (PANet), Image-to-Image Translation with Conditional Adversarial Networks (pix2pix), CycleGAN, BicycleGAN, SlowFast, Kinetics, AVA, MelGAN, EfficientDet, SinGAN, Panoptic Segmentation, U-Net, MONAI, CenterNet, DeepLab, HRNet, OCRNet, ResNeSt
	Models	GoogLeNet, LeNet, AlexNet, ReNet, RCNN, SPPnet, Fast R-CNN, Faster R-CNN, VGG, SqueezeNet, PointNet, Mask R-CNN, MaskLab, OSMN (Video Segmentation), ColorNet, EfficientNet
Problems	차원 축소 (Dimensionality reduction)	Curse of dimensionality, Factor analysis, CCA, 독립 성분 분석 (ICA), LDA, 음수 미포함 행렬 분해 (NMF), 주성분 분석 (PCA), t-SNE
	과소적합 (Underfitting) & 과적합 (Overfitting)	Early stopping, Model selection, Normalization, Regularization (L1, L2, Dropout), Generalization
	초기화 (Initialization)	Xavier Initialization
	ETC	편향-분산 딜레마 (Bias-variance dilemma), Vanishing gradient problem, Local minimum problem, Batch Normalization, 표준화 (Standardization), AutoML
최적화 (Optimization)		Hyperparameter, 담금질 모사 (Simulated annealing), Early stopping, Feature scaling, Normal Equation, 경사 하강법 (Gradient descent), Stochastic gradient descent (SGD), 오류역전파 (Backpropagation), Convex optimization, Performance Tuning, im2col, Dense-Sparse-Dense Training for Deep Neural Networks (DSD), Deep Compression, Pruning Neural Networks, Shake-Shake regularization, Accurate Large Minibatch SGD
ETC	Libraries	OpenCV, Deeplearning4j (DL4J), Torch, PyTorch, 테아노 (Theano), Caffe, TensorFlow, MMDetection, ConvNetJS, cuDNN, Netscope, Microsoft Azure Machine Learning Studio, OpenPose, DensePose, Keras, tiny-dnn, Detectron, Stanford CoreNLP, Aifiddle, Kubeflow, OpenNMT, alibi-detect, Flashlight (facebook), MediaPipe, Weights and Biases
	Dataset	MNIST (손 글씨 데이터), ImageNet, CIFAR-10, TinyImages, PASCAL VOC, COCO, AVSS, YouTube-VOS
	Annotation tools	labelme, cvat, f-BRS, COCO Annotator
	See also	인공지능, 자동 로봇, 생체 정보학, 컴퓨터 지능, 컴퓨터 시각, 데이터 마이닝, 패턴 인식, 빅데이터
Unknown keyward		Classification, Anomaly detection, Association rules, Reinforcement learning, Structured prediction, Feature engineering, Feature learning, Online learning, Semi-supervised learning, Unsupervised learning, Learning to rank, Grammar induction, Local outlier factor, Minimum Description Length (MDL), Bayesian MAP, Structural Risk Minimization (SRM), Long Narrow Valley, Word2vec, Autoregressive integrated moving average (ARIMA)

Documentation

Bayesian probability

Bayesian Reasoning and Machine Learning: http://web4.cs.ucl.ac.uk/staff/D.Barber/pmwiki/pmwiki.php?n=Brml.Online; http://web4.cs.ucl.ac.uk/staff/D.Barber/textbook/020217.pdf; 020217_-_Bayesian_Reasoning_and_Machine_Learning.pdf

Deep learning

ImageNet Classification with Deep Convolutional Neural Networks (AlexNet)

http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf

http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

ImageNet_Classification_with_Deep_Convolutional_Neural_Networks.pdf

[한글 번역] 깊은 컨볼루셔널 신경망을 이용한 이미지네트(ImageNet) 분류

: ImageNet_Classification_with_Deep_Convolutional_Neural_Networks_-_ko.pdf

Going deeper with convolutions (GoogleNet): http://arxiv.org/pdf/1409.4842v1.pdf; Going_deeper_with_convolutions.pdf; 번역: GoogleNet

특집원고 딥하이퍼넷 모델 (Deep Hypernetwork models) (서울대학교/장병탁): Deep_Hypernetwork_models_201508.pdf

[Mocrosoft] Deep Residual Learning for Image Recognition (Winner ILSVRC2015): Deep_Residual_Learning_for_Image_Recognition(Winner_ILSVRC2015)_Microsoft.pdf

[Microsoft] Fast R-CNN, Towards Real-Time Object Detection with Region Proposal Networks (Winner ILSVR2015): Fast_R-CNN,Towards_Real-Time_Object_Detection_with_Region_Proposal_Networks(Winner_ILSVR2015)_Microsoft.pdf

Learning Deconvolution Network for Semantic Segmentation: http://cvlab.postech.ac.kr/research/deconvnet/

Deep EXpectation of apparent age from a single image: https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/

Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks.: Inside_outside_net_detecting_objects_in_context_with_skip_pooling_and_recurrent_neural_networks_2015.pdf; Small Object 탐지방법에 관한 논문.

조대협의 블로그 - 수학포기자를 위한 딥러닝과 텐서플로우의 이해: http://bcho.tistory.com/1208; Machine_learning_ebooks_-_Machine_learning_for_those_who_abandon_math.pdf

Densely Connected Convolutional Networks (DenseNets): Deep learning CVPR2017 최고 논문상

Deep Learning Interviews book: Hundreds of fully solved job interview questions from a wide range of key topics in AI.

딥러닝 인터뷰 북

머신러닝을 배우는 석/박사 과정 및 구직자들을 위한 실전 질문과 솔루션 모음

인쇄본 구입도 가능하지만, 전체 PDF는 무료로 공개

https://arxiv.org/abs/2201.00650

Tutorials

딥러닝 제대로 시작하기 (지은이 오카타니 타카유키/옮긴이 심효섭): Deep_Learning_-Takayuki_Okatani-2015-_sample.pdf

머신러닝 입문 가이드 - IDG Deep Dive: http://www.itworld.co.kr/techlibrary/97428; IDG_DeepDive_Machine_learning-20160113.pdf

딥러닝의 이해 (미발간; 2016-08-22 ver): Understanding_deep_learning_0822.pdf

Fundamental of Reinforcement Learning: https://www.gitbook.com/book/dnddnjs/rl/details; Fundamental_of_Reinforcement_Learning.pdf; 모두의연구소 - 강화 학습의 기본

Deep Learning Papers Reading Roadmap (딥러닝 논문 로드맵): https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap/blob/master/README.md; Deep_Learning_Papers_Reading_Roadmap.md.zip

[추천] Machine Learning-based Web Exception Detection (금융보안원 프로젝트 관련 참조사이트!): https://cloudfocus.aliyun.com/Machine-Learning-based-Web-Exception-Detection-89782?spm=a2c1b.a2c1b4.a2c1b4.16.ZSQoEd; Machine_Learning-based_Web_Exception_Detection_-Insights_and_Trends-_Alibaba_Cloud_Focus.pdf

머신러닝 기초 1~57편 (잡동사니 탐구 - 참스터디 ePaiai : 네이버 블로그): http://sams.epaiai.com/220498694383

Microsoft, ML for Beginners 강의 공개: MS Azure Clouds Advocates 팀이 만든 12주, 24강짜리 커리큘럼; Scikit-learn을 이용한 클래식 머신러닝 강의 (딥러닝은 별도 AI 강의로 나올 예정); https://github.com/microsoft/ML-For-Beginners

Compress model

Deep Compression and EIE - Deep Neural Network Model Compression and Efficient Inference Engine: Deep_compression_and_EIE_PPT.pdf

Learning bothWeights and Connections for Efficient Neural Networks: Learning_both_weights_and_connections_for_efficient_neural_networks_2015.pdf

Convolutional neural network

Reveal.js를 사용한 CNN 프레젠테이션 (Presentation).: Author - 나; Reveal-ml.tar.gz

Gradient-Based Learning Applied to Document Recognition: http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf; Gradient-Based_Learning_Applied_to_Document_Recognition.pdf

Visualizing and Understanding Convolutional Neural Networks: http://arxiv.org/abs/1311.2901; 1311.2901v3.pdf

Compressing CNN for Mobile Device (Samsung) - CNN 모델 압축의 필요성 etc ...: [http://mlcenter.postech.ac.kr/files/attach/workshop_fall_2015/삼성전자_김용덕_박사.pdf](http://mlcenter.postech.ac.kr/files/attach/workshop_fall_2015/삼성전자_김용덕_박사.pdf); Samsung_-_Compressing_CNN_for_Mobile_Device.pdf

Using Filter Banks in Convolutional Neural Networks for Texture Classification: https://arxiv.org/abs/1601.02919

Deep belief network

The Applications of Deep Learning on Traffic Identification: Us-15-Wang-The-Applications-Of-Deep-Learning-On-Traffic-Identification-wp.pdf; https://www.blackhat.com/docs/us-15/materials/us-15-Wang-The-Applications-Of-Deep-Learning-On-Traffic-Identification-wp.pdf

Deconvolution neural network

Learning Deconvolution Network for Semantic Segmentation: http://cvlab.postech.ac.kr/research/deconvnet/; https://arxiv.org/abs/1505.04366; 1505.04366.pdf

Segmentation

Learning to Segment (Facebook Research): https://research.fb.com/learning-to-segment/; DeepMask+SharpMask as well as MultiPathNet.

Recurrent Instance Segmentation: https://arxiv.org/abs/1511.08250; 1511.08250.pdf; Slideshare - Single Shot MultiBox Detector와 Recurrent Instance Segmentation

vid2vid: https://github.com/NVIDIA/vid2vid; Pytorch implementation for high-resolution (e.g., 2048x1024) photorealistic video-to-video translation.; It can be used for turning semantic label maps into photo-realistic videos, synthesizing people talking from edge maps, or generating human motions from poses.

Learning

Siamese Neural Networks for One-Shot Image Recognition: https://jayhey.github.io/deep%20learning/2018/02/06/saimese_network/; 딥러닝에서 네트워크를 학습시킬 때, 매우 많은 트레이닝 데이터가 필요합니다. 이러한 단점을 극복하여 한 레이블 당 하나의 이미지만 있어도 분류할 수 있게 학습시키는게 one-shot learning입니다.

[추천] AI Can Transform Anyone Into a Professional Dancer: https://news.developer.nvidia.com/ai-can-transform-anyone-into-a-professional-dancer/; https://arxiv.org/abs/1808.07371

Transforming Standard Video Into Slow Motion with AI: https://news.developer.nvidia.com/transforming-standard-video-into-slow-motion-with-ai/

NVIDIA SPLATNet Research Paper Wins a Major CVPR 2018 Award: https://news.developer.nvidia.com/nvidia-splatnet-research-paper-wins-a-major-cvpr-2018-award/

AI Learns to Play Dota 2 with Human Precision: https://news.developer.nvidia.com/ai-learns-to-play-dota-2-with-human-precision/

[추천] This AI Can Automatically Remove the Background from a Photo: https://news.developer.nvidia.com/this-ai-can-automatically-remove-the-background-from-a-photo/

NVDLA Deep Learning Inference Compiler is Now Open Source: https://devblogs.nvidia.com/nvdla/

Favorite site