Artificial neural network

인공 신경망은 노드들의 그룹으로 연결되어 있으며 이들은 뇌의 방대한 뉴런의 네트워크과 유사하다. 위 그림에서 각 원모양의 노드는 인공 뉴런을 나타내고 화살표는 하나의 뉴런의 출력에서 다른 하나의 뉴런으로의 입력을 나타낸다.

인공신경망(artificial neural network 뉴럴 네트워크)은 뇌기능의 특성 몇 가지를 컴퓨터 시뮬레이션으로 표현하는 것을 목표로 하는 수학 모델이다.

인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다. 좁은 의미에서는 오차역전파법을 이용한 다층퍼셉트론을 가리키는 경우도 있지만, 이것은 잘못된 용법으로, 인공신경망은 이에 국한되지 않는다.

인공신경망에는 교사 신호(정답)의 입력에 의해서 문제에 최적화되어 가는 교사 학습과 교사 신호를 필요로 하지 않는 비교사 학습이 있다. 명확한 해답이 있는 경우에는 교사 학습이, 데이터 클러스터링에는 비교사 학습이 이용된다. 결과적으로 모두 차원을 줄이기 위해, 화상이나 통계 등 다차원량의 데이터로, 선형 분리 불가능한 문제에 대해서, 비교적 작은 계산량으로 양호한 회답을 얻을 수 있는 것이 많다. 그 때문에, 패턴 인식이나 데이터 마이닝 등, 다양한 분야에서 응용되고 있다.

인공신경망은 특수한 컴퓨터를 사용하여 구성될 수도 있으나 대부분 일반 컴퓨터에서 응용소프트웨어에 의해 구현된다.

배경지식

인간의 중추 신경계에 대한 조사는 신경망 개념에 영감을 주었다. 생물학적 신경망을 흉내내는 네트워크를 형상하기 위해 인공신경망에서 인공 뉴런들은 서로 연결 되어있다.

인공신경망이란 무엇인가에 대한 하나의 공식적인 정의는 없다. 그러나 만약 통계학적 모델들의 집합이 다음과 같은 특징들을 가진다면 해당 집합을 신경(Neural)이라고 부른다.

조정이 가능한 가중치들의 집합 즉, 학습 알고리즘에 의해 조정이 가능한 숫자로 표현된 매개변수로 구성되어있다.
입력의 비선형 함수를 유추할 수 있다.

조정가능한 가중치들은 뉴런 사이의 연결 강도를 의미하고 이들은 훈련 또는 예측하는 동안에 작동한다.

다양한 유닛들이 할당된 하위작업 보다 유닛들에 의한 병렬 혹은 집합적으로 함수들을 수행한다는 점에서 신경망은 생물학적 신경망과 닮았다. '신경망'이라는 단어는 보통 통계학, 인지 심리학 그리고 인공지능에서 사용되는 모델들을 가리킨다. 중추 신경을 모방하는 신경망 모델들은 이론 신경과학과 계산 신경과학의 한 부분이다.

About this

인공신경망(Artificial neural network)의 Sigmoid Function ¹

인공신경망은 입력변수를 결합하는 합성함수 (Combination function) 와 입력정보를 결합하여 변형하는 활성함수 (Activation function)를 사용하게 된다. 합성함수 (Combination function)는 입력정보들을 하나의 정보로 만들어 주는 것인데 가중평균을 가장 많이 이용하며, 활성함수 (Activation function)는 입력정보의 합성값을 출력층 또는 은닉층에 전달하는 함수로 입력정보의 결합값을 일정범위의 값으로 전환해주는 함수이다.

Table of Machine learning

Table of Machine learning
Learning Course	이론 (Theory)	확률론 (Probability theory) → 베이즈 이론 (Bayesian probability)
	Machine learning	Hypothesis → Loss function → Gradient descent → Overfitting
	Neural network	Artificial neuron → Perceptron → Multilayer perceptron → (Example) → Feedforward neural network → Activation function (Sigmoid function & Euler's number) → Softmax function (Loss function) → Backpropagation (Gradient descent) → (Example)
	딥 러닝 (Deep learning)	합성곱 신경망 (Convolutional neural network) (CNN) & Region-based Convolutional Network (RCNN, R-CNN)
	ETC	Tutorials
이론 (Theory)	Basic	용어 (Terms)
	확률론 (Probability theory)	베이즈 이론 (Bayesian probability), 결정이론 (Decision Theory), 확률 밀도 함수 (Probability Density Function) (PDF), 방사형 기저 함수 (Radial basis function) (RBF), Hyperparameter
	신경과학 (Neuroscience)d	뉴런 (Neuron)
	통계학 (Statistics)	공분산 (Covariance), 통계 분류, 분류행렬 (Confusion matrix), 교차 검증 (Cross-validation), 평균 제곱근 편차 (Root-mean-square deviation) (MESD), Mean squared error
	그래프 이론 (Graph theory)
	행렬 (Matrix)	General matrix-matrix multiplication (gemm), Toeplitz matrix, im2col
	기타	Computational learning theory, Empirical risk minimization, Occam learning, PAC learning, Statistical learning, VC theory, 베이즈 네트워크, 마르코프 임의장 (Markov random field), Hidden Markov Model (HMM), Conditional Random Field, 정규 베이즈 분류기 (Normal Bayes Classifier), Energy Based Model, 오컴의 면도날 (Occam's razor), Ground truth
알고리즘 유형	지도 학습 (Supervised Learning)	서포트 벡터 머신 (Support Vector Machine) (SVM), Hidden Markov model, 회귀 분석 (Regression analysis), 신경망 (Neural network), 나이브 베이즈 분류 (Naive Bayes classifier), K-근접이웃 (K-Nearest Neighbor) (K-NN), Decision trees, Ensembles (Bagging, Boosting, Random forest), Relevance vector machine (RVM)
	자율 학습 (Unsupervised learning)	군집화 (Clustering), 독립 성분 분석 (Independent component analysis)
	준 지도 학습 (Semi-supervised learning)	Generative models, Low-density separation, Graph-based methods, Heuristic approaches
	기타 학습	강화 학습 (Reinforcement learning), 심화 학습
주제별	구조적 예측 (Structured prediction)	Graphical models (Bayes net, CRF, HMM)
	모수 추정 알고리즘	동적 계획법 (Dynamic programming), 기대값 최대화 알고리즘 (EM algorithm)
	근사 추론 기법	몬테 카를로 방법, 에이다 부스트 (AdaBoost)
	접근 방법	결정 트리 학습법, 연관 규칙 학습법, 유전 계획법, 귀납 논리 계획법, 클러스터링, 베이지안 네트워크, 강화 학습법, 표현 학습법, 동일성 계측 학습법
	모형화	신경망 (Neural network), SVM K-NN, 결정 트리, 유전 알고리즘 (Genetic Algorithm), 유전자 프로그래밍, 가우스 과정 회귀, 선형 분별 분석, 퍼셉트론, 방사 기저 함수 네트워크
	Recommender system (추천 시스템)	Collaborative filtering (협업 필터링), Content-based filtering (컨텐츠 기반 필터링), Hybrid recommender systems
데이터 마이닝 (Data mining)		교차 검증 (Cross-validation) (k-fold), Data set (Training set, Validation set, Test set)
회귀 분석 (Regression analysis)		선형 회귀 (Linear regression), 로지스틱 회귀 (Logistic Regression), Logit function, Multinomial logistic regression (Softmax Regression)
군집화 (Clustering)		k-means clustering, BIRCH, Hierarchical, Expectation-maximization (EM), DBSCAN, OPTICS, Mean-shift
종류별		3D Machine Learning
인공신경망 (Artificial Neural Networks; ANN)	인공 뉴런 (Artificial neuron)	퍼셉트론 (Perceptron), Sigmoid neuron
	합성함수 (Combination function) & 활성함수 (Activation function)	Sigmoid function, Rectified linear units (ReLU), 1x1 Convolution
	손실 함수 (Loss function) or Cost function	Softmax, Sum of squares (Euclidean), Hinge / Margin, Cross entropy, Infogain, Accuracy and Top-k
	알고리즘	다층 퍼셉트론 (Multilayer perceptron) (MLP), Feed-forward Neural Network (FNN), Long short-term memory (LSTM), Autoencoder, 자기조직화지도 (Self-organizing map) (SOM), Network In Network (NIN), Adaptive neuro fuzzy inference system (ANFIS)
	딥 러닝 (Deep learning)	심층 신경망 (Deep neural network) (DNN), 합성곱 신경망 (Convolutional neural network) (CNN) & Regions with Convolutional Neural Network (RCNN, R-CNN, SSD), 순환 신경망 (Recurrent neural network) (RNN), Gated Recurrent Unit (GRU), 제한 볼츠만 머신 (Restricted Boltzmann Machine) (RBM), 심층 신회 신경망 (Deep Belief Network) (DBN), 심층 Q-네트워크(Deep Q-Networks), Deep hyper network (DHN), Deconvolutional Network, Fully Convolutional Networks for Semantic Segmentation (FCN), Generative Adversarial Networks (GAN), Learning Deconvolution Network for Semantic Segmentation, Multi-Scale Context Aggregation by Dilated Convolutions (Dilated Convolutions), Dynamic Routing Between Capsules (Capsules Network), YOLO, Path Aggregation Network for Instance Segmentation (PANet), Image-to-Image Translation with Conditional Adversarial Networks (pix2pix), CycleGAN, BicycleGAN, SlowFast, Kinetics, AVA, MelGAN, EfficientDet, SinGAN, Panoptic Segmentation, U-Net, MONAI, CenterNet, DeepLab, HRNet, OCRNet, ResNeSt
	Models	GoogLeNet, LeNet, AlexNet, ReNet, RCNN, SPPnet, Fast R-CNN, Faster R-CNN, VGG, SqueezeNet, PointNet, Mask R-CNN, MaskLab, OSMN (Video Segmentation), ColorNet, EfficientNet
Problems	차원 축소 (Dimensionality reduction)	Curse of dimensionality, Factor analysis, CCA, 독립 성분 분석 (ICA), LDA, 음수 미포함 행렬 분해 (NMF), 주성분 분석 (PCA), t-SNE
	과소적합 (Underfitting) & 과적합 (Overfitting)	Early stopping, Model selection, Normalization, Regularization (L1, L2, Dropout), Generalization
	초기화 (Initialization)	Xavier Initialization
	ETC	편향-분산 딜레마 (Bias-variance dilemma), Vanishing gradient problem, Local minimum problem, Batch Normalization, 표준화 (Standardization), AutoML
최적화 (Optimization)		Hyperparameter, 담금질 모사 (Simulated annealing), Early stopping, Feature scaling, Normal Equation, 경사 하강법 (Gradient descent), Stochastic gradient descent (SGD), 오류역전파 (Backpropagation), Convex optimization, Performance Tuning, im2col, Dense-Sparse-Dense Training for Deep Neural Networks (DSD), Deep Compression, Pruning Neural Networks, Shake-Shake regularization, Accurate Large Minibatch SGD
ETC	Libraries	OpenCV, Deeplearning4j (DL4J), Torch, PyTorch, 테아노 (Theano), Caffe, TensorFlow, MMDetection, ConvNetJS, cuDNN, Netscope, Microsoft Azure Machine Learning Studio, OpenPose, DensePose, Keras, tiny-dnn, Detectron, Stanford CoreNLP, Aifiddle, Kubeflow, OpenNMT, alibi-detect, Flashlight (facebook), MediaPipe, Weights and Biases
	Dataset	MNIST (손 글씨 데이터), ImageNet, CIFAR-10, TinyImages, PASCAL VOC, COCO, AVSS, YouTube-VOS
	Annotation tools	labelme, cvat, f-BRS, COCO Annotator
	See also	인공지능, 자동 로봇, 생체 정보학, 컴퓨터 지능, 컴퓨터 시각, 데이터 마이닝, 패턴 인식, 빅데이터
Unknown keyward		Classification, Anomaly detection, Association rules, Reinforcement learning, Structured prediction, Feature engineering, Feature learning, Online learning, Semi-supervised learning, Unsupervised learning, Learning to rank, Grammar induction, Local outlier factor, Minimum Description Length (MDL), Bayesian MAP, Structural Risk Minimization (SRM), Long Narrow Valley, Word2vec, Autoregressive integrated moving average (ARIMA)

Documentation

Bayesian probability

Bayesian Reasoning and Machine Learning: http://web4.cs.ucl.ac.uk/staff/D.Barber/pmwiki/pmwiki.php?n=Brml.Online; http://web4.cs.ucl.ac.uk/staff/D.Barber/textbook/020217.pdf; 020217_-_Bayesian_Reasoning_and_Machine_Learning.pdf

Deep learning

ImageNet Classification with Deep Convolutional Neural Networks (AlexNet)

http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf

http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

ImageNet_Classification_with_Deep_Convolutional_Neural_Networks.pdf

[한글 번역] 깊은 컨볼루셔널 신경망을 이용한 이미지네트(ImageNet) 분류

: ImageNet_Classification_with_Deep_Convolutional_Neural_Networks_-_ko.pdf

Going deeper with convolutions (GoogleNet): http://arxiv.org/pdf/1409.4842v1.pdf; Going_deeper_with_convolutions.pdf; 번역: GoogleNet

특집원고 딥하이퍼넷 모델 (Deep Hypernetwork models) (서울대학교/장병탁): Deep_Hypernetwork_models_201508.pdf

[Mocrosoft] Deep Residual Learning for Image Recognition (Winner ILSVRC2015): Deep_Residual_Learning_for_Image_Recognition(Winner_ILSVRC2015)_Microsoft.pdf

[Microsoft] Fast R-CNN, Towards Real-Time Object Detection with Region Proposal Networks (Winner ILSVR2015): Fast_R-CNN,Towards_Real-Time_Object_Detection_with_Region_Proposal_Networks(Winner_ILSVR2015)_Microsoft.pdf

Learning Deconvolution Network for Semantic Segmentation: http://cvlab.postech.ac.kr/research/deconvnet/

Deep EXpectation of apparent age from a single image: https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/

Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks.: Inside_outside_net_detecting_objects_in_context_with_skip_pooling_and_recurrent_neural_networks_2015.pdf; Small Object 탐지방법에 관한 논문.

조대협의 블로그 - 수학포기자를 위한 딥러닝과 텐서플로우의 이해: http://bcho.tistory.com/1208; Machine_learning_ebooks_-_Machine_learning_for_those_who_abandon_math.pdf

Densely Connected Convolutional Networks (DenseNets): Deep learning CVPR2017 최고 논문상

Deep Learning Interviews book: Hundreds of fully solved job interview questions from a wide range of key topics in AI.

딥러닝 인터뷰 북

머신러닝을 배우는 석/박사 과정 및 구직자들을 위한 실전 질문과 솔루션 모음

인쇄본 구입도 가능하지만, 전체 PDF는 무료로 공개

https://arxiv.org/abs/2201.00650

Tutorials

딥러닝 제대로 시작하기 (지은이 오카타니 타카유키/옮긴이 심효섭): Deep_Learning_-Takayuki_Okatani-2015-_sample.pdf

머신러닝 입문 가이드 - IDG Deep Dive: http://www.itworld.co.kr/techlibrary/97428; IDG_DeepDive_Machine_learning-20160113.pdf

딥러닝의 이해 (미발간; 2016-08-22 ver): Understanding_deep_learning_0822.pdf

Fundamental of Reinforcement Learning: https://www.gitbook.com/book/dnddnjs/rl/details; Fundamental_of_Reinforcement_Learning.pdf; 모두의연구소 - 강화 학습의 기본

Deep Learning Papers Reading Roadmap (딥러닝 논문 로드맵): https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap/blob/master/README.md; Deep_Learning_Papers_Reading_Roadmap.md.zip

[추천] Machine Learning-based Web Exception Detection (금융보안원 프로젝트 관련 참조사이트!): https://cloudfocus.aliyun.com/Machine-Learning-based-Web-Exception-Detection-89782?spm=a2c1b.a2c1b4.a2c1b4.16.ZSQoEd; Machine_Learning-based_Web_Exception_Detection_-Insights_and_Trends-_Alibaba_Cloud_Focus.pdf

머신러닝 기초 1~57편 (잡동사니 탐구 - 참스터디 ePaiai : 네이버 블로그): http://sams.epaiai.com/220498694383

Microsoft, ML for Beginners 강의 공개: MS Azure Clouds Advocates 팀이 만든 12주, 24강짜리 커리큘럼; Scikit-learn을 이용한 클래식 머신러닝 강의 (딥러닝은 별도 AI 강의로 나올 예정); https://github.com/microsoft/ML-For-Beginners

Compress model

Deep Compression and EIE - Deep Neural Network Model Compression and Efficient Inference Engine: Deep_compression_and_EIE_PPT.pdf

Learning bothWeights and Connections for Efficient Neural Networks: Learning_both_weights_and_connections_for_efficient_neural_networks_2015.pdf

Convolutional neural network

Reveal.js를 사용한 CNN 프레젠테이션 (Presentation).: Author - 나; Reveal-ml.tar.gz

Gradient-Based Learning Applied to Document Recognition: http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf; Gradient-Based_Learning_Applied_to_Document_Recognition.pdf

Visualizing and Understanding Convolutional Neural Networks: http://arxiv.org/abs/1311.2901; 1311.2901v3.pdf

Compressing CNN for Mobile Device (Samsung) - CNN 모델 압축의 필요성 etc ...: [http://mlcenter.postech.ac.kr/files/attach/workshop_fall_2015/삼성전자_김용덕_박사.pdf](http://mlcenter.postech.ac.kr/files/attach/workshop_fall_2015/삼성전자_김용덕_박사.pdf); Samsung_-_Compressing_CNN_for_Mobile_Device.pdf

Using Filter Banks in Convolutional Neural Networks for Texture Classification: https://arxiv.org/abs/1601.02919

Deep belief network

The Applications of Deep Learning on Traffic Identification: Us-15-Wang-The-Applications-Of-Deep-Learning-On-Traffic-Identification-wp.pdf; https://www.blackhat.com/docs/us-15/materials/us-15-Wang-The-Applications-Of-Deep-Learning-On-Traffic-Identification-wp.pdf

Deconvolution neural network

Learning Deconvolution Network for Semantic Segmentation: http://cvlab.postech.ac.kr/research/deconvnet/; https://arxiv.org/abs/1505.04366; 1505.04366.pdf

Segmentation

Learning to Segment (Facebook Research): https://research.fb.com/learning-to-segment/; DeepMask+SharpMask as well as MultiPathNet.

Recurrent Instance Segmentation: https://arxiv.org/abs/1511.08250; 1511.08250.pdf; Slideshare - Single Shot MultiBox Detector와 Recurrent Instance Segmentation

vid2vid: https://github.com/NVIDIA/vid2vid; Pytorch implementation for high-resolution (e.g., 2048x1024) photorealistic video-to-video translation.; It can be used for turning semantic label maps into photo-realistic videos, synthesizing people talking from edge maps, or generating human motions from poses.

Learning

Siamese Neural Networks for One-Shot Image Recognition: https://jayhey.github.io/deep%20learning/2018/02/06/saimese_network/; 딥러닝에서 네트워크를 학습시킬 때, 매우 많은 트레이닝 데이터가 필요합니다. 이러한 단점을 극복하여 한 레이블 당 하나의 이미지만 있어도 분류할 수 있게 학습시키는게 one-shot learning입니다.

[추천] AI Can Transform Anyone Into a Professional Dancer: https://news.developer.nvidia.com/ai-can-transform-anyone-into-a-professional-dancer/; https://arxiv.org/abs/1808.07371

Transforming Standard Video Into Slow Motion with AI: https://news.developer.nvidia.com/transforming-standard-video-into-slow-motion-with-ai/

NVIDIA SPLATNet Research Paper Wins a Major CVPR 2018 Award: https://news.developer.nvidia.com/nvidia-splatnet-research-paper-wins-a-major-cvpr-2018-award/

AI Learns to Play Dota 2 with Human Precision: https://news.developer.nvidia.com/ai-learns-to-play-dota-2-with-human-precision/

[추천] This AI Can Automatically Remove the Background from a Photo: https://news.developer.nvidia.com/this-ai-can-automatically-remove-the-background-from-a-photo/

NVDLA Deep Learning Inference Compiler is Now Open Source: https://devblogs.nvidia.com/nvdla/

Favorite site

Machine learning

Wikipedia (en) 기계학습에 대한 설명
기계 학습 (Machine Learning) - OpenCV 기계 학습 알고리즘 ²
UNIVERSITY OF OXFORD: COMPUTER SCIENCE: Machine Learning: 2014-2015 Course materials (옥스포트 대학 머신러닝 교재및 비디오)
기계 학습의 역사 1
기계 학습의 역사 2
파라미터 조정과 학습
Team AI Korea : We do Artificial Intelligence
[추천] Mad for Simplicity - Enginius/Machine Learning (머신러닝 관련 컨텐츠 다수 보유, 깔끔하게 잘 정리했음)
[추천] HUB-AI - AI STUDY (AI관련 스터디 자료 다수 보유)
수학을 포기한 직업 프로그래머가 머신러닝 학습을 시작하기위한 학습법 소개
머신러닝을 위한 기초 수학 살펴보기 by mingrammer
[추천] Browse state-of-the-art

E-book

데이터 분석

데이터 분석가 대디가 유소년 축구 플렉스하기