● Attention Is All You Need (NIPS 2017) 핵심 개념 - 자연어 처리와 같은 시계열 데이터의 처리에서 RNN 계열의 모델이 아닌 Attention 개념이 등장함. - 트랜스포머는 Encoder 부분과 Decoder 부분으로 구성되어 있음. - Encoder에는 Input 데이터를 Positional Encoding하고, Multi-head Attention 레이어를 거쳐 Feed-Forward 레이어로 전달하는 부분이 구성되어 있으며, 이 레이어들을 거쳐 나온 Output이 Decoder부분으로 전달됨. - 그리고 각 레이어에는 Residual 레이어가 추가되어 있음 (skip connection) - Decoder에는 Encoder와 같은 구조 앞뒤로 Masked Multi..
best_AI_papers_2022 GitHub - louisfb01/best_AI_papers_2022: A curated list of the latest breakthroughs in AI (in 2022) by release date with a clear A curated list of the latest breakthroughs in AI (in 2022) by release date with a clear video explanation, link to a more in-depth article, and code. - GitHub - louisfb01/best_AI_papers_2022: A cur... github.com 2022년에 발표된 주목할 만한 AI papers가 있어 가지고 옴...
순환 신경망(Recurrent Neural Network, RNN) RNN은 위 그림의 A와 같이 입력층과 출력층 사이에 있는 은닉층의 정보(가중치 등)를 다음 단계로 넘겨 공유함 즉, 이전에서 받은 정보 A에 새로운 입력값이 더해져 A가 계속 업데이트되어 다음으로 전달되는 구조 문제점은 가중치w가 n번 업데이트된다는 것은 w의 n제곱으로 계산되는 값. 즉, 가중치가 양의 값이면 w의 n제곱은 거의 무한대로 커져 연산량이 많아지거나, 가중치가 음의 값이면 w의 n제곱은 0에 가까워져 학습 효과가 없어진다는 것. Vanishing 문제. 그래서 잘 쓰이지 않고, 이 문제에 대한 대안법이 있는 LSTM과 GRU를 사용 1. LSTM (1997) LSTM은 RNN의 구조에서 가중치 연산이 일어나 전달하는 "A..
딥러닝 공부를 제대로 시작하면서 먼저 기존 발표된 모델과 개념을 간단히 하나씩 정리하고자 한다. 0. Perceptron (1957) & MLP 로젠블릿이 개발한 이진 분류 알고리즘. 위 그림에서 앞의 결과를 모아 내적하여 다음 과정으로 내보내는 함수를 활성화 함수(activation function)라고 함. 특히, 이 활성화 함수가 Sigmoid일 때 Logistic Regression Model이라고 함. 퍼셉트론을 여러 층으로 쌓은 것을 MLP (Multi-Layer Perceptron)이라고 하며 DNN (Dense Neural Network)이기도 하고 모든 뉴런이 연결되어 있다는 점에서 Fully Connected Layers Model이라고도 할 수 있음. 1. AlexNet (2012) ..
- Total
- Today
- Yesterday
- NGS
- 평균분석
- GPU설치
- 생존곡선
- 생존함수
- psychopy
- 딥러닝
- SNP
- GradCam
- r
- cnn
- missing_value
- plink
- 생존분석
- Bioinfo
- rgb2gray
- PTB
- ECG
- 그룹비교
- featuremap
- 인공지능
- 실험통계
- gray2rgb
- sequenced data
- pmm
- sounddevice
- HRV
- vcf
- pre-train
- fasta
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |