ML/DeepLearning
-
early stoppingML/DeepLearning 2025. 4. 7. 15:55
출처: gpt 좋아, 딥러닝에서 자주 쓰는 **early stopping** 개념을 간단하고 직관적으로 설명해줄게!---### 🛑 Early Stopping이란?> **모델이 더 이상 개선되지 않으면 학습을 조기 종료하는 기법**이야.---### 🤔 왜 쓰는 걸까?- **오버피팅(overfitting)** 방지: 너무 오래 학습하면 모델이 학습 데이터에 과하게 맞춰져서, validation 성능은 오히려 **나빠질 수 있어**.- **학습 시간 절약**: 이미 최적 성능을 낸 뒤에는 **더 돌려봐야 의미 없음** → 시간 낭비 방지.---### 💡 어떻게 동작하냐면?보통은 아래 로직을 써:1. 매 epoch마다 **validation loss (또는 accuracy)** 를 확인해...
-
-
mixed precisionML/DeepLearning 2025. 4. 7. 11:36
출처:Gpt원래 float32를 쓰는데, 계산 정확도가 엄밀하지 않아도 되는 부분에는 float 16을 사용하여 연산 효율화 하는 방법. (메모리 절약, 속도 향상) 모델 훈련하는 부분에 적용해주면 되는데, 아래 autocast부분에 모델 예측 + loss계산은 float16로,optimizing하는 부분은 float32로scaler = torch.cuda.amp.GradScaler()for inputs, labels in dataloader: optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs = model(inputs) loss = criterion(outputs, labels) scaler.scale..
-
-
Simplified version of attention 설명ML/DeepLearning 2025. 2. 4. 17:46
출처: Build a large language model from scratch, chapter 3 : coding attention mechanism # 3.0 3장에서 다룰 구조- 아래 메커니즘을 해당 챕터에서 다룸# 3.1 attention의 등장배경- encoder, decoder개념의 등장 배경1) 아래 번역해야할 문장이 있다고 하자. 직독직해하면 문제가 생기므로, 각 언어의 어순을 고려해서 해석해줘야한다. 2) 이를 위해서 encoder, decoder개념이 등장했고 이를 활용한 것이 RNN이다. RNN의 상세 로직을 알필요는 없으며, endoer decoder setup에 대해서만 알면 된다. - encoder, decoder 로직: encoder, decoder내부에서 각 hidden..
-
GNNML/DeepLearning 2023. 3. 10. 14:23
1. node 2 vec : node 단위 graph embedding 목적 : node들간의 관계를 저차원 공간으로 표현하는 것 https://frhyme.github.io/machine-learning/node2vec/ word 2 vec 복습 : 주변 단어와 현재단어를 같이 학습해서, 문장안에서 비슷한 주변 단어와 함께 나오는 단어 1은 단어 2와 비슷하다 word2vec 과의 차이 : 학습에 필요한 corpus가 word2vec은 문장, node2vec은 노드 시퀀스이다. 그 노드 시퀀스를 만들어내는 탐색방법은 BFS(노드들간의 관계), DFS(구조적 학습) 이 있다. 그 노드 시퀀스로 skip-gram을 한다. 2. deepwalk : node2vec 에서 노드 시퀀스를 만들어내는 방법은 ran..