잡담연구소

오늘 학습 내용은 14일 학습내용과 겹치는 게 많아 아주 조금 14일 정리에 추가했다. 실습시간에 아주 간단하게 토픽만 얘기하고 넘어간 lstm을 통한 감정분석을 따로 구현해보았다. 실습에서는 너무 겉핥기 식?으로 다루는 거 같아 RNN을 통한 classfication 예제를 찾아 구현해보았다. 3분 파이토치 와 June님의 블로그 를 참고했다. LSTM을 이용해 IMDB 데이터셋을 감정분석하는 프로젝트라고 말하기엔 부끄러운 소소한 작업이다. 영화리뷰 텍스트를 LSTM을 통해 압축시키고, 압축된 리뷰가 긍정인지 부정인지 판단한다. 0. 준비 우선 필요한 패키지들을 import 해온다. cnn에서 torchvision을 통해 이미지를 처리하는 dataloader등을 불러온 것과 같이 torchtext를 통..

"나는 수학을 싫어해" 라는 텍스트에 대해서 사람은 이해할 수 있지만 , 컴퓨터는 바보라서 이해할 수 없다. 컴퓨터가 이해할 수 있도록 텍스트를 숫자로 이루어진 벡터로 변형(수치화)시켜 주어야 한다. 단어를 벡터로 표현하는 방법에는 여러가지 방법이 있다. Bag of words bag of words는 단어들의 순서를 고려하지않고 "빈도수"에 집중해 텍스트를 표현하는 방법이다. 말 그대로 모든 단어들을 가방에 다 집어넣게 되므로 순서 같은 건 고려하지 않게 되며, 갯수에만 의존하게 되는 것이다. 엄청 엄청 엄청 간단하다. 한 문서에 다음과 같은 두 문장이 있다고 하자. "John really really loves the movie" "jane really likes this song" 1. 두 문장에 ..

역대급으로 어려웠던 하루,,, gan이 내가 알던 gan이 아니야,,, 1. 생성 모델 (generative model) 생성 모델이라고 하면 나도 그렇고 사람들은 단순히 이미지를 만들어내는 GAN을 생각한다. Explicity model : 모델이 갖는 분포인 $P_{model}$의 확률 밀도 함수를 정확하게 구할 수 있는 경우 - 예시 ) X가 "개"라면 P(X)는 높을 것이고, 아니라면 낮을 것이다.(이상탐지) - 예시가 어떻게 보면 일종의 "분류"와도 같다. 이런 점에서 엄밀한 의미의 Generative model은 discriminator도 포함한다. Inplcity model : $P_{model}$을 정의하지 않고 샘플링을 통해 이미지 생성 : "개"를 의미하는 특정한 확률분포를 학습해 이와..

📌 학습정리 시퀀스 데이터만의 특징, 종류, 다루는 방법 CNN,MLP등과 RNN의 차이점 비교해보기 BPTT를 수식적으로 이해하고 기울기 소실문제 발생 이유와 해결책 찾아보기 seqential model의 한계점 Transformer의 encoder, multi head attetnion 이해하기 1. 시퀀스 데이터 시퀀스 데이터란 음성, 문자열 , 주가와 같이 시간 순서가 있는 데이터를 얘기한다. 예를 들어 텍스트의 경우, 이전 문장 없이 그 다음 나올 문장을 예측하거나 완성하는 건 불가능하다. 그렇기 때문에 시퀀스데이터는 독립동등분포(i.i.d)를 위배하기 때문에 순서를 유지해주지 않으면 정보에 손실이 생겨 확률분포가 변해버린다. 앞으로 발생할 데이터의 확률분포는 이전 시퀀스의 정보를 가지고 조건부..

📌 학습목표 Convolution의 정의, convolution 연산 방법과 기능 이해하기 그리고 Convolution, 입력을 축소하는 Pooling layer, 모든 노드를 연결하여 최종적인 결과를 만드는 Fully connected layer 로 구성되는 기본적인 CNN(Convolutional Neural Network) 구조에 대해 이해하기 ILSVRC라는 Visual Recognition Challenge와 대회에서 수상을 했던 5개 Network 들의 주요 아이디어와 구조 학습 Semantic segmentation의 정의, 핵심 아이디어에 대해 배웁니다. Object detection의 정의, 핵심 아이디어, 추가적으로 종류에 대해 배웁니다. 1. Convolutional Neural Ne..

1. DLBasic : optimization📌 학습목표 Generalization,Overfitting, Cross-validation의 용어와 다양한 Gradient Descent 기법과 그에 따른 성능차이 Important concepts in Optimization1. Generalization 처음보는 data(test data)에 대해서도 얼마나 잘 예측/분류 등을 할 수 있게 하는 것을 의미한다. 딥러닝 모델은 train data를 통해 학습해 처음보는 test data에 대해서도 좋은 성능을 낼 수 있게 하는 것이 목표다. train error 와 test error의 차가 작을 수록 좋은데, 이 차를 generalization gap이라고 한다. generalization performa..