잡담연구소

솔직하게 오늘 수업을 안들었다. 어제 새벽 5시 넘어서 잤더니 너무 피곤해서,,, 학습 목표 설정도 못했다. 목표 오피스 아워에서 멘토님이 말씀하신 "큰 거 먼저 완성하기" Multi-branch 구현 해보기 모델 3개로 만든 다음 합쳐보기 강의 내용 오늘 강의 안들었다. 아직 Ensemble이나 tta를 할 때가 아니라고 판단했기 때문이다. 오늘은 모델 구조 짜는 거에 집중! -> 하 모델 구조 짰는데 성능이,,,, 그냥 수업 들을 걸 그랬나; 후회되네 요새 노션이 너무 편하다. 그래서 1주 회고 겸 앞으로 무엇을 해야 할지를 노션에 적어놨다. www.notion.so/1-df8186ce989f405d9e90f098339891d3

목표 겸손히 공부하기 : 마스터님의 미션 해보기 피어세션에서 새로운 정보 얻어오기 이걸 달성하기 위해서는 나도 남들에게 줄 정보가 있어야한다! 그러기 위해 더 열심히 실험해보자! OVERVIEW + 어제의 목표 조합 내일도 augmentation 조합을 새롭게 좀 도전해보자 RandomResizedCrop One of [ gaussian noise , MotionBlur , jpegcompression] horizontal flip rotate 그냥 DataLoader에서 제공하는 weight sampler 사용해보자 Focal loss 사용해보기 + imbalance에 좋은 loss 찾아보기 optimizer : SGD VS ADAM 실험해보기 lr scheduler 적용해보기 내 최애 AdamW + ..

목표 거만하게 공부하지말기 : 교수님이 시키는 대로 하기 피어세션 이끌고, 새로운 정보 얻어오기 sampler 사용해보기 augmentation 조합 해보기 내일은 augmentation 조합을 좀 도전 해보자! RandomResizedCrop One of [ gaussian noise , MotionBlur , jpegcompression] horizontal flip rotate Fc layer를 한 단 더 추가해보기 Model 바꿔보기 B3 , B4 등 강의 정리 nn.Module 을 상속받은 모든 클래스의 공통된 특징 - 모든 nn.Module은 childe modules를 가질 수 있다. - 모든 nn.Module은 forward()를 가진다. nn.Modules는 일종의 저장소 역할을 한다! ..

목표 1. 거만하게 공부하지 않기 : 교수님이 시키는 거 해보자 2. 베이스 코드를 짠 후, 교수님께 배운 기법들을 적용해보고 성능이 좋아졌는지 확인해보자 3. augmentation 이것 저것 가정하고 시도해보기 강의 정리 - Dataset 주어진 vanilla data를 모델이 좋아하는 형태의 Dataset으로 만들어주는 법 - Pre-processing 현업에서는 null, noise 등 제대로 되지 않은 데이터가 과반수 -> 전처리 시간 오래 걸리고 중요함 이미지 데이터의 경우 , 시계열이나 정형 데이터에 비해서 전처리에 손이 많이 가는 편은 아니다. 하지만 이미지의 크기 때문에 메모리 문제가 발생 competition data는 품질이 매우 양호한 편 속지마라! 1. bounding box : ..

드디어 P stage 시작! 목표 Pstage를 시작하면서 잡은 목표 : 거만하게 공부하지 않기, 쉬운 거라고 착각하고 넘어가지말기, 리더보드에 목매지않기 충실하게 EDA를 진행하며 insight들을 얻고, 이를 캠퍼들과 공유하기 EDA를 진행하며 matplotlib , seaborn , pandas를 손에 익히기 강의 정리 - Overview의 중요성 무작정 모델 돌리기 부터 시작하는 것보다 Overview를 보면서 어떤 데이터로 어떤 문제를 풀어야 되는 지, 어떤 어려움이 예상되는 지 방향성부터 잡고 시작하자 - 문제 정의 내가 어떤 문제를 풀어야 하는 지 , input과 output은 무엇인가? , 솔루션은 어디서 어떻게 사용되나 등 - EDA 란 ? 내가 궁금했던 데이터에 대한 걸 해결해 나가는 ..

📌 빠르게 Further Quetion 1) 이번 강의는 lightweight modeling과 어떤 관계가 있을까? (이 강의를 만든 목적은 무엇일까?) 저번 시간에 압축을 통해 공간(메모리)를 줄였다면 , 'acceleration'을 통해 시간을 줄일 수 있다. - bandwidth는 기간 내 네트워크를 통해 전송되는 데이터의 양 - latency는 어떤 일을 처리(source ->target)할 때 걸리는 시간 - throughput는 일종의 처리율로 기간 내 "성공적으로" 네트워크 전송을 통해 처리된 데이터의 양 cpu에서는 병목현상이 일어나고, gpu는 '병렬'로 처리해 throughput을 증가시켜준다. 2) 두 계산에 차이가 발생하는 이유는 뭘까?(p 4) numpy는 c언어로 구현돼 파이썬..