잡담연구소

- BERT 학습의 단계 1. Tokenizer 만들기 2. 데이터셋 확보 3. Next sentence prediction(NSP) 4. Masking - Domain-specific task의 경우 처음부터 직접 새로 학습하는 것이 성능이 더 좋다. 가장 중요한 것은 개인정보가 없는! 저작권 문제가 해결된! 데이터 셋을 사용해야 한다. 모델이 개인정보를 학습할 수가 있기 때문이다! 최근 이루다 이슈를 생각해보면 바로 느낌이 온다. 미국 전 대통령 오바마를 가지고 한 번 예시를 들어보자. 항상 tokenizer는 잘 되는지 확인 먼저! print(tokenizer('이순신은 조선 중기의 무신이다.')) {'input_ids': [101, 9638, 119064, 25387, 10892, 59906, 9..

강의 정리 개인적으로 오늘 강의 정말 진국;; huggingface에서 제공하는 transforms 라이브러리가 너무 잘되어있어서 단! 3줄의 코드만으로도 bert를 가져와 쓸 수 있다고 한다. from transformers import AutoModel, AutoTokenizer model = AutoModel.from_pretrained("") tokenizer = AutoTokenizer.from_pretrained("") AutoTokenizer는 model-name에 맞는 tokenizer를 자동으로 불러와주는 역할을 하는 듯 하다. 대표적인 multilingual 모델인 bert-base-multilingual-cased는 BertTokenizerFast class로 되어있다. MODEL_N..

자연어 처리의 end-to-end를 확인하고 싶어 Pstage2는 KLUE를 선택했다. 해보고 적성에 맞으면 기계독해, 아니면 이미지 검출을 할 생각인데,,,,1일차의 느낌으로는 이미지 검출로 갈 거 같다..ㅎ Overview를 보고 대충 계획을 잡으려고 습관을 들이려는 중인데, NLP는 처음이니까 앞서나가기보다 교수님이 시키시는 거 꼬박꼬박하기로 마음먹었다. 5일차 TASK부터 시작하는 걸로 설계하셨다고 해서, 5일차 이전까지 다른 일 + 강의 마스터 이렇게 계획했다. 강의 요약 대부분의 자연어 처리는 '분류'의 문제다. (의미분석 , 구문 분석 ,감정 분석, 형태소 분석, 개체명 인식) 분류를 위해! N차원 위의 한 점으로 표현하기 위해! 자연어를 벡터화해야한다. word embedding => 동형..

솔직하게 오늘 수업을 안들었다. 어제 새벽 5시 넘어서 잤더니 너무 피곤해서,,, 학습 목표 설정도 못했다. 목표 오피스 아워에서 멘토님이 말씀하신 "큰 거 먼저 완성하기" Multi-branch 구현 해보기 모델 3개로 만든 다음 합쳐보기 강의 내용 오늘 강의 안들었다. 아직 Ensemble이나 tta를 할 때가 아니라고 판단했기 때문이다. 오늘은 모델 구조 짜는 거에 집중! -> 하 모델 구조 짰는데 성능이,,,, 그냥 수업 들을 걸 그랬나; 후회되네 요새 노션이 너무 편하다. 그래서 1주 회고 겸 앞으로 무엇을 해야 할지를 노션에 적어놨다. www.notion.so/1-df8186ce989f405d9e90f098339891d3

목표 거만하게 공부하지말기 : 교수님이 시키는 대로 하기 피어세션 이끌고, 새로운 정보 얻어오기 sampler 사용해보기 augmentation 조합 해보기 내일은 augmentation 조합을 좀 도전 해보자! RandomResizedCrop One of [ gaussian noise , MotionBlur , jpegcompression] horizontal flip rotate Fc layer를 한 단 더 추가해보기 Model 바꿔보기 B3 , B4 등 강의 정리 nn.Module 을 상속받은 모든 클래스의 공통된 특징 - 모든 nn.Module은 childe modules를 가질 수 있다. - 모든 nn.Module은 forward()를 가진다. nn.Modules는 일종의 저장소 역할을 한다! ..

목표 1. 거만하게 공부하지 않기 : 교수님이 시키는 거 해보자 2. 베이스 코드를 짠 후, 교수님께 배운 기법들을 적용해보고 성능이 좋아졌는지 확인해보자 3. augmentation 이것 저것 가정하고 시도해보기 강의 정리 - Dataset 주어진 vanilla data를 모델이 좋아하는 형태의 Dataset으로 만들어주는 법 - Pre-processing 현업에서는 null, noise 등 제대로 되지 않은 데이터가 과반수 -> 전처리 시간 오래 걸리고 중요함 이미지 데이터의 경우 , 시계열이나 정형 데이터에 비해서 전처리에 손이 많이 가는 편은 아니다. 하지만 이미지의 크기 때문에 메모리 문제가 발생 competition data는 품질이 매우 양호한 편 속지마라! 1. bounding box : ..