잡담연구소

개빡친다 ssh 접속해서 그냥 할 땐 설치가 잘 됐는데 env에 들어가서 하니 잘 안됐다. error: invalid command 'bdist_wheel' ---------------------------------------- Failed building wheel for google-crc32c Running setup.py clean for google-crc32c Failed to build google-crc32c Installing collected packages: google-crc32c, google-resumable-media, charset-normalizer, idna, certifi, urllib3, requests, six, protobuf, googleapis-common-p..

개쩌는 의식의 흐름대로 쓰는 distributed data parallel https://pytorch.org/tutorials/intermediate/ddp_tutorial.html Getting Started with Distributed Data Parallel — PyTorch Tutorials 1.9.0+cu102 documentation Getting Started with Distributed Data Parallel Author: Shen Li Edited by: Joe Zhu Prerequisites: DistributedDataParallel (DDP) implements data parallelism at the module level which can run across multip..

contrastive learning 을 이용한 sentence embedding 근데 이제 dropout을 곁들인,,, 1 ) unsupervise 방식 input sentence A 와 input sentence에 dropout을 적용한 A+를 positive sample 로 보는 거다. 2 ) supervise 방식 NLI에서 영감을 얻어서 "entailment"는 positive sample로 "contradiction"은 negative sample로 학습한다. contrasive learning 을 써먹으려면 pair가 필요하다. 가장 단순하게 augmentation을 사용하면 pair를 얻을 수 있는데, 이미지에서는 연속되어있기 때문에, crop등을 해도 성능이 좋지만, 자연어는 discre..

상준님이 글 써달라해서 글을 썼다.

개쩌는 거 많이 배움 거의 99.7%가 빠른 98년생 성균관대 소프트웨어공학과 소프트웨어학과 현재 산업기능요원인 대 박상준님이 알려준 거 1. argparser가 formatting에 의해 잘리는 문제 argparser는 길어도 여러 줄로 잘리면 보기 좋지 않다. 그래서 한 줄로 하고 싶은데 블랙 포맷팅에 의해서 자꾸 잘린다. 이럴 때는 내가 포맷이 되지 않기 바라는 줄 위에서 # fmt.off 으로 포맷팅을 꺼주면 된다. 다시 포맷팅이 시작되길 바라는 부분부터 #fmt.on으로 켜주면 된다. # fmt: off parser = argparse.ArgumentParser("hi i am hyerin") parser.add_argument("--tokenizer-path", type=str, default..

1. huggigface 설치 ERROR: Could not build wheels for tokenizers which use PEP 517 and cannot be installed directly 이런 에러가 뜬다. https://github.com/huggingface/transformers/issues/2831#issuecomment-600141935 위 issue를 참고하고, transformer는 최신 버전으로 설치했더니 잘 돌아간다 굿굿~~ Install Rust link curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh Restart the terminal pip install transformers==2.5.1