AI
* 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 14(수) 발표 AI의 권위자 중 한 분이신 얀 르쿤(Yann LeCun)은 GAN을 두고 머신러닝 분야에서 최근 10년 중 가장 흥미로운 아이디어라고 언급했다. 과연 어떤 아이디어길래 하루가 멀다하고 새로운 아이디어가 쏟아져나오는 ML 분야에서 가장 흥미롭다고 극찬한 것인지 궁금해서 이번주 공부 주제로 GAN을 선정하게 되었다. 최초로 GAN 모델을 제안한 논문은 Generative Adversarial Nets라는 논문으로, NIPS에서 2014년에 발표되었다. 우선 GAN 모델의 풀 네임인 Generative Adv..
RuntimeError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 7.43 GiB total capacity; 6.38 GiB already allocated; 8.81 MiB free; 6.69 GiB reserved in total by PyTorch) batch size가 너무 크거나 코드 상에서 메모리가 불필요하게 사용되고 있기 때문에 발생. 아래와 같은 해결 방법들이 있다. 1. batch size 사이즈 줄이기 -> batch size 64에서 32로 조정 2. GPU의 캐시를 비워줌 import gc gc.collect() torch.cuda.empty_cache() -> 여기서 해결됨 ! 3. nvidia-smi 로 실행중인 프로세..
* 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 07(수) 발표 먼저 ICML, NIPS, AAAI 등의 학회 사이트에서 여러 논문들을 살펴봤을 때 공부해볼 수 있는 주제가 너무 광범위하다는 생각을 했다. 그래서 큰 분야를 먼저 정해놓고 세부적으로 접근해보자 라고 생각했다. 그리하여 머신러닝의 세가지 분야 중에서 Reinforcement Learning, 강화학습을 주제로 하여 세부적으로 논문을 찾아보게 되었다. 강화학습은 지도, 비지도학습과는 달리 변화하는 환경으로부터 직접 보상을 받으며 학습한다는 점에서 ‘스스로 학습’한다 라는 특징이 있는데 특히 대표적인 예시로는..
내가 보려고 정리 * [유튜브] DeepLearningAI https://www.youtube.com/channel/UCcIXc5mJsHVYTZR1maL5l9w DeepLearningAI Welcome to the official DeepLearning.AI YouTube channel! Here you can find the videos from our Coursera programs on machine learning as well as recorded events. DeepLearning.AI was founded in 2017 by machine learning and education pioneer Andrew Ng to fill www.youtube.com * [강의] 모두를 위한 머신러닝/딥..
출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io XOR 문제는 하나의 unit으로는 풀 수 없고, 여러 개가 합쳐진 경우에는 풀 수 있게 됨. NN에서는 과연 XOR 문제 해결이 가능한 것인가 ? 1번 케이스 (x1, x2)를 (0, 0)으로 가정하여 풀게 된 과정이 아래와 같음. 2, 3, 4번 케이스에 대해서도 한번 적용시켜봄. 앞의 과정들을 하나로 뭉쳐서 확인하게 되면 아래와 같은 형태로 볼 수 있음. 이 과정을 하나의 Neural Network라고 볼 수 있음. 프로그래밍 시킬 경우에는 위와 같은 코드의 형태로 구현할 수 있음. 위의 과정에서 w와 b의 값들은 임의로 정한 값들이었고, 이 값들..
출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 2006년과 2007년에 Breakthrough가 되는 두개의 논문이 발표됨. 2006년의 논문에서는 w의 초기값을 적절한 값으로 잘 주게 되면 훈련이 잘 된다는 내용이었으며, 2007년의 논문에서는 신경망을 여러개 아주 깊게 쌓으면 굉장히 복잡한 문제를 잘 풀 수 있다는 것을 보임.
출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 기본적으로 동그라미 안과 같은 Cell이 있다고 가정해보자. 그러면 어떤 값이 들어오면 weight 값 w와 곱이 됨. 그 다음에 bias 값을 합함. sum의 값이 어떤 값보다 작으면 0이라는 신호를 주고, 어떤 값보다 크게 되면 1이라는 신호를 주게 되는 구조임. Backpropagation에는 큰 문제가 있는데 layer가 깊어질수록 전달이 잘 안되어서 훈련의 정확도가 떨어지는 문제임.
출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 머신러닝 모델이 얼마나 잘 동작하는지 확인하는 방법에 대해서 살펴볼 것. 우리가 갖고 있는 Training set을 모델에 넣어서 훈련을 시킨 다음에 다시 기존의 train data를 가지고 모델에 물어보는 형식으로 점검하게 된다면 ? 아마 100%의 확률로 답을 맞추게 될 것. 이 방법은 아주 좋지 못한 방법임. 좋은 방법은 우리가 가지고 있는 데이터를 7:3의 비율로 나누어서 7은 training용으로 두고, 3은 test로 두는 것임. 그런 다음에 test는 볼 수 없다고 가정하고 나서 train data를 가지고 훈련. 훈련을 마친 이후에 tes..
출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 머신러닝 알고리즘을 실제로 사용하는데 있어서의 몇가지 팁들을 이야기할 것. cost function을 정의하고 cost function을 최소화하는 값을 찾기 위해 사용했던 Gradient descent 알고리즘. 경사를 타고 고 내려감. 이 때 알파라는 learning rate 값을 임의로 정의해줬었음. 이 learning rate의 값을 값을 잘 정하는 것이 중요함. 만일 이 값을 크게 정한다고 가정해보자. RL은 내려가는 스텝의 크기라고 볼 수 있음. 그렇기 때문에 아래의 그림처럼 내려가는 형태임. 또, 지나치게 클 경우에는 진행하다가 바깥으로 튕..
