AI
https://ai.googleblog.com/2017/04/federated-learning-collaborative.html Federated Learning: Collaborative Machine Learning without Centralized Training Data Posted by Brendan McMahan and Daniel Ramage, Research Scientists Standard machine learning approaches require centralizing the training data... ai.googleblog.com Federated Learning은 2017년 구글 AI 블로그에서 공식적으로 소개되었습니다. 아래는 Federated Learning에 대해..
* 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 21(수) 발표 이번주에 다룬 주제는 적대적 공격, Adversarial Attack에 관련한 논문이다. 먼저, Adversarial Attack이 무엇인지 간단하게 소개하겠다. Adversarial이라는 단어는 대립하는, 적대적인 이라는 뜻을 가지고 있다. Adversarial attack은 사람이 인식하지 못할 정도의 특정 노이즈를 더하여 다른 이미지를 생성하고, 최신 분류 알고리즘들에게 혼란을 주는 공격방식을 의미한다. Adversarial Attack의 대표적인 예시인 판다/긴팔원숭이 사진 예시를 가져와봤다. 사람..
* 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 21(수) 발표 지난 논문 리뷰 글에서 GAN 모델에 대해 다루었는데, 이 때 GAN 모델들의 가장 큰 단점으로 안정적으로 학습되기 어려웠기 때문에 좋은 성능을 얻기 어려웠고, 결과물에 대한 객관적인 평가가 어려웠다는 점을 소개했다. 그렇기 때문에 초기에는 GAN을 응용하는데에 많은 어려움이 있었고, GAN의 단점들을 극복하기 위해 DCGAN이 등장한다. DCGAN이 나온 이후에는 대다수의 GAN 구조는 DCGAN의 구조를 따르고 있다고 하여 의미가 크다고 한다. 이번에 리뷰해볼 논문은 DCGAN을 처음 제안한 Unsup..
* 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 14(수) 발표 AI의 권위자 중 한 분이신 얀 르쿤(Yann LeCun)은 GAN을 두고 머신러닝 분야에서 최근 10년 중 가장 흥미로운 아이디어라고 언급했다. 과연 어떤 아이디어길래 하루가 멀다하고 새로운 아이디어가 쏟아져나오는 ML 분야에서 가장 흥미롭다고 극찬한 것인지 궁금해서 이번주 공부 주제로 GAN을 선정하게 되었다. 최초로 GAN 모델을 제안한 논문은 Generative Adversarial Nets라는 논문으로, NIPS에서 2014년에 발표되었다. 우선 GAN 모델의 풀 네임인 Generative Adv..
RuntimeError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 7.43 GiB total capacity; 6.38 GiB already allocated; 8.81 MiB free; 6.69 GiB reserved in total by PyTorch) batch size가 너무 크거나 코드 상에서 메모리가 불필요하게 사용되고 있기 때문에 발생. 아래와 같은 해결 방법들이 있다. 1. batch size 사이즈 줄이기 -> batch size 64에서 32로 조정 2. GPU의 캐시를 비워줌 import gc gc.collect() torch.cuda.empty_cache() -> 여기서 해결됨 ! 3. nvidia-smi 로 실행중인 프로세..
* 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 07(수) 발표 먼저 ICML, NIPS, AAAI 등의 학회 사이트에서 여러 논문들을 살펴봤을 때 공부해볼 수 있는 주제가 너무 광범위하다는 생각을 했다. 그래서 큰 분야를 먼저 정해놓고 세부적으로 접근해보자 라고 생각했다. 그리하여 머신러닝의 세가지 분야 중에서 Reinforcement Learning, 강화학습을 주제로 하여 세부적으로 논문을 찾아보게 되었다. 강화학습은 지도, 비지도학습과는 달리 변화하는 환경으로부터 직접 보상을 받으며 학습한다는 점에서 ‘스스로 학습’한다 라는 특징이 있는데 특히 대표적인 예시로는..
내가 보려고 정리 * [유튜브] DeepLearningAI https://www.youtube.com/channel/UCcIXc5mJsHVYTZR1maL5l9w DeepLearningAI Welcome to the official DeepLearning.AI YouTube channel! Here you can find the videos from our Coursera programs on machine learning as well as recorded events. DeepLearning.AI was founded in 2017 by machine learning and education pioneer Andrew Ng to fill www.youtube.com * [강의] 모두를 위한 머신러닝/딥..
출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io XOR 문제는 하나의 unit으로는 풀 수 없고, 여러 개가 합쳐진 경우에는 풀 수 있게 됨. NN에서는 과연 XOR 문제 해결이 가능한 것인가 ? 1번 케이스 (x1, x2)를 (0, 0)으로 가정하여 풀게 된 과정이 아래와 같음. 2, 3, 4번 케이스에 대해서도 한번 적용시켜봄. 앞의 과정들을 하나로 뭉쳐서 확인하게 되면 아래와 같은 형태로 볼 수 있음. 이 과정을 하나의 Neural Network라고 볼 수 있음. 프로그래밍 시킬 경우에는 위와 같은 코드의 형태로 구현할 수 있음. 위의 과정에서 w와 b의 값들은 임의로 정한 값들이었고, 이 값들..
출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 2006년과 2007년에 Breakthrough가 되는 두개의 논문이 발표됨. 2006년의 논문에서는 w의 초기값을 적절한 값으로 잘 주게 되면 훈련이 잘 된다는 내용이었으며, 2007년의 논문에서는 신경망을 여러개 아주 깊게 쌓으면 굉장히 복잡한 문제를 잘 풀 수 있다는 것을 보임.
