티스토리

BINABLE
검색하기

블로그 홈

BINABLE

starrymind.tistory.com/m

이긍빈 님의 블로그입니다.

구독자
1
방명록 방문하기

주요 글 목록

  • [Google AI blog] Federated Learning: Collaborative Machine Learning without Centralized Training Data https://ai.googleblog.com/2017/04/federated-learning-collaborative.html Federated Learning: Collaborative Machine Learning without Centralized Training Data Posted by Brendan McMahan and Daniel Ramage, Research Scientists Standard machine learning approaches require centralizing the training data... ai.googleblog.com Federated Learning은 2017년 구글 AI 블로그에서 공식적으로 소개되었습니다. 아래는 Federated Learning에 대해.. 공감수 0 댓글수 0 2022. 3. 18.
  • [논문 Review] Explaining and Harnessing Adversarial Examples (ICLR 2015) * 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 21(수) 발표 이번주에 다룬 주제는 적대적 공격, Adversarial Attack에 관련한 논문이다. 먼저, Adversarial Attack이 무엇인지 간단하게 소개하겠다. Adversarial이라는 단어는 대립하는, 적대적인 이라는 뜻을 가지고 있다. Adversarial attack은 사람이 인식하지 못할 정도의 특정 노이즈를 더하여 다른 이미지를 생성하고, 최신 분류 알고리즘들에게 혼란을 주는 공격방식을 의미한다. Adversarial Attack의 대표적인 예시인 판다/긴팔원숭이 사진 예시를 가져와봤다. 사람.. 공감수 0 댓글수 0 2021. 8. 19.
  • [논문 Review] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks (ICLR 2016) * 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 21(수) 발표 지난 논문 리뷰 글에서 GAN 모델에 대해 다루었는데, 이 때 GAN 모델들의 가장 큰 단점으로 안정적으로 학습되기 어려웠기 때문에 좋은 성능을 얻기 어려웠고, 결과물에 대한 객관적인 평가가 어려웠다는 점을 소개했다. 그렇기 때문에 초기에는 GAN을 응용하는데에 많은 어려움이 있었고, GAN의 단점들을 극복하기 위해 DCGAN이 등장한다. DCGAN이 나온 이후에는 대다수의 GAN 구조는 DCGAN의 구조를 따르고 있다고 하여 의미가 크다고 한다. 이번에 리뷰해볼 논문은 DCGAN을 처음 제안한 Unsup.. 공감수 0 댓글수 0 2021. 8. 19.
  • [논문 Review] Generative Adversarial Networks (NIPS 2014) * 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 14(수) 발표 AI의 권위자 중 한 분이신 얀 르쿤(Yann LeCun)은 GAN을 두고 머신러닝 분야에서 최근 10년 중 가장 흥미로운 아이디어라고 언급했다. 과연 어떤 아이디어길래 하루가 멀다하고 새로운 아이디어가 쏟아져나오는 ML 분야에서 가장 흥미롭다고 극찬한 것인지 궁금해서 이번주 공부 주제로 GAN을 선정하게 되었다. 최초로 GAN 모델을 제안한 논문은 Generative Adversarial Nets라는 논문으로, NIPS에서 2014년에 발표되었다. 우선 GAN 모델의 풀 네임인 Generative Adv.. 공감수 0 댓글수 0 2021. 8. 17.
  • [Colab] RuntimeError: CUDA out of memory. RuntimeError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 7.43 GiB total capacity; 6.38 GiB already allocated; 8.81 MiB free; 6.69 GiB reserved in total by PyTorch) batch size가 너무 크거나 코드 상에서 메모리가 불필요하게 사용되고 있기 때문에 발생. 아래와 같은 해결 방법들이 있다. 1. batch size 사이즈 줄이기 -> batch size 64에서 32로 조정 2. GPU의 캐시를 비워줌 import gc gc.collect() torch.cuda.empty_cache() -> 여기서 해결됨 ! 3. nvidia-smi 로 실행중인 프로세.. 공감수 2 댓글수 0 2021. 8. 16.
  • [논문 Review] Playing Atari with Deep Reinforcement Learning (NIPS 2013) * 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 07(수) 발표 먼저 ICML, NIPS, AAAI 등의 학회 사이트에서 여러 논문들을 살펴봤을 때 공부해볼 수 있는 주제가 너무 광범위하다는 생각을 했다. 그래서 큰 분야를 먼저 정해놓고 세부적으로 접근해보자 라고 생각했다. 그리하여 머신러닝의 세가지 분야 중에서 Reinforcement Learning, 강화학습을 주제로 하여 세부적으로 논문을 찾아보게 되었다. 강화학습은 지도, 비지도학습과는 달리 변화하는 환경으로부터 직접 보상을 받으며 학습한다는 점에서 ‘스스로 학습’한다 라는 특징이 있는데 특히 대표적인 예시로는.. 공감수 0 댓글수 0 2021. 8. 4.
  • 딥러닝 공부하기 좋은 사이트 정리 내가 보려고 정리 * [유튜브] DeepLearningAI https://www.youtube.com/channel/UCcIXc5mJsHVYTZR1maL5l9w DeepLearningAI Welcome to the official DeepLearning.AI YouTube channel! Here you can find the videos from our Coursera programs on machine learning as well as recorded events. DeepLearning.AI was founded in 2017 by machine learning and education pioneer Andrew Ng to fill www.youtube.com * [강의] 모두를 위한 머신러닝/딥.. 공감수 1 댓글수 0 2021. 7. 23.
  • ML lec9-1: XOR 문제 딥러닝으로 풀기 출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io XOR 문제는 하나의 unit으로는 풀 수 없고, 여러 개가 합쳐진 경우에는 풀 수 있게 됨. NN에서는 과연 XOR 문제 해결이 가능한 것인가 ? 1번 케이스 (x1, x2)를 (0, 0)으로 가정하여 풀게 된 과정이 아래와 같음. 2, 3, 4번 케이스에 대해서도 한번 적용시켜봄. 앞의 과정들을 하나로 뭉쳐서 확인하게 되면 아래와 같은 형태로 볼 수 있음. 이 과정을 하나의 Neural Network라고 볼 수 있음. 프로그래밍 시킬 경우에는 위와 같은 코드의 형태로 구현할 수 있음. 위의 과정에서 w와 b의 값들은 임의로 정한 값들이었고, 이 값들.. 공감수 0 댓글수 0 2021. 7. 2.
  • ML lec 08-2: 딥러닝의 기본 개념2: Back-propagation 과 2006/2007 '딥'의 출현 출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 2006년과 2007년에 Breakthrough가 되는 두개의 논문이 발표됨. 2006년의 논문에서는 w의 초기값을 적절한 값으로 잘 주게 되면 훈련이 잘 된다는 내용이었으며, 2007년의 논문에서는 신경망을 여러개 아주 깊게 쌓으면 굉장히 복잡한 문제를 잘 풀 수 있다는 것을 보임. 공감수 0 댓글수 0 2021. 7. 2.
  • ML lec 08-1: 딥러닝의 기본 개념: 시작과 XOR 문제 출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 기본적으로 동그라미 안과 같은 Cell이 있다고 가정해보자. 그러면 어떤 값이 들어오면 weight 값 w와 곱이 됨. 그 다음에 bias 값을 합함. sum의 값이 어떤 값보다 작으면 0이라는 신호를 주고, 어떤 값보다 크게 되면 1이라는 신호를 주게 되는 구조임. Backpropagation에는 큰 문제가 있는데 layer가 깊어질수록 전달이 잘 안되어서 훈련의 정확도가 떨어지는 문제임. 공감수 0 댓글수 0 2021. 7. 2.
  • ML lec 07-2: Training/Testing 데이타 셋 출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 머신러닝 모델이 얼마나 잘 동작하는지 확인하는 방법에 대해서 살펴볼 것. 우리가 갖고 있는 Training set을 모델에 넣어서 훈련을 시킨 다음에 다시 기존의 train data를 가지고 모델에 물어보는 형식으로 점검하게 된다면 ? 아마 100%의 확률로 답을 맞추게 될 것. 이 방법은 아주 좋지 못한 방법임. 좋은 방법은 우리가 가지고 있는 데이터를 7:3의 비율로 나누어서 7은 training용으로 두고, 3은 test로 두는 것임. 그런 다음에 test는 볼 수 없다고 가정하고 나서 train data를 가지고 훈련. 훈련을 마친 이후에 tes.. 공감수 0 댓글수 0 2021. 7. 2.
  • ML lec 07-1: 학습 rate, Overfitting, 그리고 일반화 (Regularization) 출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 머신러닝 알고리즘을 실제로 사용하는데 있어서의 몇가지 팁들을 이야기할 것. cost function을 정의하고 cost function을 최소화하는 값을 찾기 위해 사용했던 Gradient descent 알고리즘. 경사를 타고 고 내려감. 이 때 알파라는 learning rate 값을 임의로 정의해줬었음. 이 learning rate의 값을 값을 잘 정하는 것이 중요함. 만일 이 값을 크게 정한다고 가정해보자. RL은 내려가는 스텝의 크기라고 볼 수 있음. 그렇기 때문에 아래의 그림처럼 내려가는 형태임. 또, 지나치게 클 경우에는 진행하다가 바깥으로 튕.. 공감수 0 댓글수 0 2021. 7. 2.
  • ML lec 6-1 - Softmax Regression: 기본 개념 소개 출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 앞서 배운 내용을 요약하자면... Linear regression이라는 것을 먼저 배웠는데, 여기서 만일 100, 200, -10 등의 큰 값이 주어지게 되면 binary classification에는 적합하지 않았었음. 그래서 이것을 하나의 z라고 두고 g(z)라는 함수에서 압축을 시켜서 0과 1의 사이의 값으로 반환시키는 것을 생각해냄. g(z)의 값이 아주 커져도 1보다는 커지지 않고, g(z)의 값이 아주 작아져도 0보다는 작아지지 않게 됨. 그래서 나오게 된 g(z) 함수를 sigmoid 함수라고 부르거나 logistic 함수라고 불렀음. Lo.. 공감수 0 댓글수 0 2021. 5. 23.
  • ML lec 5-2 Logistic Regression의 cost 함수 설명 출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 우리가 앞서 살펴본 Cost function은 위와 같았음. 하지만 우리의 가설이 바뀌게 되면서 sigmoid function을 사용해서 출력값을 0과 1 사이로 조정해줬음. 또 그래프의 그림을 그려보면 위의 파란색 그래프과 같이 그릴 수 있는데, 오른쪽 그림에서 발생하는 한가지 문제점은 경사하강법을 실시하면 시작점이 어디냐에 따라서 끝나는 점이 달라질 수 있다는 것임. 이렇게 각각 달라지는 최종 점을 Local minimum 이라고 할 수 있는데, 우리가 찾고자 하는 점은 Global minimum임. global minimum을 찾기 위해서는 위와 .. 공감수 0 댓글수 0 2021. 5. 23.
  • ML lec 5-1: Logistic Classification의 가설 함수 정의 출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 앞선 강의 복습 이전에 배운 regression은 어떤 숫자를 예측하는 것이었음. 이번에 배울 classification은 binary classification이라고도 불리는데, 이는 이름에서 알 수 있듯 2개 중 하나를 고르는 것을 의미함. 이메일의 경우, Spam이냐 아니냐 Facebook의 경우 Show할 것인지 Hide할 것인지 등을 결정. 머신러닝에서는 이렇게 선택 두가지를 0과 1로 나타내기도 함. 그림과 같은 데이터가 있다고 가정해보자. 어떤 학생이 2시간을 공부했을 때는 fail(0)하지만, 일정 시간 이상 공부하면 pass(1)한다는 .. 공감수 0 댓글수 0 2021. 5. 23.
  • ML lec 04 - multi-variable linear regression 출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 앞선 예시에서는 1개의 input에 대한 regression을 살펴보았지만, 만일 여러 개의 input이 주어졌을 때는 어떻게 해야 하는가 ? 위와 같이 x1, x2, x3의 세개의 input 값이 있다고 가정해보자. 위의 데이터는 quiz 3개의 점수(x1, x2, x3)들을 가지고 final 점수인 Y값을 예측할 수 있을까? 를 나타내는 표임. 3개의 데이터가 주어지면, 아래의 식과 같이 3개의 값을 더해주면 됨. cost function도 마찬가지로, 3개의 데이터를 적용시켜주면 됨. cost function 자체의 의미가 예측한 값과 실제값의 차.. 공감수 0 댓글수 0 2021. 5. 23.
  • ML lec 03 - Linear Regression의 cost 최소화 알고리즘의 원리 설명 출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 간단하게 표현하기 위해 hypothesis에서 b를 삭제하고 H(x)=Wx 라고 표현함. 이런 경우, cost function도 아래와 같이 조금 더 단순화시켜서 확인할 수 있음. 이 다음, cost(W)는 어떤 방식으로 생긴 것인지 구체적으로 확인해보자. 먼저, W가 1일 경우 cost(W)가 무엇인지 확인해보자. 그다음 W 값에 변화를 주어서 다른 값일 경우도 차례로 확인해보자. W가 0일 때를 계산해보면, cost(W)는 4.67, W가 1일 때를 계산해보면 cost(W)는 0이 나옴. 위와 같이 W값이 변화함에 따라서 cost(W)의 값들이 각각.. 공감수 0 댓글수 0 2021. 5. 23.
  • ML lec 02 - Linear Regression의 Hypothesis 와 cost 설명 출처 : 모두를 위한 머신러닝/딥러닝 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 위와 같이 먼저 주어진 다른 학생들의 데이터를 가지고 학습을 시킴. 이 데이터는 training data라고 불림. 이 학습이 끝난 이후에 모델을 만들게 됨. 만일 학생이 시험을 보기 전 7시간동안 공부를 했는데 이 모델을 통해 대략 몇점 정도 받을 수 있을지를 예측해볼 수 있음. 이 모델을 linear regression이라고 하는데 아래에서 더 알아보자. 위와 같이 데이터셋을 간단하게 만들어서 살펴보자. 오른쪽의 그래프에서 x축은 x데이터들을, y축은 y데이터들을 나타낸다. linear한 모델이 존재할 것이다 라고 가정을 하고 세운 모델이 바로 li.. 공감수 0 댓글수 0 2021. 5. 23.
  • ML lec 01 - 기본적인 Machine Learning 의 용어와 개념 설명 출처 : 모두를 위한 머신러닝/딥러닝 강의 https://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 학습하는 방법에 따라 Supervised / Unsupervised learning으로 나뉨. Supervised learning은 .. 이미 label이 달려있는 경우를 학습한 경우임. Unsupervised learning의 예시는 Google news grouping, word clustering 등이 있음. 알파고 역시 Supervised Learning으로 볼수 있는데, Supervised learning의 종류는 다음과 같음. 1. regression : 시험의 점수를 예측할 때 0~100 이라는 비교적 넓은 범위를 예측해야 함. 2. .. 공감수 0 댓글수 0 2021. 5. 23.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.