BINABLE

🖇️ 순환신경망, RNN기존의 인공신경망은 한 번에 하나의 입력을 독립적으로 처리하는 구조이기 때문에, 시간에 따른 데이터의 흐름을 처리하는 데에는 한계가 존재한다. 이러한 한계를 극복하기 위해 등장한 모델이 순환신경망 모델이며, 고정 길이의 입력이 아닌 임의의 길이를 가진 시퀀스를 처리할 수 있다. RNN은 시퀀스 모델 중 가장 대표적이고 기본적인 시퀀스 모델으로, 데이터의 순서를 고려하며, 과거의 정보를 현재의 계산에 재귀적(recurrent)으로 반영하는 구조를 가지고 있다. 즉, 이전의 '기억'을 활용하여 다음 작업을 수행할 수 있는 신경망이다.  RNN은 시계열 데이터나 자연어, 음성 데이터와 같이 순서가 중요한 문제를 잘 다루며, 자동 번역, Speech to Text와 같은 자연어 처리 작..

2024년 11월 25일, AI 회사 Anthropic에서 MCP(Model Context Protocol)을 발표했다. Cursor AI와 같은 회사에서 해당 모델을 채택했으며, 이번에는 OpenAI에서도 MCP를 채택하겠다고 발표했다.  1. MCP의 기본 개념LLM 모델이 외부 도구나 데이터, 기능과 안전하게 상호작용할 수 있도록 설계된 개방형 프로토콜이다. MCP가 등장하기 전에는 각 데이터 소스마다 별도로 커넥터를 개발해야 했다. 예를 들어, AI 비서를 개발하기 위해 이메일, 캘린더, 파일 저장소와 같은 각 서비스마다 개별적인 API를 사용해서 통합해야 했지만, MCP를 도입한다면 표준화된 프로토콜이 이루어지기 때문에 한 번의 통합으로 여러 데이터 소스에 연결이 가능해진다. 활용 예시로, An..

https://arxiv.org/abs/2301.08243 Self-Supervised Learning from Images with a Joint-Embedding Predictive ArchitectureThis paper demonstrates an approach for learning highly semantic image representations without relying on hand-crafted data-augmentations. We introduce the Image-based Joint-Embedding Predictive Architecture (I-JEPA), a non-generative approach for self-suparxiv.org   요약- Latent spa..

1. DeepSeek의 개요DeepSeek는 중국의 AI 스타트업인 딥시크(DeepSeek)에서 개발한 모델로, 최근 AI 시장에 혁신적으로 등장하여 많은 관심을 끌고 있다. 기존의 타사 대비 저렴한 비용과 빠른 학습 속도, 그리고 GPU 자원 사용의 효율화 등의 강점을 갖추고 있는 DeepSeek에 대해 간단하게 다루어보고자 한다.   2. DeepSeek의 가격   (작성 중..)참고자료한글과컴퓨터: DeepSeek-R1 기술 분석

https://ai.googleblog.com/2017/04/federated-learning-collaborative.html Federated Learning: Collaborative Machine Learning without Centralized Training Data Posted by Brendan McMahan and Daniel Ramage, Research Scientists Standard machine learning approaches require centralizing the training data... ai.googleblog.com Federated Learning은 2017년 구글 AI 블로그에서 공식적으로 소개되었습니다. 아래는 Federated Learning에 대해..

* 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 21(수) 발표 이번주에 다룬 주제는 적대적 공격, Adversarial Attack에 관련한 논문이다. 먼저, Adversarial Attack이 무엇인지 간단하게 소개하겠다. Adversarial이라는 단어는 대립하는, 적대적인 이라는 뜻을 가지고 있다. Adversarial attack은 사람이 인식하지 못할 정도의 특정 노이즈를 더하여 다른 이미지를 생성하고, 최신 분류 알고리즘들에게 혼란을 주는 공격방식을 의미한다. Adversarial Attack의 대표적인 예시인 판다/긴팔원숭이 사진 예시를 가져와봤다. 사람..

* 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 21(수) 발표 지난 논문 리뷰 글에서 GAN 모델에 대해 다루었는데, 이 때 GAN 모델들의 가장 큰 단점으로 안정적으로 학습되기 어려웠기 때문에 좋은 성능을 얻기 어려웠고, 결과물에 대한 객관적인 평가가 어려웠다는 점을 소개했다. 그렇기 때문에 초기에는 GAN을 응용하는데에 많은 어려움이 있었고, GAN의 단점들을 극복하기 위해 DCGAN이 등장한다. DCGAN이 나온 이후에는 대다수의 GAN 구조는 DCGAN의 구조를 따르고 있다고 하여 의미가 크다고 한다. 이번에 리뷰해볼 논문은 DCGAN을 처음 제안한 Unsup..

* 여름 연구실 인턴 정기 미팅에서 논문 리뷰한 것을 정리한 게시글입니다. * 발표 자료는 직접 제작했으며, 사진이나 자료의 출처는 페이지에 바로 표시해두었습니다. * 2021. 07. 14(수) 발표 AI의 권위자 중 한 분이신 얀 르쿤(Yann LeCun)은 GAN을 두고 머신러닝 분야에서 최근 10년 중 가장 흥미로운 아이디어라고 언급했다. 과연 어떤 아이디어길래 하루가 멀다하고 새로운 아이디어가 쏟아져나오는 ML 분야에서 가장 흥미롭다고 극찬한 것인지 궁금해서 이번주 공부 주제로 GAN을 선정하게 되었다. 최초로 GAN 모델을 제안한 논문은 Generative Adversarial Nets라는 논문으로, NIPS에서 2014년에 발표되었다. 우선 GAN 모델의 풀 네임인 Generative Adv..

RuntimeError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 7.43 GiB total capacity; 6.38 GiB already allocated; 8.81 MiB free; 6.69 GiB reserved in total by PyTorch) batch size가 너무 크거나 코드 상에서 메모리가 불필요하게 사용되고 있기 때문에 발생. 아래와 같은 해결 방법들이 있다. 1. batch size 사이즈 줄이기 -> batch size 64에서 32로 조정 2. GPU의 캐시를 비워줌 import gc gc.collect() torch.cuda.empty_cache() -> 여기서 해결됨 ! 3. nvidia-smi 로 실행중인 프로세..