홍콩 유학생의 이야기

2024년 4월 18일, 메타의 대규모 언어 모델 (LLM)인 Llama 3가 공개되었습니다. 아직 디테일한 Research Paper가 발표 된 건 아니지만, 개발자들이 Finetuning하거나 Application에 사용해 볼 수 있도록 Model Structure / Model Weight 등이 공개되었는데요. 현재로선 모델 파라미터 사이즈가 8B, 70B 두 종류가 나와 있으며,(1) 주어진 Context에서 Text Completion을 수행하는 Pretrained Model (Llama 3-8B, Llama-70B)(2) 주어진 Prompt에 대해 대답을 하는 Finetuned Model (Llama 3-Instruct-8B, Llama 3-Instruct-70B) 이렇게 두 가지 ..

한 줄 소개 - 딥러닝을 공부하는 사람이라면 모두가 알 Kaiming He 가 빠르게 소개해주는 딥러닝의 빠른 역사. 왜 딥러닝이 갑자기 유명해졌고, 딥러닝에서 사용하는 여러 가지 테크닉들이 어떤 흐름을 따라 발전해줬는지 짚어 준다. 적합한 대상 - (1) 딥러닝에서 사용하는 여러 개념 (Data Augmentation, Drop out, Normalization 등등) 이 어떤 컨텍스트에서 나오게 된건지, 어떤 문제를 해결하기 위해 제시된 것인지 궁금한 사람 - (2) 딥러닝을 공부하기 전에 왜 딥러닝이 핫해지게 되었고 이전 방식과 어떻게 차이가 있는지 큰 그림을 잡고 싶은 사람. [이 영상을 한 번 쓰윽 보고 Andrew Ng 교수의 Coursera DL specialization 강의로 넘어가도 괜..