라마 3 핵심 정리 (8b, 70b)
2024년 4월 18일 발표된 라마3 8b 및 70b를 구체적으로 알아봅니다.
라마 3에 적용된 SFFT, PPO, DPO, GQA (Grouped Query Attention)도 간략히 알아봅니다.
라마3를 라마2 및 다른 동급 LLM들과도 비교해봅니다.
참고자료:
https://ai.meta.com/blog/meta-llama-3/
https://github.com/meta-llama/llama3/...
https://arxiv.org/pdf/2305.13245