About Tumblr

LLM

비교

Model Training Tokens Vocab Size GPU Hours Release Date
LLaMA 1 7B, 13B, 33B, 70B 1T, 1.4T 32K 7B - 82,432 2023년 2월
LLaMA 2 7B, 13B, 70B 2T 32K1 7B - 184,320 2023년 8월
42dot LLM 1.3B 2T 50304 1.3B - 49,152 2023년 9월
Mistral 7B 8T 32K Around 200K 2023년 9월
Gemma 2B, 7B 2T, 6T 256K ? 2024년 2월
LLaMA 3 8B, 70B 15T 128K 1.3M 2024년 4월

NVIDIA Jetson LLM 성능

  1. Vocab은 다름 ↩

Last Modified: 2024/04/22 13:54:40

is a collection of Papers I have written.
© 2000 - Sang-Kil Park Except where otherwise noted, content on this site is licensed under a CC BY 4.0.
This site design was brought from Distill.