GitHub избранное: полезные приложения и софт

@channel_github
Фото Vaibhaav-Tiwari/deepseek-v3-jax (⭐ 258) Репозиторий показывает архитектуру DeepSeek V3 примерно в 190 строках на чистом JAX: без Flax, Equinox и PyTorch, с параметрами в виде словарей массивов. В коде есть Multi-head Latent Attention, DeepSeekMoE с одним общим и 16 маршрутизируемыми экспертами, балансировка нагрузки на экспертов и multi-token prediction. Автор обучил на MacBook Air модель с 36,2 млн параметров на детективной прозе, но называет проект демонстрацией архитектуры, а не сильной языковой моделью. Чекпойнт — Python pickle, который при загрузке может исполнять код, поэтому загружать его стоит только из доверенного источника. 🐙 GitHub избранное
Если у вас установлено приложение,
вы можете сразу перейти в канал