Adept | Машинное обучение | Открытое ПО
В master влился большой пакет оптимизаций Vulkan-бэкенда. Если коротко: заметно быстрее стали свёртки, BatchNorm, поэлементные операции и обучение.
Свёртки (conv2d)
Свёртки — самая тяжёлая часть vision моделей, и основная работа шла для них. Появился новый универсальный алгоритм implicit GEMM для прямого и обратного прохода. Для распространённого случая 3x3 добавили отдельное ядро, которое аккуратнее работает с быстрой памятью GPU, а затем переработали его так, чтобы каждый поток считал сразу четыре пикселя. Для небольших блоков подключили алгоритм Winograd — он математически хитрее, но требует меньше вычислений.
Отдельно ускорили:
- depthwise-свёртки 3x3 — до 3,9 раза на подходящих формах;
- свёртки 1x1 — лучше подобраны размеры блоков и распределение работы по GPU, обратный проход по весам ускорился в 1,5–5 раз;
- обратный проход по входу (dgrad) для 3x3 — на 21–35% быстрее за счёт трюка с «перевёрнутыми» весами.
Все ядра теперь выбираются через единый реестр стратегий, а не разбросаны по коду.
BatchNorm
Раньше статистики батча считались целой цепочкой мелких ядер: сумма, дисперсия, деление, обновление running-статистик. Теперь это делает одно ядро bnstats. Похожая фьюзия сделана и для обратного прохода. Число запусков ядер на шаг обучения упало на 26%, а шаг обучения стал быстрее на 3–5%.
Поэлементные операции
Сложение, умножение, fill, активации (SiLU, ReLU, LeakyReLU, Clamp) перевели на векторные ядра: GPU обрабатывает по 4 значения за раз (для double — по 2), а хвостовые элементы добираются скалярно. Заодно убрали лишние копирования в cat/split. Например, конкатенация трёх тензоров стала быстрее на 58%, а split — на 18–22%.
Меньше простоев
Два важных улучшения не про математику, а про организацию работы:
- GPU научился принимать новые задачи, не дожидаясь полного завершения предыдущей (очередь отправки). Это сразу дало ~13% на инференсе.
- Мелкие матричные умножения в attention-голове начали объединяться в один запуск: 32 вызова превратились в 2, а сами операции стали в 2,4 раза быстрее.
Обучение
Градиенты теперь выделяются лениво и повторно используются между шагами, а обнуление идёт на месте, без создания новых тензоров. Оптимизатор Adam получил объединённое ядро и пропускает параметры без градиентов. Итог: количество запусков ядер на шаг обучения сократилось с 3129 до 1273 — почти в 2,5 раза.
Что получилось в цифрах
Сценарий Было Стало Ускорение
YOLO11n, 320×320, batch 8 10,15 мс 7,53 мс −26%
YOLO11n, 640×640, batch 4 18,62 мс 13,72 мс −26%
Шаг обучения, 320×320 b8 36,41 мс 28,08 мс −23%
Шаг обучения, 640×640 b4 65,30 мс 51,95 мс −20%
На инференсе разрыв с PyTorch в FP32 сократился примерно с 2,1x до 1,5x, на обучении — с 2,4x до ~1,8x.
Как проверяли
Под каждое изменение писали A/B-замеры: старую и новую сборку гоняли по очереди на одном железе (RTX 4070 Laptop), сравнивали медианы, отдельно снимали трейсы Vulkan и Nsight.
#GPU #Vulkan #Performance