Adept | Машинное обучение | Открытое ПО

@channel_adept_platform
В master влился большой пакет оптимизаций Vulkan-бэкенда. Если коротко: заметно быстрее стали свёртки, BatchNorm, поэлементные операции и обучение. Свёртки (conv2d) Свёртки — самая тяжёлая часть vision моделей, и основная работа шла для них. Появился новый универсальный алгоритм implicit GEMM для прямого и обратного прохода. Для распространённого случая 3x3 добавили отдельное ядро, которое аккуратнее работает с быстрой памятью GPU, а затем переработали его так, чтобы каждый поток считал сразу четыре пикселя. Для небольших блоков подключили алгоритм Winograd — он математически хитрее, но требует меньше вычислений. Отдельно ускорили: - depthwise-свёртки 3x3 — до 3,9 раза на подходящих формах; - свёртки 1x1 — лучше подобраны размеры блоков и распределение работы по GPU, обратный проход по весам ускорился в 1,5–5 раз; - обратный проход по входу (dgrad) для 3x3 — на 21–35% быстрее за счёт трюка с «перевёрнутыми» весами. Все ядра теперь выбираются через единый реестр стратегий, а не разбросаны по коду. BatchNorm Раньше статистики батча считались целой цепочкой мелких ядер: сумма, дисперсия, деление, обновление running-статистик. Теперь это делает одно ядро bnstats. Похожая фьюзия сделана и для обратного прохода. Число запусков ядер на шаг обучения упало на 26%, а шаг обучения стал быстрее на 3–5%. Поэлементные операции Сложение, умножение, fill, активации (SiLU, ReLU, LeakyReLU, Clamp) перевели на векторные ядра: GPU обрабатывает по 4 значения за раз (для double — по 2), а хвостовые элементы добираются скалярно. Заодно убрали лишние копирования в cat/split. Например, конкатенация трёх тензоров стала быстрее на 58%, а split — на 18–22%. Меньше простоев Два важных улучшения не про математику, а про организацию работы: - GPU научился принимать новые задачи, не дожидаясь полного завершения предыдущей (очередь отправки). Это сразу дало ~13% на инференсе. - Мелкие матричные умножения в attention-голове начали объединяться в один запуск: 32 вызова превратились в 2, а сами операции стали в 2,4 раза быстрее. Обучение Градиенты теперь выделяются лениво и повторно используются между шагами, а обнуление идёт на месте, без создания новых тензоров. Оптимизатор Adam получил объединённое ядро и пропускает параметры без градиентов. Итог: количество запусков ядер на шаг обучения сократилось с 3129 до 1273 — почти в 2,5 раза. Что получилось в цифрах Сценарий Было Стало Ускорение YOLO11n, 320×320, batch 8 10,15 мс 7,53 мс −26% YOLO11n, 640×640, batch 4 18,62 мс 13,72 мс −26% Шаг обучения, 320×320 b8 36,41 мс 28,08 мс −23% Шаг обучения, 640×640 b4 65,30 мс 51,95 мс −20% На инференсе разрыв с PyTorch в FP32 сократился примерно с 2,1x до 1,5x, на обучении — с 2,4x до ~1,8x. Как проверяли Под каждое изменение писали A/B-замеры: старую и новую сборку гоняли по очереди на одном железе (RTX 4070 Laptop), сравнивали медианы, отдельно снимали трейсы Vulkan и Nsight. #GPU #Vulkan #Performance
Если у вас установлено приложение,
вы можете сразу перейти в канал