Павел Плюснин. Генерация данных для квантования нейронных сетей: Data-Free Quantization
Ждем вас на наших конференциях:
2 февраля 2024 - EkbPy
26-27 июля 2024 - PyCon
Павел Плюснин
Старший инженер, Huawei
Генерация данных для квантования нейронных сетей: Data-Free Quantization
Иногда требуется получить данные, характерные для имеющейся нейронной сети. Такие данные нужны, например, при квантовании модели – т.е подборе новых целочисленных весов среди ограниченного количества дискретных значений. Для квантования полезно иметь исходную обучающую выборку, чтобы дообучить модель или хотя бы оценить характерный масштаб активаций в слоях. Однако доступа к обучающей выборке может и не быть. Тогда требуется по самой нейронной сети получить данные того же домена.
В докладе обсудим современные подходы к Data-Free Quantization: разберемся, как дистиллировать обучающие сэмплы из batch-norm статистик, как построить генератор данных, подойдут ли open-source данные из другого домена и можно ли вообще обойтись без данных при квантовании.
Доклад рассчитан на data-science специалистов, знакомых с нейросетями, но не знакомых с их квантованием, интересующихся узнать новое для себя направление.