Александр Боргардт — Внедрение С++ расширений в Python
Подробнее о конференции PiterPy: https://jrg.su/QZ6wK1
— Ближайшая конференция:
PiterPy 2023 — 6–7 ноября (Online), 13–14 ноября (Санкт-Петербург, Offline)
Подробности: https://cutt.ly/7wrLeRCf
— —
Обрабатывать большие массивы данных на Python c одной стороны удобно, но с другой — это целый ряд проблем в продакшене:
потребление сотни гигабайт RAM из-за некомпактного хранения данных в памяти;
низкая скорость загрузки и сохранения больших коллекций в память и на диск.
Один из способов решения проблемы — сделать allocator в Python своим лучшим другом
через С++ API, Embedded VM и Module.
Лишь Python позволяет бесшовно и инвазивно внедрить off-heap kv-storage в проект.
В докладе спикер покажет, как скомбинировать все вышеизложенные оптимизации и внедрить их в проект, не меняя кодовую базу.