Polars: быстрая альтернатива Pandas для обработки датасетов

Polars — это открытая библиотека для обработки массивов данных на Python. По скорости работы библиотека обходит самый популярный инструмент для работы с данными, — Pandas. Кроме того, библиотека более эффективно работает с памятью при обработке массивов. Polars написана на Rust.

Подробнее про библиотеку

Цель Polars — стать быстрой библиотекой для работы с табличными данными, которая использует доступные ядра на локальной машине. Библиотека наиболее полезна в случае если данных слишком много для использования pandas и при этом слишком мало для использования spark. Как и spark, Polars состоит из планировщика запросов, которые оптимизирует запрос, чтобы совершать меньше действий и сократить использование памяти. Однако если данные не влезают в память локальной машины, Polars с этим не справится.