Ускоряем работу с Pandas в 40 раз ?

Ранее мы с Вами уже ускоряли SQL-запрос в 125 раз, а сегодня давайте ускорим код на Pandas.

Думаю, многие из Вас неоднократно работали с этой библиотекой или даже используют ее постоянно. Однако, скорость - не самый большой конек этого мощного инструмента.

Давайте с помощью библиотеки modin - обертки для Pandas ускорим наш запрос почти в 40 раз.

Важно: Чтобы использовать Modin, Вам не придется менять свой код. Достаточно будет поменять только одну строчку:

> import modin.pandas as pd (если раньше было import pandas as pd)

Давайте сделаем очень простую операцию - загрузим большой датасет (хотя не такой уж и большой, всего 32 Мб), отфильтруем его и умножим значения на 10.

Pandas потратит на эту манипуляцию около 206 мс (и это лучший результат), а Modin Pandas всего 5 мс ?

Разница очевидна, дальнейшие комментарии излишни ?

Естественно, чем более ресурсоемкую задачу Вы решаете, тем очевидней будет пользо от Modin.

Примечание: Чтобы использовать Modin с Pandas, выполните установку:

pip install modin

pip install modin[dask]

PS. Кто забыл или пропустил, как мы ускоряли SQL запрос в 125 раз, можете посмотреть тут ?? https://vk.cc/bWFeiK

Источник: m.vk.com

Комментарии: