Ускоряем работу с Pandas в 40 раз ?

МЕНЮ


Главная страница
Поиск
Регистрация на сайте
Помощь проекту
Архив новостей

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости


2021-01-02 12:00

разработка по

Ранее мы с Вами уже ускоряли SQL-запрос в 125 раз, а сегодня давайте ускорим код на Pandas.

Думаю, многие из Вас неоднократно работали с этой библиотекой или даже используют ее постоянно. Однако, скорость - не самый большой конек этого мощного инструмента.

Давайте с помощью библиотеки modin - обертки для Pandas ускорим наш запрос почти в 40 раз.

Важно: Чтобы использовать Modin, Вам не придется менять свой код. Достаточно будет поменять только одну строчку:

> import modin.pandas as pd (если раньше было import pandas as pd)

Давайте сделаем очень простую операцию - загрузим большой датасет (хотя не такой уж и большой, всего 32 Мб), отфильтруем его и умножим значения на 10.

Pandas потратит на эту манипуляцию около 206 мс (и это лучший результат), а Modin Pandas всего 5 мс ?

Разница очевидна, дальнейшие комментарии излишни ?

Естественно, чем более ресурсоемкую задачу Вы решаете, тем очевидней будет пользо от Modin.

Примечание: Чтобы использовать Modin с Pandas, выполните установку:

pip install modin

pip install modin[dask]

PS. Кто забыл или пропустил, как мы ускоряли SQL запрос в 125 раз, можете посмотреть тут ?? https://vk.cc/bWFeiK


Источник: m.vk.com

Комментарии: