HuggingFace выпустила новую библиотеку для быстрой токенизации для глубокого обучения NLP

МЕНЮ


Искусственный интеллект
Поиск
Регистрация на сайте
Помощь проекту

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости

Новостная лента форума ailab.ru


HuggingFace выпустила новую библиотеку для быстрой токенизации

Основные особенности:

- Преобразует 1 Gb за 20 секунд

- Много разных результатов после преобразования

- Написана на Rust + Python + node.js

Github repository and doc: https://github.com/huggingface/tokenizers/tree/master/tokenizers

To install:
- Rust: https://crates.io/crates/tokenizers- Python: pip install tokenizers- Node: npm install tokenizers


Источник: www.reddit.com

Комментарии: