Llama 3.3 70B

Модель доступна (https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct) в версии с 70 млрд параметров и оптимизирована для диалоговых сценариев использования на нескольких языках. Llama 3.3 превосходит многие доступные модели с открытым и закрытым исходным кодом по стандартным отраслевым бенчмаркам.

Llama 3.3 основана на оптимизированной архитектуре трансформера и использует авторегрессивный подход. Настройка модели включает SFT с RLHF для согласования с человеческими предпочтениями в отношении полезности и безопасности.

Модель была обучена на новом наборе общедоступных онлайн-данных, включающем более 15 триллионов токенов, с ограничением по свежести данных до декабря 2023 года.

Llama 3.3 поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки.

Пример инфренса на Transformers:

import transformers  
 import torch 
 
 model_id = "meta-llama/Llama-3.3-70B-Instruct" 
 
 pipeline = transformers.pipeline( 
 
     "text-generation", 
 
     model=model_id, 
 
     model_kwargs={"torch_dtype": torch.bfloat16}, 
 
     device_map="auto", 
 
 ) 
 
 messages = [ 
 
     {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"}, 
 
     {"role": "user", "content": "Who are you?"}, 
 
 ] 
 
 outputs = pipeline( 
 
     messages, 
 
     max_new_tokens=256, 
 
 ) 
 
 print(outputs[0]["generated_text"][-1])

Лицензирование: LLAMA 3.3 License. (https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct/blob/main/LICENSE)

Модель (https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct)

Demo (https://huggingface.co/spaces/akhaliq/anychat)

Источник: huggingface.co

Комментарии: