Нейросеть научили верстке по картинкам интерфейса

Датский стартап Uizard Technologies представил нейросеть pix2code, обученную «просматривать» изображение или скриншот того или иного пользовательского интерфейса, а затем генерировать готовую страницу со всем необходимым кодом, оформлением и графическими элементами. Готовый код обычно не требует существенной доработки.

Верстка интерфейса программы или сайта — один из самых времязатратных процессов. Обычно дизайнеры заранее готовят необходимые графические элементы и представляют верстальщикам готовое изображение интерфейса, чтобы те понимали, где и как именно нужно располагать эти элементы.

Затем уже программисты, ответственные за верстку, пишут программный код, учитывающий расположение графических элементов и привязывающий их к функциям, обрабатываемым программным обеспечением или движком сайта. Новый алгоритм pix2code позволяет в значительной степени автоматизировать этот процесс.

В случае, если в результате работы нейросети необходимо получить готовый интерфейс высокого качества, ей можно предоставить готовый нарисованный макет программы или сайта. В настоящее время точность генерации кода интерфейсной части составляет 77 процентов, но ее планируется существенно повысить дальнейшими тренировками нейросети.

В настоящее время прототип нейросети, который планируется опубликовать на GitHub, способен генерировать код интерфейса для приложений под операционные системы iOS и Android, а также для сайтов. Скомпилированный алгоритм стартап пока не опубликовал. Разработчики также заявили, что скорее всего не станут публиковать исходный код pix2code.

В декабре прошлого года исследователи из Университета Торонто представили нейросеть, которая умеет сочинять песни о предметах, изображенных на фотографиях. В режиме реального времени алгоритм создает мелодию и подбирает к ней слова. Работу программы проверили на фотографии рождественской ели.

Василий Сычёв