Недавно Microsoft изменила процедуру тестирования обновлений. Раньше компания в основном полагалась исключительно на команды тестировщиков и «реальные» аппаратные тесты, но теперь все больше переключается на автоматизированное тестирование, активно задействует тесты в системах Windows 10 Insider Preview и машинное обучение.
Бывший сотрудник Microsoft раскрыл причины неудач Windows 10
Microsoft утверждает, что машинное обучение позволило существенно улучшить процедуру обновления Windows 10. Новая публикация на сайте Tech Community содержит подробности использования машинного обучения в процессе подготовки и развертывания обновлений Windows.
В объемной статье содержится много технических деталей, но для понимания основных задач, которые решает машинное обучение, достаточно ознакомиться с вступительным параграфом:
Машинное обучение помогает обнаруживать потенциальные проблемы гораздо быстрее и выбирать наиболее оптимальное время для обновления каждого компьютера после выхода новой версии Windows.
Таким образом, технологии машинного обучения применяются для оценки качества обновлений и для оптимизации процесса развертывания обновлений функций. Статья Microsoft посвящена использованию машинного обучения при развертывании обновлений функций для Windows 10.
Microsoft приступила к использованию технологий машинного обучения с выходом April 2018 Update (версия 1803) для Windows 10. Они использовались для определения качества релиза за счет мониторинга шести «основных областей работы ПК».
С выходом May 2019 Update (версия 1903) количество оцениваемых областей возросло до 35. Microsoft планирует еще больше расширить покрытие мониторинга для будущих обновлений.
Редмонд утверждает, что компьютеры, выбранные алгоритмами машинного обучения «имеют более положительный опыт обновления». Машинное обучение позволяет «вдвое сократить количество случаев системного отката обновлений, в пять раз уменьшить количество сбоев системного ядра и проблем с драйверами после установки обновления».
Основная часть статьи посвящена разработки концепции и созданию модели машинного обучения для улучшения качества обновлений Windows 10.
Microsoft использует динамически обучаемую модель, которая способна различать положительный и отрицательный опыт обновления. Обучение выполняется на самых современных ПК.
Перед официальным релизом каждой новой версии Windows 10, финальную сборку сначала получают участники программы Windows Insider. Microsoft отслеживает опыт использования, используя диагностические данные и другие сигналы, например обратную связь и отчеты в социальных сетях.
На этом этапе машинное обучение используется для выявления потенциальных проблем в системах с определенными конфигурациями оборудования и системными настройками и для прогнозирования оптимальных для получения обновлений ПК. Интеллектуальные технологии позволяют предотвратить ситуацию, когда обновление будет поставлено компьютерам, на которых они с высокой вероятностью вызовут проблемы.
Процесс является непрерывным, и модель постоянно обучается на сигналах, которые она получает от недавно обновленных ПК. Исправления и улучшения, выпускаемые Microsoft, также учитываются моделью.
Машинное обучение позволяет Microsoft эффективнее обнаруживать проблемы, которые могут нарушить процесс обновления. Раньше для выявления проблем совместимости использовались исключительно «трудоемкие лабораторные тесты, обратная связь, обращения в службу поддержки и другие каналы».
Компания планирует расширить применение машинного обучения в будущем. Редомонд надеется улучшить процессы автоматизации и сократить время, необходимое для выявления ошибок с нескольких часов до нескольких секунд.
Машинное обучение — панацея от всех проблем обновлений?
Машинное обучения нельзя назвать универсальным решением, которое гарантированно обеспечит идеальный опыт обновления для всех устройств в любое время. Недавние накопительные обновления и обновлений функций показали, что проблемы будут всегда, но, по крайней мере, некоторых из них можно было избежать, если бы Microsoft имела бы более многочисленную команду тестировщиков.
Скорее всего, большинство пользователей Windows не возражают против использования машинного обучения, хотя некоторым может показаться, что Microsoft чрезмерно полагается на данные машинного обучения и телеметрию.
Интересно, уменьшиться или увеличиться количество ошибок в обновлениях, если Microsoft сохранит команды тестирования?