Список литературы: Машинное обучение

Вместе со Сколковским институтом науки и технологий мы сняли курс «Машинное обучение», посвященный математическому моделированию и методам машинного обучения. Специально для этого курса мы попросили ученых собрать список литературы для более глубокого понимания темы.

Для начинающих: просто о сложном

1

Нейт Сильвер. Сигнал и Шум. Почему одни прогнозы сбываются, а другие ? нет // Азбука-Аттикус, КоЛибри, 2015

Книга посвящена построению прогнозов и вероятностей для самых различных событий: землетрясений, эпидемий, экономических кризисов, выборов президентов, спортивных матчей и так далее. Автор Нейт Сильвер разработал систему прогнозов, благодаря которой удалось два раза максимально точно предсказать результаты выборов почти во всех штатах Америки. Сильвер обобщает опыт экспертов-практиков, изучает различные модели и подходы для построения более точных прогнозов. А как мы помним, расчет вероятностей и прогнозов — одно из важных направлений в машинном обучении.

2

William M. Bolstad. Introduction to Bayesian Statistics, 2nd Edition // Wiley-Interscience; 2nd edition

Эта книга уникальна тем, что она освещает основные вопросы статистики, но с байесовской точки зрения. Изучение статистики при помощи байесовских методов позволяет работать над проблемами, включающими в себя большое количество параметров, и учитывать все необходимые аспекты.

3

Хей Дж. Введение в методы байесовского статистического вывода. — М.: Финансы и статистика, 1987

Это довольно старая работа, но заслуживающая внимания. В основе лежит концепция байесовского использования априорной информации в сочетании с накапливаемыми результатами наблюдений для выработки рациональных решений. Изложенные математические методы используются далее в задачах оценивания долей, средних дисперсий и регрессионных моделей. Книга подходит для тех, кто интересуется эконометрией и статистикой. Кроме того, отдельно о теории Байеса можно почитать главу в книге Крилли Тони «Математика. 50 идей, о которых нужно знать» (М: Фантом Пресс, 2014).

4

Dr. Anasse Bari, Mohamed Chaouchi, Tommy Jung. Predictive Analytics For Dummies // For Dummies; 2 edition, 2016

С помощью этого понятного руководства можно познакомиться с основами предсказательной аналитики и начать использовать ее методы для сбора и анализа данных.

5

Лекция Евгения Бурнаева, посвященная роли машинного обучения в инженерном производстве и приложениях и прочитанная на Data Fest в 2017 году. Лекция на английском языке.

6

О глубинном обучении есть несколько хороших материалов на известном ресурсе habrahabr.ru. В первую очередь стоит упомянуть статью, посвященную истории, возможностям и перспективам глубинного обучения, а также материал о теоретических вопросах данного метода. Есть и подробный рассказ об обучении с подкреплением. Дополнить это можно лекцией Виктора Лемпицкого, посвященной синтезу изображений при помощи глубоких нейросетей.

Для продвинутых: введение в дисциплину

1

Cameron Davidson-Pilon. Bayesian Methods for Hackers: Probabilistic Programming and Bayesian Inference // Addison-Wesley Data & Analytics, 2015

В этой книге рассказывается о связи байесовских методов с языком программирования PyMC и его инструментами Python NumPy, SciPy и Matplotlib. При помощи этих методов можно получать эффективные решения с небольшими приращениями без значительного математического вмешательства. Дэвидсон-Пилон рассказывает о концепциях, лежащих в основе байесовского метода, сравнивает его с другими и рассказывает, как создать байесовскую модель самому и применять ее в программировании. Кроме того, о применении байесовских методов в программировании и статистическом анализе можно прочитать в книге Andrew Gelman, John B. Carlin, Hal S. Stern, Donald B. Rubin. Bayesian Data Analysis, Second Edition (Chapman & Hall/CRC Texts in Statistical Science, 2nd Edition, 2003).

2

John K. Kruschke. Doing Bayesian Data Analysis, Second Edition: A Tutorial with R, JAGS, and Stan // Academic Press / Elsevier, 2015 https://www.amazon.com/Doing-Bayesian-Data-Analysis-Second/dp/0124058884

Это учебное пособие предоставляет доступный подход к байесовскому анализу данных, материал понятно объясняется на конкретных примерах. Пособие включает также пошаговые инструкции для проведения байесовского анализа в различных программах.

3

Евгений Бурнаев, Федор Губарев, Сергей Морозов, Александр Прохоров, Дмитрий Хоминич. Многодисциплинарная оптимизация, анализ данных и автоматизация инженерных расчетов с помощью программного комплекса pSeven // CAD/CAM/CAE Observer #4 (88), 2014

В статье рассказывается о применении машинного анализа данных в инженерных задачах, В настоящее время одним из основных средств уменьшения сроков проектирования и снижения затрат на разработку различных образцов как гражданской, так и военной техники является использование систем автоматизированного проектирования: трехмерного проектирования (CAD), моделирования и инженерного анализа (CAE), управления данными об изделии (PDM) и др. Таким образом, для эффективного решения задач по созданию новых образцов техники необходимо автоматизировать сам процесс поиска оптимального облика и внутренних свойств изделия. Для этого нужно связать CAD- и CAE-системы, создав единую среду, а также применить формализованные методики научного поиска, используя методы оптимизации и анализа данных. В статье можно узнать о методах, которые можно использовать для решения этих задач. Статья доступна онлайн. Кроме того, о когнитивных технологиях в адаптивных моделях сложных установок можно узнать в совместной статье Александра Кулешова и Александра Бернштейна: Kuleshov A.P., Bernstein A.V. Cognitive technologies in adaptive models of complex plants. (Keynote papers of 13th IFAC Symposium on Information Control Problems in Manufacturing (INCOM’09), June 3 – 5, 2009. Moscow, Russia, p. 70–81.)

4

Max Kuhn, Kjell Johnson. Applied Predictive Modeling // Springer, 2013

Книга охватывает весь процесс прогнозирующего моделирования: предварительную обработку данных, разделение этих данных и основы настройки модели. Также даются интуитивно понятные объяснения многочисленных методов регрессии и классификации, которые сопровождаются иллюстрациями и примерами реальных проблем и практических решений. Дополнением может служить следующая работа, посвященная инженерному дизайну и суррогатным моделям: Forrester, Alexander, Andras Sobester, and Andy Keane, Engineering design via surrogate modelling: a practical guide (John Wiley & Sons, 2008).

5

К. В. Воронцов. Обучение с подкреплением

Лекция известного специалиста по машинному обучению Константина Воронцова, прочитанная в рамках цикла «Академии Яндекса».

6

Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction // A Bradford Book; 1St Edition edition (March 1, 1998)

Обучение с подкреплением — одно из наиболее активных направлений в области искусственного интеллекта. В этой книге Ричард Саттон и Эндрю Барто дают представление об основных идеях и алгоритмах этого метода. Они рассказывают об истории этой идеи, а также о последних разработках и приложениях.

7

Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning

Глубокое обучение позволяет компьютеру учиться на своем опыте и понимать мир посредством иерархии понятий. Эта иерархия позволяет компьютеру изучать сложные понятия, конструировать их из более простых. Эта книга посвящена широкому кругу вопросов глубокого обучения. Авторы рассказывают о соответствующих понятиях линейной алгебры, теории вероятностей и теории информации, численных вычислений и машинного обучения. Много внимания уделяется методам глубокого обучения, применению этих технологий в промышленности, принципам работы сверточных нейронных сетей и другим аспектам данной темы. Много интересного можно почерпнуть о приложениях глубокого обучения: обработке естественного языка, распознавании речи, компьютерном зрении, рекомендательных системах. Авторы также рассказывают о прикладных и теоретических перспективах исследований и разработки глубинного обучения. Весомым преимуществом является то, что учебник доступен онлайн.

8

Бахвалов Н. С. Численные методы. 3-е изд. — М., 2003

Классический университетский учебник, посвященный численным методам. Включает в себя самый широкий список тем, в том числе решения систем нелинейных уравнений и задачи оптимизаций, линейные уравнения с плохо обусловленными матрицами, решения задач Коши для жестких систем обыкновенных дифференциальных уравнений, аппроксимацию функции, метод сопряженных градиентов и многое другое. Учебник снабжен подробным списком литературы.

9

U. R?de, K. Willcox, L. C. McInnes et al. Research and Education in Computational Science and Engineering

Важная обзорная статья, посвященная развитию вычислительных методов и их применению в промышленности, оптимизационных системах и различных научных областях. В статье описываются важные этапы в развитии вычислительных методов, новые вызовы, которые стоят перед этой наукой, и достижения, которые уже сделаны и могут ожидаться в будущем благодаря развитию вычислительных методов. Статья доступна онлайн.

Для профессионалов: важные статьи

1

Gilbert Strang. Computational Science and Engineering. // Wellesley-Cambridge Press, 2007

Важная и большая книга по вычислительным наукам. Автор делится собственным опытом и описывает весь спектр вычислительных методов. Книга основывается на решениях, а не на наборе формул и охватывает прикладную линейную алгебру, дифференциальные уравнения, преобразования Фурье и многие другие области.

2

Christopher Bishop. Pattern Recognition and Machine Learning // Springer, 2006

В данном учебнике отражены последние тенденции в практических приложениях машинного обучения, в частности растущая значимость байесовских методов. Книга может быть хорошим пособием для курсов по машинному обучению, статистике, информатике, обработке данных, компьютерному зрению и другим дисциплинам. Помимо того, есть еще один хороший учебник, доступный в Сети: David J. C. MacKay. Information Theory, Inference, and Learning Algorithms (Cambridge University Press, 2003).

3

Mikhail Belyaev, Evgeny Burnaev, Ermek Kapushev, Maxim Panov, Pavel Prikhodko, Dmitry Vetrov, Dmitry Yarotsky. GTApprox: Surrogate modeling for industrial design // Advances in Engineering Software 102 (2016) 29–39

Коллективная статья, посвященная последним достижениям суррогатного моделирования в индустриальном производстве. Есть также полезная статья о моделировании суррогатной переменности с переменной шкалой: Burnaev E., Zaytsev A. Large Scale Variable Fidelity Surrogate Modeling

Кроме того, стоит обратить внимание на статью о суррогатном моделировании: Grihon S., Burnaev E. V., Belyaev M. G. and Prikhodko P. V. Surrogate Modeling of Stability Constraints for Optimization of Composite Structures.

4

Yann LeCun, Yoshua Bengio, Geoffrey Hinton. Deep learning // Nature 521, 436–444 (28 May 2015)

Важная статья Яна Лекуна, который представил миру сверточную нейронную сеть. Статья посвящена методам и перспективам глубокого обучения. Ее хорошо дополнит отклик, опубликованный Дж. Шмидхубером: J. Schmidhuber. Critique of Paper by «Deep Learning Conspiracy» (Nature 521 p. 436). Он же в 2015 году написал обзор методов глубокого обучения для нейронных сетей: J. Schmidhuber. Deep Learning in Neural Networks: An Overview..

Источник: postnauka.ru

Комментарии: