Исследование Google: оглядываясь назад на 2019 год, и вперед к 2020 году и за его пределами |
|||||||||||||||||||||||||||||||||||
МЕНЮ Искусственный интеллект Поиск Регистрация на сайте Помощь проекту ТЕМЫ Новости ИИ Искусственный интеллект Разработка ИИГолосовой помощник Городские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Техническое зрение Чат-боты Авторизация |
2020-01-12 07:35 Опубликовано Джеффом Дином, старшим научным сотрудником и вице-президентом Google Research and Health, от имени всего исследовательского сообщества Google Цель исследования Google это работа над долгосрочными, амбициозными проблемами, с акцентом на решение тех из них, которые значительно помогут людям на протяжении всей их повседневной жизни. Для достижения этой цели в 2019 году мы продвинулись в широком спектре фундаментальных исследований, применили наши исследования к новым и возникающим областям, таким как здравоохранение и робототехника, открытый исходный код широкого спектра кода и продолжили сотрудничество с продуктовыми командами Google для создания инструментов и сервисов, которые значительно более полезны для наших пользователей. Когда мы начинаем 2020 год, полезно сделать шаг назад и оценить исследовательскую работу, которую мы провели за последний год, а также посмотреть, какие проблемы мы хотим решить в предстоящие годы. В этом духе это сообщение в блоге представляет собой обзор некоторых из исследовательских работ, выполненных исследователями и инженерами Google в 2019 году (в духе аналогичных обзоров за 2018 год и более узконаправленных обзоров некоторых работ в 2017 и 2016 годах ). Для более полного обзора, пожалуйста, смотрите наши исследовательские публикации в 2019 году . Этическое использование ИИ В 2018 году мы опубликовали набор принципов ИИ это обеспечивает основу, с помощью которой мы оцениваем наши собственные исследования и применение технологий, таких как машинное обучение в наших продуктах. В июне 2019 года мы опубликовали годовое обновление о том, как эти принципы реализуются на практике во многих различных аспектах наших исследований и разработок жизненного цикла продукции. Поскольку многие из областей, затронутых принципами, являются активными областями исследований в более широком исследовательском сообществе ИИ и машинного обучения (такие как предвзятость, безопасность, справедливость, подотчетность, прозрачность и конфиденциальность в системах машинного обучения), наши цели заключаются в применении лучших на данный момент известных методов в этих областях к нашей работе, а также в проведении исследований для дальнейшего развития современного состояния в этих важных областях. Например, в прошлом году мы:
https://www.youtube.com/watch?v=XOk2_OXeaCw&feature=emb_title
ИИ для социального блага Существует огромный потенциал для машинного обучения, который поможет решить многие важные социальные проблемы. Мы работаем в нескольких таких областях, а также работаем над тем, чтобы другие могли применить свои творческие способности и навыки для решения таких проблем. Наводнения являются самой распространенной и самой смертоносной природной катастрофой на планете , от которой ежегодно страдают около 250 миллионов человек. Мы использовали машинное обучение, вычисления и лучшие источники данных, чтобы сделать значительно более точные прогнозы наводнений, а затем доставить действенные оповещения на телефоны миллионов людей в пострадавших регионах. Мы также провели семинар, который объединил исследователей с опытом в области прогнозирования наводнений, гидрологии и машинного обучения от Google и более широкого исследовательского сообщества для обсуждения путей дальнейшего сотрудничества по этой важной проблеме. В дополнение к нашим усилиям по прогнозированию наводнений, мы разрабатываем методы для лучшего понимания дикой природы в мире, сотрудничая с семью организациями по охране дикой природы, чтобы использовать машинное обучение, чтобы помочь анализировать данные камеры дикой природы и сотрудничать с NOAA США для выявления видов китов и местоположения из звуков в подводных записях. Мы также создали и выпустили набор инструментов для обеспечения новых видов ориентированных на машинное обучение исследований биоразнообразия . В рамках оказания помощи в организации 6-го мелкозернистого семинара по визуальной категоризации, Исследователи Google в нашем офисе в Аккре, Гана сотрудничали с исследователями из Университета Makerere AI & Data Science research group для создания и проведения конкурса Kaggle по классификации болезней растений маниоки . Поскольку маниока является вторым по величине источником углеводов в Африке, здоровье растений является важной проблемой продовольственной безопасности, и было приятно видеть, что в конкурсе участвуют более 100 участников из 87 команд. В 2019 году мы обновили Google Earth Timelapse, что позволяет людям эффективно и интуитивно визуализировать, как изменилась планета за последние 35 лет. Кроме того , мы сотрудничаем с академическими исследователями над новыми способами сохранения конфиденциальности для сбора данных о мобильности человека, чтобы дать городским планировщикам лучшую информацию о том, как проектировать эффективные среды с более низкими уровнями выбросов углерода. https://www.youtube.com/watch?v=tXNJa86tErQ&feature=emb_title Мы также применили машинное обучение для поддержки обучения детей. По данным Организации Объединенных Наций , 617 миллионов детей не имеют элементарной грамотности, что является важнейшим фактором, определяющим качество их жизни. Чтобы помочь большему количеству детей научиться читать, наше приложение Bolo использует технологию распознавания речи, которая обучает студентов в режиме реального времени. И чтобы увеличить доступ, приложение работает полностью в автономном режиме на недорогих телефонах. В Индии Боло уже помог 800 000 детей прочитать рассказы и произнести полмиллиарда слов. Первые результаты обнадеживают; трехмесячный экспериментальный проект среди 200 деревень в Индии было отмечено улучшение уровня владения чтением среди 64% участников эксперимента. Для старших школьников приложение Socratic может помочь старшеклассникам решить сложные задачи по математике, физике и более чем 1000 темам высшего образования. На основе фотографии или словесного вопроса, приложение автоматически определяет основные понятия вопроса и ссылки на наиболее полезные интернет-ресурсы. Как и сократический метод, приложение не отвечает непосредственно на вопросы, а вместо этого приводит студентов, чтобы найти ответ самостоятельно. Мы взволнованы широкими возможностями улучшения образовательных результатов во всем мире с помощью таких вещей, как Боло и Сократ. Чтобы расширить охват нашего ИИ для социальных благих усилий, в мае мы объявили грантополучателей нашего ИИ Impact Challenge с $ 25 миллионов в виде грантов от Google.org ответ был огромен: мы получили более 2600 продуманных предложений из 119 стран. Двадцать впечатляющих организаций выделялись своим потенциалом для решения больших социальных и экологических проблем и были нашим первоначальным набором грантополучателей. Несколько примеров работы этих организаций:
Применение ИИ в других областях Применение компьютерных наук и машинного обучения в других научных областях-это область , в которой мы особенно заинтересованы и опубликовали ряд статей, часто в сотрудничестве с несколькими организациями. Некоторые основные моменты из этого года включают в себя:
Ассистивная Технология В более личном масштабе мл может помочь нам в нашей повседневной жизни. Легко принять как должное нашу способность увидеть красивый образ, услышать любимую песню или поговорить с любимым человеком. Тем не менее, более одного миллиарда человек не могут получить доступ к миру таким образом. Технология ML может помочь, превратив эти сигналы-зрение, слух, речь—в другие сигналы, которые могут быть хорошо управляемы людьми с потребностями доступности, позволяя улучшить доступ к окружающему миру. Несколько примеров нашей ассистивной технологии:
https://www.youtube.com/watch?v=ePwKgKp69GE&feature=emb_title Что Делает Ваш Телефон Более Интеллектуальным Большая часть нашей работы служит для обеспечения интеллектуальных, персональных устройств, предоставляя мобильным телефонам новые возможности за счет использования машинного обучения на устройстве. Делая мощные модели, которые могут работать на устройстве, мы можем гарантировать, что эти функции телефона очень отзывчивы и всегда доступны даже в режиме полета или иным образом вне сети. Мы добились прогресса в получении высокоточных моделей распознавания речи, моделей зрения и моделей распознавания почерка, работающих на устройстве, прокладывая путь к мощным новым функциям. Некоторые из основных моментов этого года включают в себя:
Федеративное обучение (проверьте онлайн-комикс описание!)- это мощный подход машинного обучения, изобретенный исследователями Google в 2015 году, при котором многие клиенты (например, мобильные устройства или целые организации) совместно обучают модель, сохраняя при этом обучающие данные децентрализованными. Это позволяет использовать подходы, обладающие превосходными свойствами конфиденциальности в крупномасштабных системах обучения. Мы используем федеративное обучение во все большем количестве наших продуктов и функций, а также работаем над продвижением современного состояния во многих исследовательских проблемах в этом пространстве. В 2019 году исследователи Google сотрудничали с авторами из 24 (!) академические учреждения подготовить обзорную статью о федеративном обучении , освещающую достижения за последние несколько лет, а также описывающую ряд открытых исследовательских проблем в этой области. Область вычислительной фотографии привела к большим достижениям в качестве изображения телефонных камер за последние несколько лет, и этот год не стал исключением. В этом году мы упростили съемку отличных селфи, профессиональных изображений с малой глубиной резкости и портретов, а также использование функции ночного видения на пиксельных телефонах для получения потрясающих астрофотографических снимков . Более подробную техническую информацию об этой работе можно найти в работах по многокадровой сверхразрешающей и мобильной фотографии в условиях очень низкой освещенности. Вся эта работа поможет вам сделать отличные фотографии, чтобы помнить волшебные моменты жизни, как они происходят. Здоровье В конце 2018 года мы объединили команду Google Research health, Deepmind Health и команду из аппаратного подразделения Google, сосредоточенную на приложениях, связанных со здоровьем, чтобы сформировать здоровье Google . В 2019 году мы продолжили исследования, которые мы проводили в этом пространстве, публикуя научные статьи и создавая инструменты в сотрудничестве с различными партнерами в области здравоохранения. Вот несколько основных моментов из 2019 года:
https://www.youtube.com/watch?v=P3SYqcPXqNk&feature=emb_title
https://www.youtube.com/watch?v=kw_X7x3G6FY&feature=emb_title Квантовые Вычисления В 2019 году наша команда квантовых вычислений впервые продемонстрировала вычислительную задачу, которая может быть выполнена экспоненциально быстрее на квантовом процессоре, чем на самом быстром классическом компьютере в мире — всего за 200 секунд по сравнению с 10 000 лет.
Использование квантовых компьютеров может сделать решаемыми важные проблемы в таких областях, как материаловедение, квантовая химия ( ранний пример ) и крупномасштабная оптимизация, но для того, чтобы сделать это реальностью, нам придется продолжать продвигать эту область вперед. Теперь мы сосредоточились на реализации квантовой коррекции ошибок, чтобы иметь возможность выполнять вычисления дольше. Мы также работаем над тем, чтобы квантовые алгоритмы было проще выражать, аппаратное обеспечение легче контролировать, и мы нашли способы использовать классические методы машинного обучения, такие как глубокое подкрепление обучения чтобы построить более надежные квантовые процессоры. Достижения этого года обнадеживают и являются первыми шагами на пути к тому, чтобы сделать практические квантовые вычисления реальностью для более широкого круга проблем. Вы также можете прочитать мысли Сундара о том, что означает наша веха в области квантовых вычислений . Общие алгоритмы и теория В общих областях алгоритмов и теории мы продолжили наши исследования от алгоритмических основ до приложений, а также работали в области графового майнинга и рыночных алгоритмов . Сообщение в блоге, обобщающее некоторые из наших работ в алгоритмах обучения графов, дает более подробную информацию об этой работе. Мы опубликовали статью на VLDB '19 под названием" Cache-aware load balancing of data center applications", хотя альтернативным названием может быть "увеличение пропускной способности вашего центра обработки данных на 40% с помощью этого одного классного трюка!". В статье описывается, как мы использовали сбалансированное разбиение графиков для специализации кэшей в нашей системе внутреннего обслуживания веб-поиска, тем самым увеличивая пропускную способность запросов наших флэш-накопителей на 48% и помогая обеспечить 40% - ное увеличение пропускной способности всего поискового сервера.
В ICLR’2019 документе под названием "новая собака узнает старое: "Свобода" считает, классические алгоритмы оптимизации," мы обнаружили новые связи между алгоритмами машинного обучения, показывая, как обучение с подкреплением может эффективно находить оптимальные (в худшем случае, униформа) алгоритмы для нескольких классических онлайн оптимизационных комбинаторных задач, такие как онлайн-подбора и распределения. Наша работа в области масштабируемых алгоритмов охватывает как параллельные, онлайновые, так и распределенные алгоритмы для больших наборов данных. В недавнем документе Фокс ' 19, мы предоставили почти оптимальный алгоритм массового параллельного вычисления для связанных компонентов. Другой набор наших работ улучшил параллельные алгоритмы для сопоставления (в теории и практике ) и для кластеризации плотности . И третья линия работы касалась адаптивной оптимизации субмодулярных функций в модели черного ящика, которая имеет несколько применений в выборе функций и сжатии словаря . В статье SODA ' 19 мы представили алгоритм субмодулярной максимизации, который почти оптимален в трех аспектах: коэффициент аппроксимации, круглая сложность и сложность запроса. Кроме того, в другом FOCS 2019 paper, мы предоставляем первый онлайн-алгоритм мультипликативной аппроксимации для выбора PCA и подмножества столбцов. В другой работе мы вводим полу-онлайновую модель вычислений, которая постулирует, что неизвестное будущее имеет предсказуемую часть и состязательную часть. Для классических комбинаторных задач, таких как двудольное сопоставление ( ITCS’19 ) и кэширование ( SODA’20), мы получили полуинтернетные алгоритмы, обеспечивающие гарантии плавной интерполяции между наилучшими возможными онлайн-и офлайн-алгоритмами. Наши последние исследования в области рыночных алгоритмов включает в себя новое понимание взаимодействия между обучением и рынками, а также инновации в экспериментальном проектировании . Например, эта устная статья NeurIPS ' 19 показывает удивительное конкурентное преимущество, которое стратегический агент имеет, конкурируя с обучающим агентом в общей повторяемой игре 2 игроков. В последнее время акцент на автоматизации рекламы привел к повышению интереса к автоматизированным торгам и пониманию ответного поведения рекламодателей. В паре вино 2019 года статьи, мы изучаем оптимальную стратегию максимизации конверсий от имени рекламодателей и дополнительно изучаем поведение реакции рекламодателя на любые изменения в аукционе. Наконец, мы изучили экспериментальное проектирование в присутствии интерференции, где лечение одной группы может повлиять на исходы других. В статье KDD '19 и статье NeurIPS' 19 мы показываем, как определить единицы или кластеры единиц для ограничения интерференции при сохранении экспериментальной мощности .
Алгоритмы Машинного Обучения В 2019 году мы провели исследования во многих различных областях алгоритмов и подходов машинного обучения. Одним из основных направлений было понимание свойств динамики обучения в нейронных сетях. В блоге измерение пределов параллельного обучения данных для нейронных сетей , освещающих эту статью, исследователи Google представили тщательный набор экспериментальных результатов, показывающих, когда масштабирование объема параллелизма данных (путем создания больших пакетов) эффективно для быстрого сближения модели (с использованием параллелизма данных). Параллелизм моделей, в отличие от параллелизма данных, когда модель распределена между несколькими вычислительными устройствами, может быть эффективным способом масштабирования моделей. GPipe-это библиотека, которая позволяет параллелизму модели быть более эффективным в подходе, аналогичном тому, который используется конвейерными процессорами CPU: когда одна часть всей модели работает с некоторыми данными, другие части могут работать со своей частью вычисления на разных данных. Результаты этого конвейерного подхода могут быть объединены вместе для моделирования большего эффективного размера пакета. Модели машинного обучения эффективны, когда они могут принимать необработанные входные данные и изучать “распутанные” представления более высокого уровня, которые разделяют различные виды примеров по свойствам, которые мы хотим, чтобы модель могла различать (cat vs truck vs wildebeest, cancerous tissue vs normal tissue и т. д.). Большая часть внимания на продвижение алгоритмов машинного обучения заключается в поощрении изучения лучших представлений, которые лучше обобщаются на новые примеры, проблемы или области. В этом году мы рассматривали эту проблему в целом ряде различных контекстов:
AutoML Мы продолжили нашу работу над AutoML в этом году, подход, при котором алгоритмы, которые учатся, как учиться, могут автоматизировать многие аспекты машинного обучения и часто могут достигать существенно лучших результатов, чем лучшие специалисты по обучению человека машинам для некоторых видов мета-решений машинного обучения. Особенно:
Понимание Естественного Языка За последние несколько лет были достигнуты замечательные успехи в создании моделей для понимания естественного языка, перевода, естественного диалога, распознавания речи и связанных с этим задач. В этом году одной из тем нашей работы было продвижение современного уровня путем объединения модальностей или задач для подготовки более мощных и способных моделей. Несколько примеров:
Поскольку наши возможности понимания языка улучшились, основываясь на фундаментальных исследованиях , таких как модели seq2seq , Transformer , BERT, Transformer-XL и ALBERT , мы наблюдали более широкое использование этих моделей во многих наших основных продуктах и функциях , таких как Google Translate, Smart Compose Gmail и Google Search . В этом году запуск BERT в наших основных алгоритмах поиска и ранжирования привел к самому большому улучшению качества поиска за последние пять лет (и одному из самых больших когда-либо), благодаря лучшему пониманию тонких значений слов и фраз запроса и документа. Восприятие Машины Модели для лучшего понимания неподвижных изображений добились значительного прогресса в последнее десятилетие. К числу следующих основных рубежей относятся модели и подходы к пониманию динамического мира в мельчайших деталях. Это включает в себя более глубокое и более тонкое понимание изображений и видео, а также живое и расположенное восприятие: понимание аудиовизуального мира на интерактивных скоростях и с общим пространственным обоснованием с пользователем. В этом году мы рассмотрели многие аспекты достижений в этой области, в том числе:
Мы весьма взволнованы перспективами дальнейшего улучшения понимания окружающего нас чувственного мира. Робототехника Применение машинного обучения для роботизированного управления является для нас важной исследовательской областью. Мы считаем, что это жизненно важный инструмент для обеспечения эффективной работы роботов в сложных реальных условиях, таких как повседневные дома и предприятия. Часть работы, проделанной нами в этом году, включает в себя::
Помощь в продвижении более широкого сообщества разработчиков и исследователей Открытый исходный код - это больше, чем код: это сообщество участников. Это был захватывающий год, чтобы быть частью сообщества с открытым исходным кодом. Мы запустили TensorFlow 2.0-самый большой релиз TensorFlow на сегодняшний день—что делает построение систем ML и приложений проще, чем когда-либо. Мы добавили поддержку быстрого вывода мобильного GPU на TensorFlow Lite . Мы также запустили обучаемую машину 2.0, быстрый и простой веб-инструмент, который может обучать модель машинного обучения одним нажатием кнопки, без необходимости кодирования. Мы объявили МЛИР, инфраструктура компилятора машинного обучения с открытым исходным кодом, которая учитывает сложность растущей фрагментации программного и аппаратного обеспечения и упрощает создание приложений искусственного интеллекта. Мы увидели первый год JAX, новой системы для высокопроизводительных исследований машинного обучения. В NeurIPS 2019 гуглеры и более широкое сообщество с открытым исходным кодом представили работу с использованием JAX, начиная от ядер нейронных касательных до байесовского вывода к молекулярной динамике, и мы запустили предварительный просмотр JAX на облаке TPUs . Мы open-sourced MediaPipe, основа для построения перцептивных и мультимодальных прикладных ML-трубопроводов, а также XNNPACK, библиотека эффективных операторов вывода нейронной сети с плавающей запятой. По состоянию на конец 2019 года мы позволили более чем 1500 исследователям по всему миру получить бесплатный доступ к Cloud TPUs через TensorFlow Research Cloud . Наше вступление в TensorFlow на Coursera пересекли 100 000 студентов. И мы взаимодействовали с тысячами пользователей, принимая TensorFlow на дороге в 11 разных странах, провели наш первый в истории TensorFlow World и многое другое. С помощью TensorFlow один студент колледжа открыл две новые планеты и построил метод, чтобы помочь другим найти больше. Ученый, изучающий данные, родом из Нигерии, обучил GAN генерировать изображения, напоминающие африканские маски . Разработчик в Уганде использовал TensorFlow для создания Farmers Companion, приложения, которое местные фермеры могут использовать для борьбы с уничтожающей урожай гусеницей. В снежной Айове исследователи и государственные чиновники использовали TensorFlow для определения безопасных дорожных условий на основе поведения движения, визуальных эффектов и других данных. В солнечной Калифорнии студенты колледжа использовали TensorFlow для выявления выбоин и опасных дорожных трещин в Лос-Анджелесе. А во Франции программист использовал TensorFlow для построения простого алгоритма, который учится добавлять цвет к черно-белым фотографиям . Открыть Наборы Данных Открытые наборы данных с четкими и измеримыми целями часто очень полезны для развития сферы машинного обучения. Чтобы помочь исследовательскому сообществу найти интересные наборы данных, мы продолжаем индексировать широкий спектр открытых наборов данных, полученных из различных организаций с помощью Google Dataset Search . Мы также считаем, что важно создавать новые наборы данных для сообщества, чтобы исследовать и разрабатывать новые методы, а также гарантировать, что мы делитесь открытыми данными ответственно . В этом году мы дополнительно выпустили ряд открытых наборов данных во многих различных областях:
Взаимодействие С Научным Сообществом Наконец, мы были заняты в более широком Академическом и исследовательском сообществе. В 2019 году исследователи Google представили сотни работ, приняли участие в многочисленных конференциях и получили множество наград и других наград. У нас было сильное присутствие в:
Мы также собрали вместе сотни исследователей Google и профессорско-преподавательский состав со всего мира до 15 отдельных исследовательских семинаров, проводимых в местах расположения Google. Эти семинары были посвящены темам, начиная от улучшения прогнозирования наводнений в глобальном масштабе, как использовать машинное обучение для создания систем, которые могут лучше обслуживать людей с ограниченными возможностями, чтобы ускорить разработку алгоритмов, приложений и инструментов для шумных промежуточных квантовых процессоров (NISQ). Поддерживая академические и исследовательские сообщества за пределами Google, мы поддержали более 50 аспирантов по всему миру через нашу ежегодную программу аспирантской стипендии, мы финансировали 158 проектов в рамках нашей исследовательской премии факультета Google 2018, и мы провели нашу третью когорту программы резидентуры Google AI . Мы также наставляли стартапы, ориентированные на ИИ . Новые Места, Новые Лица Мы добились большого прогресса в 2019 году, но есть еще так много, что мы можем сделать. Чтобы продолжать увеличивать наше влияние по всему миру, мы открыли исследовательский офис в Бангалоре и мы расширяемся в других офисах. Если вы взволнованы работой над такими проблемами ,мы нанимаем! С нетерпением ждем 2020 года и далее За последнее десятилетие были достигнуты замечательные успехи в области машинного обучения и информатики, где мы теперь дали компьютерам возможность видеть, слышать и понимать язык лучше, чем когда-либо прежде (см. Хороший обзор важных достижений за последнее десятилетие). В наших карманах теперь есть сложные вычислительные устройства, которые могут использовать эти возможности, чтобы лучше помочь нам выполнить множество задач в нашей повседневной жизни. Мы существенно переработали наши вычислительные платформы вокруг этих подходов машинного обучения путем разработки специализированного оборудования, что дает нам возможность решать все более крупные проблемы. Это изменило то, как мы думаем о вычислительных устройствах как в центрах обработки данных (таких как ориентированный на вывод TPUv1 и ориентированный на обучение и вывод TPUv2 и TPUv3), так и в маломощных мобильных средах (таких как Edge TPUs ). То революция глубокого обучения будет продолжать изменять то, как мы думаем о вычислительной технике и компьютерах . В то же время существует огромное количество неотвеченных вопросов и нерешенных проблем. Некоторые направления и вопросы, которые мы рады решать в 2020 году и за его пределами являются:
В целом 2019 год был очень захватывающим годом для исследований в Google и в более широком исследовательском сообществе. Мы взволнованы решением исследовательских задач, стоящих перед нами в 2020 году и за его пределами, и мы с нетерпением ждем возможности поделиться нашим прогрессом с вами! Источник: ai.googleblog.com Комментарии: |
||||||||||||||||||||||||||||||||||