Татьяна Черниговская: человек может перестать быть "царем природы" |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2024-09-13 12:28 Психология, изучение сознания человека, искусственный интеллект Ученые мира бьются над разгадкой феномена сознания. В 2023 году в Дхарамсале с участием Далай-ламы прошла первая международная конференция о сознании животных, а в 2024 году в Катманду собралась уже вторая, расширенная конференция на тему "Как изучать и понимать сознание не у людей", включая искусственный интеллект. Оба форума посетила директор Института когнитивных исследований Санкт-Петербургского госуниверситета, академик РАО, заслуженный деятель науки и высшего образования РФ Татьяна Черниговская. В эксклюзивном интервью РИА Новости известный нейроученый рассказала о перспективах исследований сознания, о своем отношении к животным, ИИ, GPT и новейшим биотехнологиям, об образовании и воспитании детей в современном мире соцсетей, о понимании добра, зла и совести, о развитии языка, памяти и интуиции. Беседовала Ольга Липич. — Татьяна Владимировна, удалось ли выявить самые перспективные методы исследований сознания и приблизиться к общему пониманию этого феномена на международных конференциях в Дхарамсале и Катманду, научным организатором которых выступил академик РАН нейрофизиолог Константин Анохин? — Признаки прогресса на этом пути есть. И только что прошедшая в этом году в Катманду конференция это показала. Но рассчитывать на то, что мы за одну-две конференции договоримся, что имеем в виду под сознанием, не приходится. Потому что очень разные вещи понимаются и трактуются разными учеными как "сознание". Это долгая дорога. — Тогда в чем вы видите прогресс? — Прогресс в том, что стали использовать чувствительные к этой теме методы, с помощью которых можно изучать сознание (и опять же — что считать сознанием?) у животных. У человека хотя бы есть язык, мы можем сами описывать свои ощущения, есть понятный инструмент. С животными вы не можете поговорить ни на каком языке — значит, должны ориентироваться на поведение. А поведение может быть вызвано разными причинами. И тут возникает опасность. — Какая опасность? — Постоянная опасность, которую я вижу, — в трактовках. Мы исходим из того, что экспериментальные данные получены квалифицированными и честными исследователями, но дальше наступает момент, когда нужно объяснить, что все эти данные значат? И тут начинается: а это была память, а тут у него было плохое состояние, а здесь, наоборот, он был вожак группы и потому так-то себя повел. А кто-то скажет, что нет, что трактовать надо совершенно иначе… То есть сто вариантов объяснений! Вот это плохая вещь, и непонятно, как ее избежать. Ясно, что нужна очень большая работа по отбору тестов, которые давали бы более или менее определенный ответ. Вот если животное такое умеет, то с большой вероятностью у него может быть то-то и то-то. И я вижу, что эта работа идет. — Каковы цели и польза такой работы? Исследования сознания животных удовлетворят наш научный интерес, скажутся на понимании сознания человека и управлении им ради гармонии и счастья на планете, помогут людям прийти к более гуманному обращению с другими живыми существами? — Все перечисленное. Во-первых, есть знание ради знания. Есть фундаментальная наука, которая не обязана никому обещать прикладное использование своих открытий. Если бы Фарадей представлял себе, что получится из того, что он открыл, он был бы очень удивлен. Давать академическим институтам и фундаментальным ученым задание придумать что-то с расчетом на быстрый прикладной выход — очень плохой путь. Мы хотим знать, кто мы такие. Сознание — это феномен? А может, сознания вообще нет — мы его просто сами себе придумали и теперь ищем? А если выходить на прикладные вещи, то понимание сознания, конечно, нужно для медицины. Оно очень нужно — и сейчас особенно — для того, чтобы уберечь себя от опасности возникновения чего-то похожего на сознание у искусственного интеллекта (искусственного сознания. — Прим. ред.). Мы должны понимать: что это там, как оно выглядит, чего и почему мы боимся? Наконец, если вернуться к животным, то у нас есть моральные обязательства по отношению к ним. И хотелось бы вообще-то знать, кто наши соседи. Это что — просто какие-то "биоавтоматы" большого или маленького размера? Или они чувствуют боль, радость, сострадание, у них есть какой-то внутренний мир? Не стоит, кстати, думать, что у всех людей планеты серьезный и хороший внутренний мир. Еще неизвестно, у кого он больше и сложнее, у животных может быть вполне сложный внутренний мир. И тогда возникают вопросы: как нам себя вести по отношению к ним, как их беречь, что делать с животноводством промышленных масштабов? — А как лично вы считаете, у всех ли животных есть сознание или только у высших — млекопитающих, птиц? Кто из них испытывает схожие с человеческими эмоции и чувства, страдает, влюбляется, привязывается, скучает и так далее? — Высшие — все, не сомневаюсь. И дельфины, и слоны, и лошади, и коровы, и собаки, и все те домашние животные, которые с человеком живут тысячи лет. — То есть близость к человеку влияет на развитие сознания? — Все влияет на развитие всего. Но хорошо ли влияет — тоже вопрос. Например, во дворе у меня полно котов, они там дерутся, еды им не всегда вдоволь хватает, и, казалось бы, хорошо их разобрать по домам и круглые сутки защищать, обогревать, гладить, деликатесы всякие давать. А скука какая смертельная! Там у них жизнь идет... — Да, но если коту не понравится дома в сытости и скуке, он, наверное, сбежит, и не будем его отлавливать. А вот буддисты считают, что сознанием обладают не только коты и прочие высшие виды животных, но все живые существа вообще, включая насекомых. Вы с ними согласны? — Не знаю, соглашаться или нет. Это к вопросу об интуиции: вот про высших — я просто вижу это, но доказать не могу. — Что вы думаете о Нью-Йоркской декларации о сознании животных и гуманном к ним отношении, подписанной в этом году рядом исследователей сознания, в том числе академиком Анохиным? — Вспомним фуа-гра — как этот деликатес получают из несчастных гусей и уток, в которых заталкивают еду, чтобы у них печень большая была. Это же ужас, издевательство! — Фуа-гра надо б запретить, человек же не должен подвергать таким мучениям братьев наших меньших! — Неплохо было бы, чтобы человек не подвергал мучениям и своих братьев, уже не меньших — самих людей. Но животные, конечно, вообще невинны и беззащитны. — Они представляются более беззащитными, чем люди. Мы же пока не знаем, есть ли у животных методы преодоления стрессов и страданий, как у человека, с его молитвой, медитацией, состраданием, интеллектуальными упражнениями, тренировками воли и так далее? — Да, согласна полностью. Во всяком случае, если бы я увидела человека, который издевается над кошкой или собакой, даже боюсь представить, что бы я сделала. — Что же все-таки такое "сознание" для вас сейчас? Когда вы оперируете этим понятием, что в него вкладываете? — Зависит от того, на каком языке, с кем, о чем мы договариваемся. Вопрос очень сложный, потому что у одного в этой области лежат огурцы и помидоры разноцветные, а у другого — концепции об устройстве вселенной. Это вопрос конвенции, соглашения. Вот, например, Его Святейшество Далай-лама и все буддийские ученые считают, что в понятие сознания входит чувствование. Но в других научных подходах чувствование — это одно, рацио — другое, потом сознание, осознание чего-то, "думание о думании", рефлексия и так далее. На данный момент я бы так сказала: сознание — это способность рассуждать, делать выводы, оценивать самого себя, пытаться понять, что думает другой, и подстраивать свое поведение. Но не гарантирую, что послезавтра вам так же отвечу. — Далай-лама в начале диалога с учеными сказал, что готов пересмотреть устои буддизма, если окажется, что они противоречат выводам нейронаук. А готовы ли нейроученые пересмотреть какие-то свои взгляды, если выяснится, что казавшиеся выдумкой аспекты буддийского учения получают современные научные доказательства? — Ученых много разных. И есть такие, которые не только не пересмотрят ничего после объявлений Его Святейшества, но даже не задумаются. Они будут несчастной лягушке по лапе колотить электрическим током, до самой ее и своей смерти фиксируя условный рефлекс, даже если перед ними предстанут Кант, Шопенгауэр, Эйнштейн и Нильс Бор, вместе взятые. Поэтому в общем виде про ученых говорить, как и про всех других, нельзя. Но про себя и тех, кого уважаю и с кем мы дружим, могу сказать, что да. Я открыта. И если мне уважаемые мною люди и серьезные ученые говорят, что тут что-то есть, надо копать, то я буду это делать. То есть я готова пересмотреть. — Почему вы предложили сотрудничество канадско-британскому психологу Кларе Коломбатто, выступившей на непальской конференции с докладом "Приписывание сознания искусственному агенту"? Считаете эту проблему актуальной? — Пока я слушала ее выступление, подумала, что похожую тему можно было бы дать нашему магистру или аспиранту (Института когнитивных исследований Санкт-Петербургского госуниверситета. — Прим. ред.). Молодые люди у нас, возможно, не подозревают о том, что есть такая интересная тематика, которая сейчас на переднем крае. Если наши молодые специалисты в нее вовлекутся, от этого будет польза всему обществу. — Каким может быть это сотрудничество? — Это могли бы быть исследования типа опросов, наподобие тех, которые представила на конференции Клара Коломбатто. Опросы не просто "как вы относитесь к тому-то", а на основе определенных шкал, с тщательно продуманными вопросами. Для этого сначала необходимо поработать с научной литературой, выяснить, кто что и как уже исследовал в этой области. Группы опрашиваемых могут быть разные: скажем, учащиеся сильных гимназий или студенты разных факультетов, ведь одно дело, когда на вопрос отвечает журналист или историк, а другое — когда математик. Важен социальный срез. Все это нужно хорошо продумывать для последующих верных трактовок результатов опросов. Кроме того, могут быть исследования с аппаратурой. Например, у меня в институте используется методика слежения за движением глаз — можно смотреть и регистрировать, куда направлены глаза участников, внимание, какая информация интересна, а какая нет. Скажем, мне интересно "лицо" этого искусственного интеллекта или совсем нет? Параллельно мы можем фиксировать то, что происходит в голове смотрящего, с помощью энцефалографии. И все это еще и с дополненной реальностью (AR), виртуальной реальностью (VR), со специальными очками и прочими приборами. Это уже высший пилотаж. У нас в институте принцип защит научных трудов такой: не может быть просто философский разговор — обязательно должны быть представлены эксперименты. Очень интересны лонгитюдные исследования (долговременное изучение одной и той же группы. — Прим. ред.). Ведь большие языковые модели, GPT развиваются с гигантской скоростью, и люди к ним привыкают. Коломбатто приводила цифры, которые свидетельствуют, что число людей, определенным образом смотрящих на что-то, например на ИИ, с течением времени меняется в разы. Я уверена, что если молодых людей опросить сейчас, а затем через год-два — все переменится. Потому что скорость не только развития этих искусственных систем, но и проникновения их в нашу жизнь очень большая. С их помощью уже реально пишут статьи, делают научные работы и так далее. Этот новый мир уже наступил, надо с ним как-то справляться. И серьезный вопрос: как сами люди оценивают его влияние и себя в нем? Мы все еще цари природы или уже не совсем цари? — Поражает цифра, которую назвала Коломбатто: 67% — абсолютное большинство — респондентов разного социального статуса в Америке ответили, что у искусственного интеллекта есть сознание. У меня было противоположное представление о мнении большинства. А у вас? — Аналогично. Но это Америка. Очень интересно, как будут отвечать люди в других частях света — как люди разных культур понимают большие языковые модели, искусственный интеллект, наделяют ли его сознанием, как вообще к нему относятся. Это тема большого международного кросс-культурного исследования. Посмотреть, как в разных странах (воспринимают ИИ. — Прим. ред.). Например, в России, Непале, Индии, Японии, Китае — причем в разных его частях. Китай — высокотехнологичная страна, но не целиком: есть регионы, где люди растят рис и никогда не общались ни с каким GPT, как и на каких-нибудь далеких еще от цивилизации островах. Кроме того, интересная тема, что дополненная реальность (AR) создает условия для определенного восприятия нами искусственного интеллекта. ИИ же вообще нигде нет "во плоти", не виден, он же disembodied (бесплотен). А тут он у тебя оказывается на картинке как живой. Меняет ли это наше отношение к ИИ? Важно ли, чтобы у ИИ было тело? И какое тело? Вспомним, когда появились роботы-собаки, у которых ноги повернуты в другую сторону, или роботы-пауки, их же не хотели брать в дом! Что я, возьму себе домой железного таракана размером с дога, даже если он хорошо помогает в хозяйстве и я могу в любой момент его отключить? Нет, не возьму. И не хочу, чтоб у меня в ванной жил и там белье стирал какой-нибудь искусственный осьминог. Антропоид — еще куда ни шло, но не какая-то неведомая зверушка. Настолько сильны наши психологические и мифологические представления. Поэтому изучение сознания не у человека, конференции на эту тему имеют экзистенциальный смысл. И большое значение для разных наук. Кто мы такие и в кого мы превращаемся? Нам доверили планету — так почему-то мы решили, — но, во-первых, нам никто ничего не доверял, а во-вторых, и что мы сделали с тем, что, как мы решили, нам доверили? На планете уже почти жить нельзя! — Кстати, опираясь на древние буддийские предсказания, наставник традиции Дзогчен школы Ньигма Сангнак Ринпоче, с которым участники конференции о сознании встречались в непальском монастыре Адзом, говорит, что в 2030 году мир ожидают тяжелые времена больших войн, а предотвратить катастрофу может накопление человечеством благих заслуг в 2024 году. Что вы об этом думаете? — Что мы, человечество, в большинстве своем в это время сидим сложа руки или играем в какие-то идиотские игры... — Но ведь вот вы, ученые, исследования и конференции о сознании проводите — они же имеют и научную, и практическую пользу для сохранения мира. Их надо продолжать? — Да, разумеется. Такие международные научные конференции о сознании надо продолжать. Я уверена, что это имеет общечеловеческое значение, экзистенциальный смысл. Потому что это про то, как устроен когнитивный, мыслящий мир: в состоянии ли мы его контролировать, в какой степени и в какую сторону контролировать? — Возвращаясь к искусственному интеллекту, правильный ли это по смыслу перевод artificial intelligence на русский язык? Не надо ли сменить термин на более точный? — Неправильный — и надо сменить, но ничего не выходит. Об этом специалисты по искусственному интеллекту говорят уже лет двадцать. Аrtificial intelligence — это просто программа, которая умеет решать задачи, и больше ничего. А то, что мы сейчас обсуждаем, — это не artificial intelligence, это другое, иначе зачем бы мы замахнулись на разговор о том, есть ли у него сознание. Мы же не параноики: если речь идет просто о программе, которая решает какие-то задачи, то что мы разволновались? Но мы волнуемся, потому что нам важно не потерять контроль. Программы становятся все более изощренные, самообучающиеся, и доходит до того, что порой их создатели уже не понимают, что эти программы делают, какая у них логика — все еще заложенная нами аристотелевская или уже какая-то иная? Звоночек был, когда программа обыграла человека в игре в го (в 2016 году прошел исторический матч между компьютерной программой AlphaGo, разработанной британской компанией Google DeepMind, и корейским профессионалом девятого дана с мировым именем Ли Седолем. — Прим. ред.). При этом программа сделала ход, которого никто никогда не делал. Специалистам непонятно было, откуда вообще взялся этот ход, причем невероятной красоты. Это была иная логика, его даже окрестили "инопланетным ходом". — Робот-собака с искусственным интеллектом может ли в будущем заменить человеку обычного домашнего питомца или робот-хозяйка заменить жену? — Ну если мы собираемся прекратить жить на этой планете, то двигаемся в правильном направлении. А если мы все же собираемся продолжить жить, то зачем нам те, которые вместо нас будут решать задачи, писать картины, музыку, сценарии и так далее? Как вы знаете, Бетховена уже дописали. А в Голливуде уже бунты сценаристов, который рискуют остаться без работы из-за пишущих сценарии программ, а вместо реальных актеров играют как бы их электронные копии. Но если у нас есть настоящий Дюрер, то зачем нам еще один "Дюрер", который будет писать Дюрера? Мы сами чем собираемся заниматься в оставшееся время на этой планете? — Когда появятся портативные МРТ для чтения мыслей? — Не появятся. Нет, ну, конечно, для развлечения публики и сейчас уже можно кое-что сделать. Но если говорить серьезно, поскольку я в Институте мозга работаю… Вот смотрю я на мозг — и при этом я уже должна много знать, предположим, что если у человека звучит музыка в голове, то это, скорее всего, вот эта зона мозга. И мне показывают картину и спрашивают меня, что человек сейчас делает, я скажу: очень вероятно, что он слушает музыку. Но я никогда не скажу, что это именно такая-то музыка. Я никогда не скажу, что он думает о таком-то. Конкретные вещи я не скажу. — То есть не сможете определить, слушает подопытный сейчас Rammstein или Моцарта? — Нет, не сможем. По крайней мере, пока я даже не представляю, как это могло бы быть. Сложность с аппаратами МРТ и подобного рода техникой ведь не столько в том, что они дорогие, а вот в чем. Допустим, нашли деньги, создали, приобрели такой прибор и суете туда людей одного за другим, а дальше-то что? Ведь что оттуда вылезает? Фактически цифры. Как их расшифровывать, что они значат, кто будет расшифровывать? Это огромная работа, очень сложные программы, которым нужно долго учиться. Это должны быть специалисты высочайшего уровня, с большим опытом, которые еще и с коллегами будут советоваться. А главное — зачем такой портативный прибор? — Ну, например, чтобы не обманули. На рынке… — Он не нужен. И я бы даже сказала, опасен. Мало ли что с ним кому потом припишут. — Какой деятельностью лучше заниматься, чтобы как можно дольше сохранить мозговую активность? — Жить по возможности богатой, полной жизнью: общаться, ходить, ездить, читать, смотреть, слушать — получать разнообразные впечатления. Чтобы были разные нейронные сети. Разные страны, разные люди, разные языки и так далее. — А если ты — шахтер? Если нет возможности регулярных путешествий по разным странам и прослушивания Курентзиса? — Шахтер? Хорошо: читай хорошие книги, смотри хорошие фильмы, открой компьютер, возьми у того, кто знает, список рекомендаций именно для тебя. И не надо кидаться сразу на сверхмодные музыкальные концерты или артхаусное кино, перед которыми нужно большую дорогу пройти, чтобы его понять. Все требует работы и времени. — Есть ли врожденный интеллект или это приобретаемая характеристика? — Я считаю, что есть. Но это не значит, что так считают все. Я бы сказала так: есть качество мозга — Эйнштейном или Моцартом можно только родиться, им нельзя стать, но им можно не стать, если ты со своим замечательным мозгом не попал вовремя в правильную среду и не трудишься. Например, если представить себе, что Иоганн Себастьян Бах родился бы не в семье потомственного музыканта Баха, а в семье землепашца, то он, возможно, не то что клавесина не увидел бы, а даже и слова этого бы не знал — и не было бы у нас Баха. Должно повезти. — Возможно ли эволюционное развитие мозга человека, и если да, то когда следующий скачок? — Ну кто это, кроме Господа, может знать. — А есть ли возможность искусственно ускорить этот процесс? — Нет, забудьте про это навсегда. Мы со своими корявыми руками не должны лазить в это. — Но ведь сейчас, с прорывами в генетике, уже наверняка есть похожие исследования, попытки осуществлять некую евгенику? — Чрезвычайно опасные. Если мы знаем, что у данного человека есть ген, условно один, хотя это никогда не бывает один ген, который в этой семье приводит к шизофрении, то теоретически можно сказать: давайте уберем этот ген — и проблема решена. Но там же гигантская сеть этих генов! Вы его, допустим, уберете, но что вы порушите вместе с этим? И как и когда вы про это узнаете?! Может быть, через 150 лет — в каком-нибудь двоюродном племяннике с восьмью ногами. Гены же существуют не в отдельных коробочках, так чтоб коробочку вынул — и никто не заметил. Они все связаны между собой. Поэтому работать с геномом — сверхопасная вещь. По сути, мы не знаем: а дальше что? Недаром существуют этические комиссии, запрещающие эти эксперименты. — Насколько опасно тогда то, что человечество уже не первый год питается многими генетически модифицированными продуктами? — Генетики, которым я доверяю, например Николай Янковский (специалист в области геномики и биотехнологий, научный руководитель Института общей генетики РАН, академик РАН. — Прим. ред.) или Евгений Рогаев (заведующий лабораторией эволюционной геномики Института общей генетики РАН, академик РАН, дважды лауреат Государственной премии РФ. — Прим. ред.), говорят, что это совершенно другая история. То, что ты съедаешь, не влияет так на твои гены. Это не значит, что генетически модифицированные продукты хороши, — может, они и плохи, но не по этой причине. — Репродуктивные технологии стремительно развиваются: уже есть искусственная матка, а из соматических клеток создаются половые, благодаря чему в будущем возможно появление ребенка, например, от двух мужчин или вообще от одного человека. Что это будет: гермафродитизм, почкование? — Давайте позовем психиатра, пусть он разбирается. — А будет ли у такого зародыша душа, вырастет ли он полноценным человеком? Или это может быть просто биоматериал, выращиваемый из соматических клеток, например, на органы или для воплощения искусственного интеллекта? — Ужасно и очень опасно. Давайте ответим на другой вопрос, который этому всему предшествует. Мы решили сами прекратить здесь жить? Пожили — и все, хватит? Тогда пускай монстры электронные для и за нас пишут картины и романы, снимают фильмы, лепят скульптуры — эти сети теперь все без нас умеют делать. Ах, и рожать не будем? Они за нас и рожать будут? Или из соматических клеток кого-то выращивать? Отлично! Мы себе, вообще, какую-то оставляем территорию или нет?! Это вопросы уже не прикладные, а экзистенциальные. — Человечество все настойчивее примеряет роль Творца, создавая искусственный интеллект и роботов, экзоскелеты, выращивая искусственные органы и клетки, казалось бы, с благими научными и медицинскими целями. Но всегда ли получается благо? Что вы об этом думаете как ученый и как верующий человек? — Противоречиво. С одной стороны, медицина и технологии шагнули так далеко, что масса людей, которых давно не было бы на свете, если б не эти шаги, живут себе прекрасно. Одному поменяли сердце или почку, другому — колено или тазобедренный сустав, третьему восстановили зрение или слух, уж не говорим про зубы. Наш коллега Александр Яковлевич Каплан (профессор, заведующий лабораторией нейрофизиологии и нейрокомпьютерных интерфейсов МГУ имени М. В. Ломоносова. — Прим. ред.) работает над технологиями, помогающими людям после тяжелейших инсультов и травм головы, после которых человек лежит как камень и не может выйти на контакт с миром. Вспомним Стивена Хокинга (знаменитый британский астрофизик и популяризатор науки, парализованный боковым амиотрофическим склерозом, который у него диагностировали еще в студенческие годы. — Прим. ред.) — это лучший мозг планеты: у него отказало вообще почти все, но при этом он продолжал читать лекции при помощи синтезаторов и других устройств. И Пушкин бы не умер после дуэли с Дантесом, если бы тогда медицина была на сегодняшнем уровне. Так что за это технологиям спасибо. Другая сторона — вопрос: до какого момента мы будем вторгаться в природу? И когда речь идет уже не о лечении и продлении жизни, а о рождении, все вами перечисленное, искусственность, у меня это вызывает большую тревогу. От уважаемых специалистов-генетиков я слышу разные отзывы. Одни говорят, мол, ничего страшного в искусственных репродуктивных технологиях нет, мы там просто подправим кое-что, скажем, уберем ген наследственной депрессии — и все будет хорошо. А другие боятся: мало ли еще что там затронешь и какие последствия будешь иметь, убрав то, что отвечает за шизофрению. — Достижения в области биотехнологий, генетики, ИИ, как и открытия физиков и многих других ученых, наверняка могут использоваться разными властителями, полюсами силы на геополитической арене — для получения преимуществ над конкурентами, в военных целях... Что вы об этом думаете? — Не сомневаюсь, что это так и есть. Даже на примере дискуссии об искусственном интеллекте. Вот выступает такой крупнейший игрок, как Илон Маск: пишет письмо с предложением взять каникулы в разработках ИИ, чтобы подумать. И многие это письмо подписали. А очень значительная часть специалистов его не подписали — и знаете почему? Они мотивировали это тем, что надо не каникулы брать, а вообще запретить ИИ, тотально. Потому что это жизненно опасная программа. Но на это есть ответ "конкурирующей фирмы": вы введете для себя тотальный запрет, откажетесь, а я — нет, и все. Поэтому говорить, что мы сейчас выдохнем и откажемся от этих опасных разработок, — нелепо, потому что кто-то не откажется. — Ловушка, в которую человечество само себя загнало. Когда, согласно авраамическим религиям, Ева с Адамом ослушались Бога и вкусили запретный плод от древа познания добра и зла, не было ли это началом науки? — Называется "яблочком угостила Ева", да? Хороший вопрос, я думала об этом. Как эту метафору современным образом прочесть. Потому что ведь вроде она ничего плохого не сделала, а как бы сказала: "Давайте узнаем, как это устроено…" — А получилось тысячелетия спустя вон что… — Если так смотреть на эту метафору, то что нам теперь, все академии наук закрыть? А вообще ригористически настроенные люди так и говорят: вы с вашей наукой нас в ад тащите. Сильно воцерковленные люди критически посматривают на все это: раньше силачи топориками как-то отбивались друг от друга, а теперь стоит одним пальцем на кнопочку нажать — и вся планета взлетит. Но если всерьез и добавить еще банальности: ножиком можно сыра кусочек отрезать, а можно соседа убить — все зависит от того, как то или иное средство, в том числе достижение науки, использовать. Вспомним Иммануила Канта, которому недавно исполнилось 300 лет и который говорил: звездное небо над головой и нравственный закон внутри! Воровать нельзя не потому, что тебя поймают и накажут, а потому, что очень стыдно. — Возможны ли, на ваш взгляд, какие-то практические причины появления в сознании, мировоззрении человека духовных, вертикальных ориентиров, представлений о Боге и религиозных устоев — чтобы не сойти с ума от бренности бытия, одиночества, чтобы не переубивать друг друга, и тому подобное? — Не знаю, годится ли здесь слово "практический". Но я зайду сбоку: нет никаких культур или народов на нашей планете, у которых не было бы каких-нибудь религиозных представлений. Нет таких примеров. Кто в единого Бога верит, кто в идолов, кто в какую-то деревяшку, кто в предков, кто еще во что-то. — А это как-то можно объяснить, помимо теистического "Божьего дара" или атеистического "инструмента для управления социумом"? Может быть, религиозность — это врожденное экзистенциальное желание расшириться, продолжиться, служить или быть связанным с чем-то большим, чем бренное "я"? — Нам нужно выйти и за пределы материального мира, потому что для нас есть что-то еще, более важное. Это какая-то, вероятно, очень глубокая такая характеристика именно человека. И я бы сказала, что это часть человеческого сознания. Но тут же приходится задать второй вопрос: а что тогда у братьев наших меньших? — Может, у животных тоже есть свои представления о Боге… — Полагается отвечать, что серьезная наука такими вещами не занимается, есть пределы безумных вопросов. Но смелая и честная наука должна, по крайней мере, подумать и в эту сторону. — А откуда в мозгу вообще такие понятия, как добро и зло, совесть, правда и ложь, объединяющий разные этические системы принцип "не делай другому того, чего не желаешь себе"? — Могу только предположить, что это какие-то базовые вещи. Потому что даже самый маленький ребенок все-таки знает, что — плохое, а что — хорошее. Конечно, не в большом философском смысле, а в простом бытовом. — Более того, это знает даже домашнее животное: собака просто так не укусит, а если почувствует, что нечаянно причинила боль, будет выглядеть виноватой и стремиться утешить. Где коренится эта эмпатия, понимание, что причинять боль — плохо, а радовать хорошо? — Значит, представления о добре и зле — это какие-то совсем базовые, фундаментальные настройки. Но вот куда именно и как они заложены, пока науке не известно. — Как-то я столкнулась с фразой, что столь превозносимый в религиях альтруизм — это аномалия мозга. Может ли это быть правдой? — Нет, это неправда. Более того, на международной конференции о сознании животных в Катманду Николас Хамфри (всемирно известный кембриджский нейропсихолог. — Прим. ред.) продемонстрировал нам документальный фильм про обезьяну, которая спасает на рельсах другую обезьяну, потерявшую сознание: по сути, проводит реанимационные процедуры, опускает ее в воду, трясет, колотит — и та оживает. Как это объяснить? Она же могла этого вообще не делать, а идти дальше по своим делам орехи жевать или пудреницы воровать. Ее действия, кстати (к предыдущему вопросу), говорят о том, что она знает, что хорошо и что плохо. У обезьяны есть картина мира, в которой нужно не допустить, чтобы погибла ее подружка или просто другая обезьяна. Конечно, если у нас мир такой, что только б всех уничтожить, а самому выиграть, тогда да, альтруизм не годится. А если у нас мир другой, то альтруизм годится, и очень даже. — Мне кажется, что сегодня альтруизм — это вообще единственный способ миру сохраниться. — Конечно. Согласна. Развитие альтруизма — это единственный способ сохранить мир. — Эволюционировал ли, улучшился ли со временем нравственный облик человечества? — Нет, абсолютно, я этого не вижу. — А то, что перестали устраивать жестокие публичные зрелища, массово казнить на площадях, отрубая руки, ноги и головы, как в Средневековье? — Где-то перестали, а где-то и не перестали. Вспомните камбоджийских красных кхмеров или перерезание горла на камеры с последующей демонстрацией этого на экранах. — Но, мне кажется, улучшение может быть в нашу эпоху благодаря развитию образования и массовых коммуникаций, когда можно широко и глубоко проповедовать, просвещать и просвещаться, повышая осознанность и нравственный уровень? — Это да, может быть. И такого рода конференции о сознании на самом деле играют большую роль в нравственном развитии человечества. Потому что после них просто так и на муравья не наступишь — постараешься обойти. — Сегодня дети растут в изобилии информации, в том числе благодаря индивидуальным гаджетам. Как это влияет на психику и развитие личности? Следует ли ограждать их от этого или в современном мире уже невозможно иначе получать необходимые для жизни знания? — Нужно различать информацию и знания: информация не есть знания. Но мы уже живем в этом цифровом, информационном мире, и дети очень рано в него включаются. Поэтому бесполезно говорить "мне не нравится", играть в игру "давайте запретим интернет". Никогда ничего такого не удавалось полностью запретить. Но вот ограничить пользование гаджетами, интернетом — по времени и содержанию — конечно, можно. И об этом свидетельствует правило некоторых дорогих школ, где тебе только вечером дадут гаджет ненадолго — маме с папой и подружке позвонить. Мы же не убийцы детей, чтобы пускать их в бандитские районы гулять. Так почему мы пускаем их в Сеть, где то же самое, где опасность для жизни и здоровья? — А как можно ограничить, если не в дорогой школе и нельзя запретить? — Думаю, главным образом нужно детям все это объяснять. Что в Сети, как в городе, есть помойка: если ты пойдешь на помойку играть, то отравишься и попадешь в больницу, и еще неизвестно, останешься ли жив. Кроме того, те дети, кто постарше, легко поймут: технологии стали такого невероятного уровня, что сделать подделку любую можно. Например, ты будешь участвовать в чем-то в Сети, будешь там ходить, говорить, родители твои там будут, но это будет подделка. И ты очень рискуешь, рискуешь пропасть физически. Необходимо предупреждать детей и подростков, что доверять можно только надежным ресурсам. Мы, родители, учителя, должны говорить детям: вот эти сайты надежные, проверенные, мы знаем, что ничего плохого там с вами произойти не может, — пользуйтесь. Единственный выход — это говорить с детьми. — Вы сказали, что информация — не равно знания. В чем главные отличия и как перейти к знаниям? — В Сети есть в том числе очень много полезной информации, но это еще не знания. Знания — это не свалка информации. Для получения знаний нужен наставник, учитель, который будет объяснять, что вся эта информация значит. Знания отличаются структурированностью информации, выстроенными причинно-следственными связями. Это про картину мира: скажем, раньше люди думали, что Земля плоская и стоит на большой черепахе, а теперь так не думают. Почему? Это знания. А в Сети вы найдете все что угодно, например, там может быть сказано где-то, что это все глупости насчет того, что Земля круглая, она и сейчас по-прежнему плоская, и вчера кто-то видел эту черепаху, на которой Земля стоит. Поэтому даже если у тебя весь интернет в кармане в смартфоне со всей возможной информацией, нужны учителя, нужны школы и университеты. И они не могут быть все только в кармане. — Но сейчас подростки нередко отказываются от получения образования, особенно высшего, мотивируя это тем, что в смартфоне можно найти всю информацию, необходимую для несложной работы, например, курьером, и быстрого заработка. — Да, можно работать, не имея образования, но ты тогда попадаешь в среду других людей. И это надо объяснять подростку. Ответственность выбора. Хорошее образование дает шансы заниматься любимым делом на высоком уровне, общаться с очень интересными людьми, например, с интеллектуальными элитами, ездить в командировки, путешествовать, получать новые впечатления, развиваться. Образование, структурированные знания формируют картину мира. А не напихивание в чемодан как можно больше всякой разной информации из интернета — зачем вам этот неподъемный чемодан? Только выбросить. — А что вы думаете о соцсетях — они формируют новое поколение? Каково будущее соцсетей и тех, кто к ним привязан? — Разумеется, это новое поколение, это вообще другой мир, другой тип общения. У этого явления есть и положительные аспекты. Например, в случае болеющего или одинокого человека, не работающего, не выходящего из дома, которому пообщаться не с кем, кроме как с котом, а в соцсетях он включен в общение с людьми — это важная вещь. Или когда был карантин для всех в эпидемию COVID-19 — многие общались в соцсетях. Есть целый ряд очень хороших компьютерных игр, образовательных, развивающих скорость мысли и реакции. Но если молодые люди из сетей не выходят, играют в стрелялки, это становится опасно. У них нет реальной жизни и ее понимания. Вот, например, он там всех убил в этой игре, после этого выключил компьютер, снова включил, а они там все бегают, как ни в чем не бывало… — Тогда систематический игрок не обретает — или утрачивает — чувство реальности и ценности жизни, непоправимости серьезной травмы, смерти? — Ну да, они не понимают, как устроен мир, то есть они абсолютно не понимают трагичности и бесповоротности каких-то шагов. У детей еще нет опыта эмоциональной жизни, чтобы понимать, что испытывается в игре, а что чувствует живой человек. Не так давно я читала заметку о том, что 12-летняя девочка в школе напала с ножом на соседку по парте, потом спокойно сказала, что убила ее, и это оказалось не так, как в компьютере. — Но раньше дети во дворах тоже играли зачастую в жестокие игры, например в "войнушку", но такого эффекта почему-то не было. — Не было. А сейчас есть. Возможно, потому что в современных компьютерных играх — компьютерные имитации, которые становятся все более и более совершенными, интерактивными, со специальными шлемами для этого (дополненная реальность AR. — Прим. ред.), они передают уже не только видео и аудио, но и тактильные ощущения, запахи и так далее. Между прочим, уже есть поколение взрослых, у которых нет или почти нет опыта реального человеческого общения, социализации, например, флирта или ответного удара. Нет того опыта, который был раньше у детей и подростков, росших во дворах: если слишком расхамился или жалуется и стучит на всех, он быстро получит во дворе и будет понимать, какие вещи неприемлемы ни для кого. Ничто не заменит дружеский подзатыльник во дворе… Кроме того, в соцсетях и компьютерных играх есть анонимность. И вы там представлены не полно, и не знаете наверняка, кто этот человек, с которым вы общаетесь или играете. Ты думаешь, что он Петя или Иван и что ему 12 лет, как и тебе. А он, может быть, Сидор Петрович, которому 72, и он главарь какой-нибудь наркотической банды. Родители должны это все понимать и объяснять детям. — А что еще сегодня особенно важно знать и делать родителям? — Завести ребенка — это посложнее будет, чем кофеварку? Но если я завожу кофеварку, я либо читаю инструкцию, либо звоню человеку, у которого такая же кофеварка, и прошу описать, как она работает. Когда молодые люди, которые выросли в компьютерах, рожают ребенка, они зачастую ничего не знают о том, в каком возрасте что должен уметь ребенок, когда как развивается его мозг и так далее. А они должны знать, например, что если ребенку три года и он еще не говорит, то надо бежать к специалисту. Но поскольку в этом безумном мире мы пропустили уже пару поколений, то и бабушки с дедушками зачастую ничего толком не знают… — Почему у детей с большим словарным запасом, которые ранее не использовали слов-паразитов, в раннем подростковом возрасте вдруг в речи появляются такие слова, как "это"? Стоит ли делать замечания или лучше игнорировать? — Cлова появляются из окружения. Вопрос в том, как ребенок воспитан: он готов все, что встретит, условно говоря, на улице, принять или нет? Родители должны ребенку объяснять, что есть еда, которую нельзя есть, есть районы, в которые не стоит ходить, и вообще существует много вещей, которые не следует делать, потому что они плохие. Это касается и употребления слов-паразитов. Люди, претендующие на высокий уровень образованности и серьезный социальный слой, должны иметь соответствующую речь. Речь — очень важный показатель вашего уровня образования и культуры. По речи, ее стилю, фонетике, можно определить, откуда вы (и это не только о географии), где учились, на что можете претендовать. У нас этот показатель, конечно, не такую глобальную роль играет, как, например, в высоких классах Великобритании, но все же существенную. Скажем, сама я, когда появляются новые сотрудники, студенты, очень реагирую на речь. — Как приучить подростков использовать при переписке в мессенджерах знаки препинания? — Никак. Такие вещи нравоучениями и запретами не решаются. Но опять же: можно объяснять и работать над этим серьезно, умно и системно. Знаки препинания — это тоже определенный уровень культуры, один из признаков, по которым человека будет оценивать социум. Если вы — люмпен, которому совершенно все равно, то можно не то что знаков препинания нигде не ставить, а посреди дороги сесть и начать булку жевать… Может быть, такой аргумент на подростка подействует. Разумеется, это все не генетика и поддается исправлению. Но не надо орать на кухне каждое утро: "Опять ты пишешь без запятых!" А лучше, например, предложить подростку интересную книгу, в которой нравящийся ему герой говорит, пишет и одевается определенным образом. — А почему вообще в последние годы даже некоторые взрослые стали вдруг переписываться без знаков препинания и заглавных букв, в чем причины: экономия времени, мода, новая субкультура? — Да, это сокращает время и это модно. Более того, это явление изучают лингвисты, есть научные работы. Но это только отчасти субкультура. А отчасти это переход на другой тип коммуникации. Потому что коммуникация через мессенджеры в различных маленьких устройствах — это на самом деле устная речь, на бегу, она просто зафиксирована письменно. А в устной речи, вы же не говорите: "Здесь запятая, тут тире". В языке есть "речевые жанры" — научное понятие. Если человек придет на рынок и скажет: "Будьте любезны, пожалуйста, не будете ли вы так добры показать мне, какая капуста мариновалась или квасилась в яблочном соке, буду вечно вам благодарен…" Такой человек на рынке неадекватен — не понимает, где находится. Мы по-разному говорим в разных местах. Одним стилем, лексикой, голосом, произношением говорят в церкви — скажем, проповедь. И другое дело — то, как вы разговариваете на рынке, или читаете лекцию, или как общаются инженеры в своей профессиональной среде, или как мы сейчас беседуем. Это разные роли. И маркеры того, кто вы. Это ваша подпись. Людмила Алексеевна Вербицкая (советский и российский лингвист, академик и президент РАО в 2013-2018 годах. — Прим. ред.), которая была моей учительницей в университете с первого курса, говорила с сожалением, что в последние годы стили речи, речевые жанры трансформируются. То, что было высоким стилем, заменилось тем, что ранее считалось условно "средним стилем", а средний заменился тем, что прежде называлось "низким стилем". В обществе стали говорить так, как говорили раньше безграмотные люди на улице. Высокий стиль исчез. А низким стал какой-то другой, новый. В принципе мы можем вообще прекратить языком пользоваться — и начать просто пальцем тыкать: вот этот жест означает, допустим, что мне нужна бутылка воды... Все зависит от того, на какую роль мы претендуем. — А если посмотреть на мир мессенджеров как на рынок, как на особую новую реальность, правила общения в которой только формируются в наше время? — Может быть, и так. Язык живой, он никогда не застывает, он все время меняется: и письменный, и устный, и произношение… — Но когда я встречаю русскую речь, сохраненную в эмиграции потомками белогвардейцев, то буквально купаюсь в ее красоте... — А что вы в ней купаетесь, когда можете говорить и писать просто "плз" и "спс", и все с маленькой буквы? Нет, если кто-то хочет так писать все в максимально сокращенном виде — пожалуйста! Но меня это травмирует. Я консерватор, я хочу: высокий стиль — так высокий стиль. При этом человек, который хорошо владеет родным языком, должен знать разные стили. Поэтому я знаю ряд профессоров-лингвистов очень высокого класса, которые виртуозно владеют матом. — Вы в их числе? — Да, я им владею, но, может быть, не так виртуозно, как некоторые. Мат — это определенный слой языка, и его изучают лингвисты. На самом деле это удивительное изобретение, потому что там минимальный набор компонентов, из которых можно строить гигантские тексты. Лингвисты фиксируют факты языка, как ботаник фиксирует новые или исчезающие растения и цветы: вот еще один цветок нашел, а этот под угрозой... Изучение языка — это собирание фактов сложнейшей из человеческих систем. — Получается, язык мессенджеров — это новый цветок? — Новый. — Но ведь даже в устной речи мы не говорим "плз" или "спс", почему же многие из нас стали так писать? — Произошло то, что вообще предсказывали некоторые лингвисты. Например, Татьяна Михайловна Николаева (советский и российский лингвист, член-корреспондент РАН. — Прим. ред.) — замечательный профессор Института славяноведения РАН, один из тончайших знатоков языка — еще очень много лет назад говорила, что язык будет ускоряться. И ускоряться во всех смыслах. Так и произошло. Говорить стали быстрее: обратите внимание на скорость речи дикторов. Но она говорила не только о темпе речи, а о том, что будет умещаться как можно больше информации в единицу времени. Поэтому "плз" — мы сюда вместим еще много всякого. — А хорошо это или плохо в таком случае? — Это отдельный вопрос. Хорошо для того, кто спешит и пишет бытовое СМС. В этой логике зачем писать в эсэмэске: "Здравствуйте, глубокоуважаемая Евлампия Сидоровна", когда можно написать коротко "привет" — и сразу к делу. — Или вообще вместо слова "привет" послать картинку с изображением ладони. Это еще более короткий способ передачи информации с эмоцией: идеограмма, смайлик, эмодзи, стикер… Как относиться к этой новой реальности, этому невербальному языку? — Мы даже книгу выпустили о полимодальных текстах, в которых сочетаются вербальная информация и картинки всевозможные. Причем картинки не только в телефоне: возьмите современные учебники для детей — они наполовину из картинок, визуализированных букв. Это современная тенденция. А отчасти и мода, что для меня отрицательно. Все куда-то спешат, как будто открывают закон всемирного тяготения. Куда они спешат? Спешат туда же, откуда пришли. И глупостями всякими занимаются, но все быстрей, быстрей, быстрей. Остановись и попробуй написать хотя бы полстраницы текста так, как писал, например, Лермонтов. Это же твой родной язык! Но многие не могут… Это очень серьезная задача. И я бы давала такие задания в университете. Вот вам тема: пишите так, как будто вы — Карамзин. Очень интересно и полезно для этого читать письма выдающихся деятелей прошлого — все опубликовано — как они писали! Можно, конечно, сказать: в гробу я видала всю эту историю, в музеи не хожу и зачем мне книги читать, когда я наушники в уши вставлю — и мне в целом расскажут, как плохо изменять мужу, потому что можешь попасть под паровоз (отсылка к роману Л. Толстого "Анна Каренина". — Прим. ред.). То есть если загнать себя в такую ячейку, то вопросов нет. А если все-таки учитывать контекст нашей беседы, то есть разные стили речи, разные языки, и я такой сильный, потому что могу говорить, писать, общаться на разных языках — в зависимости от ситуации, окружения и задач. Господь вложил нам в голову гигантский мозг не для одного "плз". И в серьезной дискуссии "плз" выглядит так же, как если вы с маленьким ребенком начнете говорить со слов: "Милостивый государь…" Или заговорите на корейском с человеком, который не знает корейского. Важно понимать: есть разные языки, и чем больше языков я знаю, тем я лучше. — Влияют ли на человечество чаты GPT, нейросети, искусственный интеллект? Не снижается ли интеллект, особенно у молодежи, из-за упрощения получения информации в интернете, да и выживания в целом? — Все влияет, конечно. Сейчас всерьез обсуждается вопрос о том, чтобы разрешить принимать студенческие работы, в которых 40% написано не автором, а GPT. Чудесное обсуждение, кроме одного: у вас есть метод, которым вы можете определить точно эти проценты и доказать, что они превышены в данной работе? Потому что иначе студент на вас в суд подаст. Но пока что специалисты, которые такими вещами занимаются, отвечают однозначно: нет, мы не можем доказать. Я могу определить это "на нюх", потому что, скажем, знаю этого студента и знаю, что он не мог такое написать. Но доказать это формально я не смогу. — Кроме того, искусственный интеллект наверняка можно подстраивать под стиль речи и мышления того или иного студента, чтобы искусственное творчество походило на аутентичное в большей части процентов и "на нюх"? — Конечно, они так и делают. Поэтому вообще этот вариант работ (совместно с GPT. — Прим. ред.) надо бы запретить. Вы хотите лечиться у врача, вместо которого все студенческие работы делали нейронные сети, искусственный интеллект? — Нет, конечно. — А мы в эту сторону большими шагами идем. — Но как же бороться с написанием работ при помощи ИИ, если это почти не определишь иначе как "на нюх", а он не у всех преподавателей может быть достаточно развит, а главное — не сможешь доказать? — Единственное, что я придумала и даже на каких-то университетских собраниях про это говорила, — это устная защита студенческих работ. — Это как с ЕГЭ, когда некоторые вузы отвоевали себе право сохранить устные и специализированные экзамены? — Да. В ЕГЭ есть свои плюсы. Но что проверяет ЕГЭ в основном: память и внимание. А способность соображать — в малой степени. Самых способных абитуриентов вы отметаете с помощью ЕГЭ, потому что они нетривиально мыслят, гениев отметаете. — Продолжая тему смартфонов и прочих гаджетов: их стали использовать для записи намного чаще шариковой ручки. Как это все может отразиться на памяти? — Плохо. То, что ручкой не пишут, изменит моторику — и соответствующие зоны в мозгу не так будут развиваться. Но вы все равно не можете на это повлиять: мы же никто уже не пишем больше пером с разным нажимом. А вот что касается памяти, то это отдельный вопрос. Наталья Петровна Бехтерева в свое время так отвечала на вопрос, как сохранить память: выбросить записные книжки, помнить наизусть все телефоны, все фамилии-имена-отчества, а также все обязательства, в какой день в котором часу что кому вы должны. — В наше время это звучит почти нереалистично, но можно, наверное, учить наизусть стихи, прозу, музыкальные произведения? — Бесспорно. Память нужно постоянно тренировать. — Какое лично вы дадите определение интуиции? Это то, что называют чутьем, даром, которым обладает человек разумный? Или это лишь одна из функций мозга, некий страховочный механизм самосохранения, включающий моментальный сбор данных, их обработку и конечный вывод в форме бессознательного определения угрозы? — И то и то. Вы можете влезть в интернет и найти массу определений интуиции, но цена им ноль. Мы все знаем "на нюх", что такое интуиция, но объяснить это очень сложно. Это то, что не делается по алгоритму, то, что вы не можете планировать. Но это то, что вы можете у себя "подсмотреть", например, за прожитые годы (причем не обязательно много лет), и знать, что у вас сильная интуиция. Вы знаете по опыту, что когда ваше чутье, сильное внутреннее чувство по неведомым причинам говорит "не ходи туда", лучше не ходить. А если не послушаешься и пойдешь — обязательно нарвешься, например, влезешь в какой-то скандал, в который не влез бы, если бы не ходил. Интуиция — это очень мощное и очень тонкое явление, которое очень трудно описать. Она не структурируется, там другая логика, там вообще все другое... На основе интуиции делаются и научные открытия — не линейкой логарифмической, а интуицией. Это не значит, что ты ничего не знаешь. Ты уже много всего знаешь, но все крутится и никакого толку, а потом вдруг бах — и открытие, интуитивное. Это как озарение. — А как развить интуицию? — К себе прислушиваться чаще и подмечать все. Источник: ria.ru Комментарии: |
|