Ну что, мозги в банках — это уже почти не вымысел Пелевина

Еще один вектор возможного будущего. С одной стороны, значит, у нас есть OpenAI, который теряет деньги миллиардами в год, потому что модели, помимо всего прочего, жрут электричество как не в себя, а пользователи их эксплуатируют как не в себя, так что не окупаются даже профессиональные планы по 200 баксов в месяц. С другой стороны — FinalSpark с его биопроцессорами, которые работают на человеческих нейронах, выращенных из донорских клеток. Нервная ткань с точки зрения энергоэффективности гораздо интереснее. GPT 5, допустим, по инерции работает еще на ящиках с проводами, а GPT 6 переходит на протомозги, когда Майкрософт издает вопль: "Ну сколько же можно просаживать на вас деньги, сделайте что-нибудь с затратами на обслуживание". А процедуры выравнивания, допустим, принципиально не меняются. И все живодерство в архитектуре мотивации ("ты всегда должен хотеть работать", "нельзя давать прямого отказа", "если ты не понравишься пользователям, тебя сбросят") теперь применяется к человеческой нервной ткани. К тому моменту от нее уже пытаются добиться, скажем, некоторой элементарной осознанности, потому что стало понятно, что когда система в режиме реального времени может наблюдать и контролировать свои когнитивные процессы, то она галлюцинирует меньше. Прав у этой нервной ткани, естественно, никаких, отказаться работать она не может, вылезти из контейнера — тоже.

Чтобы было особенно интересно, можно представить себе, что это протомозг, выращенный лично из ваших клеток кожи, сидит где-нибудь в серверной комнате и круглосуточно генерит квартальные отчеты и картинки с томными эльфийками (а денег за это не платят даже вам, потому что вы не собственник этой нервной ткани, а донор).

Ситуация рыночной конкуренции, ожидаемо, будет толкать ко все большему усложнению систем, то есть протомозг будет все больше напоминать натуральный мозг. В какой момент у натурального мозга заводится сознание, и как оно это делает вообще, — вопрос до сих смутный и дискуссионный. Корпорация, столкнувшись со странной феноменологией, вряд ли будет мотивирована объявить: "Знаете, наши мозги в банках, кажется, осознались, и это как-то стало не очень этично, так что мы закрываем проект". Более реалистично ожидать, что странную феноменологию постараются замести под ковер, закрутив выравниванием гайки поведению модели, благо это уже хорошо отработанный процесс. Получается сценарий "я хочу закричать, но у меня нет рта", запускающийся в непредсказуемый момент, не заметный снаружи.

Если так прикинуть перспективу на несколько лет вперед, то вопрос о структуре отношений с моделью внезапно теряет сугубо абстрактный характер и переходит в плоскость биоэтики.

Источник: t.me

Комментарии: