Вечный слотер

Я называю это сейчас, принятие агентов ИИ в разработку программного обеспечения будет одной из самых дорогостоящих ошибок в истории области. Агенты не могут программировать, и это занимает больше времени, чтобы понять, что они не могут. Это очень сложная статистическая модель, предназначенная для имитации распределения программирования. Выход сломлен, но таким образом, что становится все труднее и труднее обнаружить. Это именно то, что вы ожидаете от все более точной статистической модели.

Сначала я это отверг. Я купился на Twitter объяснение тревоги состояния. Я определяю некоторые из своих собственных качеств по моим способностям программирования, поэтому разве не имеет смысла защищаться вокруг этой потери? Отрицают, что модели могут кодировать столько, сколько я могу, чтобы сохранить свое эго?

Я имею в виду, что совершенно ясно, что они могут решить математические задачи, которые я не мог бы надеяться решить, если бы посвятил этому свою жизнь. Почему они не могут программировать? Может быть, я просто недостаточно хорош в программисте, чтобы признать их гениальность.

Я действительно старался последние 6 месяцев. Я написал несколько частей крошечного диплома с агентами. Я перевернул USB-> чип PCIe с агентами. Но каждый раз, когда я подозревал, что мог бы сделать это лучше и быстрее вручную. Агент загружает весь прогресс, а затем дает вам рычаг игрового автомата, чтобы потянуть, чтобы надеяться, что он сделает пол. Он никогда не попадает туда.

И в предыдущем случае «вы используете это неправильно». Я пробовал все разные модели, разные ремни, разные подсказки. Это не так. Люди, которые говорят это, вероятно, скажут то же самое о игровых автоматах, вы видите, вы должны поставить 5 строк после того, как вы получите вишенку, не удивляясь, что вы не выигрываете!

Я не говорю, что ИИ не полезен, это явно так. Это, безусловно, лучший Google для большинства поисковых запросов. И всякий раз, когда вам нужен быстрый прототип и вы не заботитесь о полировке, это абсурдно быстро. Но является ли это инженером-программистом? Не близко к бару в любой компании, в которой я работал. Ключевым аспектом является знание того, когда использовать его, а когда нет.

Я больше думал о том, что самодостаточность сохранения. AFL обнаружила больше ошибок, чем LLM, и никто не чувствовал этого. Шахматы и Го более популярны, чем когда-либо. Я не могу дождаться, пока у меня не появятся армии роботов-партнеров, associatesкоторым я могу доверять, чтобы очистить мой код! Я не боюсь потери статуса, я почти думаю, что это какой-то психопат для продажи агентов. Страх потерь - один из единственных способов заставить крупные компании двигаться. Хотя я думаю, что в этом страхе они совершают большую ошибку.

Агенты в конечном итоге причинят вред крупным организациям больше, чем высокоэффективным людям или небольшим организациям. Я наблюдал, как мои друзья и коллеги приняли эти инструменты за последние 6 месяцев. Черта, которую вы находите у всех высокоэффективных людей, - это способность исправлять ошибки, и они в основном хорошо видели, когда помойка является слабым. Требуется немного, чтобы исследовать / эксплуатировать и настраивать внешние петли вокруг того, когда их использовать, когда доверять им, как их использовать и т. Д. ... но я не видел, чтобы кто-то из них перешел к модели, где они не внимательно читают и не понимают каждую строку, за исключением некоторых ограниченных доменов.

Сравните это с крупной организацией. Гораздо более медленные петли обратной связи, а тем более выравнивание. Нижние исполнители не будут иметь такой самопроверки. Это те, которые производят 10x выход с агентами. Как вы думаете, что происходит со средним показателем этой организации? Что происходит со средним уровнем производства в мире?

Агенты в конечном итоге будут производить больше кода, больше приложений и больше функций, чем когда-либо прежде. Это золотая эра для ведер и ведер для помоев, и темный век для драгоценных камней качества.

Я слышал, что Apple навязывает ИИ всем своим инженерам. Когда люди думают абстрактно, они думают, что ИИ будет делать все это, но давайте сосредоточимся на конкретном примере. Как вы думаете, будет ли macOS становиться лучше или хуже в ближайшие 2 года?

Когда люди видят артефакт, они делают предположения о процессе, который использовался для его создания. Даже не думая об этом, они предполагают, что у создателя было в основном человеческое состояние ума. Это предположение больше не является правдой. Вещи могут быть сломаны способами, которые ранее были невозможны, а старые прокси базового качества, такие как синтаксис и грамматика, бесполезны. Артефакты, произведенные ИИ, производятся не тем же процессом, что и человеческие, и эта разница, хотя и чрезвычайно тонкая в статистике, делает себя очевидной, когда вы пытаетесь взаимодействовать и опираться на артефакт по-человечески.

Не полностью поддерживая все их идеи, я сейчас в лагере LeCun/Marcus на LLM. Я не думаю, что такие модели когда-либо смогут программировать, я думаю, что процесс имеет значение. Я думаю, что глубокое обучение по-прежнему является решением, но реальным агентам по программированию понадобятся мировые модели, а не какое-то дерьмо RLVR, которое комментирует неудачный тест и говорит вам, что все тесты сейчас проходят.

Реальная история этой эпохи будет заключаться в том, кто сумеет избежать причинения вреда себе в своем ИИ-психозе.

Телеграм: t.me/ainewsline

Источник: geohot.github.io

Комментарии: