Слепое пятно ИИ: Машины не могут отделить истину от шума

Мы поражаемся тому, насколько умными стали новейшие модели ИИ — до тех пор, пока они уверенно не представляют нам полную чепуху. Ирония здесь не может не бросаться в глаза: по мере того как системы ИИ становятся мощнее, их способность отличать факты от вымысла не обязательно улучшается. В некоторых отношениях это становится хуже.

Резюме

• ИИ отражает наши информационные недостатки. Модели, такие как GPT-5, сталкиваются с трудностями, потому что обучающие данные загрязнены вирусным контентом, ориентированным на вовлеченность, который ставит акцент на сенсационности, а не на точности.
• Истина больше не является нулевой суммой. Многие «истины» сосуществуют, но современные платформы централизуют поток информации, создавая эхо-камеры и предвзятости, которые подпитывают как людей, так и ИИ.
• Децентрализованная атрибуция исправляет цикл. Системы, связанные с репутацией и идентичностью, работающие на основе крипто-примитивов, могут вознаграждать точность, фильтровать шум и обучать ИИ на проверяемых, надежных данных.

Учитывайте собственные выводы OpenAI: одна версия GPT-4 ( с кодовым названием “o3” ) давала галлюцинирующие ответы около 33% времени в тестах на оценку, согласно собственному документу компании. Его меньший преемник ( “o4-mini” ) ошибался почти половину времени. Новейшая модель, GPT-5, должна была это исправить и действительно утверждает, что галлюцинирует намного реже ( ~9% ). Тем не менее, многие опытные пользователи считают GPT-5 более глупым на практике — медленнее, более колеблющимся и все еще часто ошибающимся ( также свидетельствуя о том, что тесты на оценку дают лишь ограниченные результаты ).

Фрустрация технического директора Nillion, Джона Вудса, была очевидна, когда он сказал, что ChatGPT стал «незаменимым» до выпуска GPT-5, а затем «мусором». Однако реальность такова, что более продвинутые модели будут все хуже различать правду и шум. Все они, не только GPT.

Почему более продвинутый ИИ может казаться менее надежным, чем его предшественники? Одна из причин заключается в том, что эти системы хороши только настолько, насколько хороши их обучающие данные, а данные, которые мы предоставляем ИИ, изначально имеют недостатки. В настоящее время эти данные в значительной степени происходят из информационной парадигмы, где вовлеченность важнее точности, в то время как централизованные хранители усиливают шум над сигналом для максимизации прибыли. Поэтому наивно ожидать правдивого ИИ, не исправив сначала проблему с данными.

ИИ отражает наше коллективное отравление информацией

Качественные обучающие данные исчезают быстрее, чем мы их создаем. Существует рекурсивная деградационная петля: ИИ в основном обрабатывает данные из Интернета; Интернет становится все более загрязненным вводящими в заблуждение, непроверяемыми данными от ИИ; синтетические данные обучают следующее поколение моделей быть еще более disconnected от реальности.

Больше, чем плохие обучающие наборы, это о фундаментальной архитектуре того, как мы организуем и проверяем информацию в интернете. Более 65% населения мира проводит часы на платформах социальных медиа, созданных для максимизации вовлеченности. Таким образом, мы подвергаемся, в беспрецедентных масштабах, алгоритмам, которые непреднамеренно вознаграждают дезинформацию.

Ложные истории вызывают более сильные эмоциональные реакции, поэтому они распространяются быстрее, чем корректирующие утверждения. Таким образом, самый вирусный контент — то есть тот, который с наибольшей вероятностью будет использован в обучающих процессах ИИ — систематически склонен к сенсационализму, а не к точности.

Платформы также получают прибыль от внимания, а не от правды. Создатели данных получают вознаграждение за вирусность, а не за достоверность. Компании ИИ оптимизируют удовлетворенность пользователей и вовлеченность, а не фактическую точность. А «успех» чат-ботов заключается в том, чтобы удерживать пользователей в напряжении с правдоподобными ответами.

Сказав это, кризис данных/доверия ИИ на самом деле является продолжением продолжающегося отравления нашего коллективного человеческого сознания. Мы кормим ИИ тем, что сами потребляем. Системы ИИ не могут отличить правду от шума, потому что мы сами не можем.

В конце концов, истина — это консенсус. Тот, кто контролирует поток информации, также контролирует нарративы, которые мы коллективно воспринимаем как «истину», после того как они были повторены достаточно раз. А сейчас ряд крупных корпораций держит бразды правления истиной, а не мы как индивидуумы. Это может измениться. Это должно.

Появление правдивого ИИ является игрой с положительной суммой

Как мы это исправим? Как мы можем переориентировать нашу информационную экосистему — а значит, и ИИ — на правду? Это начинается с переосмысления того, как правда создается и поддерживается изначально.

В текущей ситуации мы часто рассматриваем истину как нулевую сумму, определяемую тем, у кого самый громкий голос или высшая власть. Информация изолирована и строго контролируется; каждая платформа или институт продвигает свою собственную версию реальности. ИИ ( или человек ), застрявший в одном из этих силосов, оказывается с узким, предвзятым мировоззрением. Вот как мы получаем эхо-камеры, и вот как как люди, так и ИИ оказываются в заблуждении.

Но многие истины в жизни не являются бинарными, нулевыми предложениями. На самом деле, большинство значимых истин — это позитивные суммы — они могут сосуществовать и дополнять друг друга. Какой «лучший» ресторан в Нью-Йорке? Нет единственно правильного ответа, и в этом вся прелесть: истина зависит от вашего вкуса, вашего бюджета, вашего настроения. Моя любимая песня, будучи джазовым классиком, не делает вашу любимую поп-антему менее «истинной» для вас. Понимание одного человека не обязательно означает потерю другого. Наши перспективы могут различаться, не аннулируя друг друга.

Вот почему проверяемая атрибуция и репутационные примитивы так важны. Истина не может быть только о содержании утверждения — она должна касаться того, кто его делает, каковы их мотивы и как их прошлые достижения проявляются. Если бы каждое онлайн-утверждение имело четкую цепочку авторства и актуальный репутационный балл, мы могли бы фильтровать шум, не передавая контроль централизованным модераторам. Нечестный игрок, пытающийся распространить дезинформацию, увидел бы, как его репутация ухудшается с каждым ложным утверждением. Вдумчивый участник с долгой историей точности увидел бы, как его репутация — и влияние — растут.

Криптовалюта дает нам строительные блоки для реализации этого: децентрализованные идентификаторы, токенизированные реестры, механизмы стейкинга и структуры стимулов, которые превращают точность в экономическое благо. Представьте себе граф знаний, где каждое утверждение связано с проверяемой идентичностью, каждая точка зрения имеет репутационный балл, а каждое утверждение о правде может быть оспорено, поддержано и оценено в открытой системе. В этом мире истина не передается от одной платформы — она возникает органически из сети атрибутированных, репутационно-взвешенных голосов.

Такая система изменяет ландшафт стимулов. Вместо того чтобы создатели контента стремились к вирусности за счет точности, они стали бы ставить свои репутации — и часто реальные токены — на валидность своих вкладов. Вместо того чтобы ИИ обучался на анонимном мусоре, он обучался бы на атрибутированных данных с учетом репутации, где правда и надежность встроены в саму суть информации.

Теперь рассмотрим ИИ в этом контексте. Модель, обученная на таком графе, учитывающем репутацию, будет получать гораздо более чистый сигнал. Она не просто будет повторять самый вирусный аргумент; она научится учитывать атрибуцию и надежность. Со временем сами агенты смогут участвовать в этой системе — ставя на свои результаты, создавая свои собственные репутации и конкурируя не только в красноречии, но и в надежности.

Вот как мы разрываем цикл отравленной информации и создаем ИИ, который отражает позитивную, децентрализованную концепцию истины. Без проверяемой атрибуции и децентрализованной репутации мы всегда будем зависеть от «истины», передаваемой централизованным платформам, и всегда будем уязвимы для манипуляций.

С ними мы наконец можем перейти от нулевой суммы власти к системе, в которой истина возникает динамически, устойчиво и, что наиболее важно, вместе.

! Билли Людтке

Билли Людтке

Билли Людтке строит на переднем крае блокчейна с момента появления Bitcoin в 2012 году и Ethereum в 2014 году. Он помог запустить практику консультирования по блокчейну в EY и провел более пяти лет в ConsenSys, формируя экосистему Ethereum через роли в НИОКР, отношениях с разработчиками, токенной инженерии и децентрализованной идентичности. Билли также помог стать пионером самоопределенной идентичности в качестве руководителя предприятия в uPort, сопредседателя Рабочей группы по цифровой идентичности EEA и учредительного члена Фонда децентрализованной идентичности. Сегодня он является основателем Intuition, нативной цепочки для Информационных Финансов, преобразующей идентичности, требования и репутацию в проверяемые, монетизируемые данные для следующего интернета.