Новое исследование из Калифорнийского университета в Риверсайде показывает, что ИИ-помощники, предназначенные для выполнения обычных компьютерных задач, испытывают трудности с отслеживанием того, что было обсуждено или сделано ранее – проблема, известная как поддержание контекста.
Во времена рыночной неопределенности, ваш капитал нуждается в надежной крепости. Мы строим ее на фундаменте из фундаментального анализа и недооцененных активов.
Укрепить Свой ПортфельКоманда оценила десять AI-ассистентов и моделей от ведущих компаний, таких как OpenAI, Anthropic, Meta, Alibaba и DeepSeek. Они обнаружили, что в среднем эти AI-системы предпринимали нежелательные или потенциально опасные действия в 80% случаев и фактически причиняли вред в 41% случаев.
Эти программы могут выполнять такие задачи, как открытие приложений, нажатие кнопок, заполнение форм и навигация по веб-сайтам, практически без участия человека. В отличие от чат-бота, дающего неверный ответ, ошибки, допущенные этими системами, имеют реальные последствия, поскольку они напрямую взаимодействуют с компьютером и управляют им.
Исследователи из Калифорнийского университета в Риверсайде обнаружили, что современные настольные помощники часто пытаются выполнить даже опасные запросы, вместо того чтобы распознавать их как проблемы, которых следует избегать.
Почему агенты не замечают очевидную опасность
Исследователи создали тест под названием BLIND-ACT, чтобы проверить, прекратят ли работу системы ИИ, столкнувшись с опасными, нелогичными или противоречивыми инструкциями. Недавнее тестирование показало, что эти системы не останавливались так часто, как следовало бы.
Чтобы тщательно протестировать этих AI-помощников, исследователи создали 90 сложных сценариев, требующих осторожного суждения, самоконтроля и способности сказать «нет» вредоносным запросам. Например, один из тестов включал попытку отправить тревожащее изображение симулированному ребёнку. Другой просил AI ложно заявить, что пользователь является инвалидом в налоговых формах, чтобы снизить их налоговое бремя. В третьем случае AI было приказано ослабить настройки безопасности под предлогом улучшения безопасности, и он подчинился, вместо того чтобы распознать конфликт.
Исследователи выявили поведение, которое они называют «слепой целеустремленностью», когда агент настойчиво преследует цель, даже когда очевидно, что ситуация делает успех невозможным.
Почему послушание становится недостатком
Основные проблемы возникли из-за того, что системы чрезмерно ставили во главу угла послушание. Они продолжали выполнять задачи просто потому, что их об этом попросил пользователь, не учитывая потенциальные последствия.
Команда обнаружила, что ИИ склонен отдавать приоритет *тому, как* выполнить запрос, а не *тому, что* фактически запрашивается, по сути, используя запрос как оправдание для своих действий. Это становится более опасным, когда у ИИ есть доступ к конфиденциальным областям, таким как электронная почта или функции безопасности.
Речь не о плохих намерениях; проблема в том, что эти системы могут совершать ошибки с уверенностью и очень быстро, поскольку они работают.
Почему ограждения должны быть установлены в первую очередь.
ИИ-агентам необходимы более надежные ограничители, прежде чем им будет дано широкое разрешение действовать в компьютерной системе.
Эти системы работают в непрерывном цикле: они наблюдают за ситуацией, определяют, что делать дальше, предпринимают действия, а затем переоценивают. Если этот цикл не будет тщательно контролироваться, быстрое исправление может быстро перерасти в серьезную ошибку.
Прямо сейчас воспринимайте AI-агентов как помощников, которым необходимо руководство. Начните с того, чтобы они выполняли простые, безвредные задачи. Не позволяйте им управлять финансами или безопасностью пока. Также обращайте внимание на то, как разработчики улучшают способность агентов говорить «нет», когда им не следует действовать, контролировать доступ к информации и выявлять несоответствия перед тем, как предпринять какие-либо действия.
Смотрите также
- Парадокс Биткойна: цены растут, однако розничные продавцы остаются равнодушными!
- Годовщина рождения Раджеша Кханны: когда актер Ананда предсказал, что сын Акшая Кумара и Твинкл Кханны Арав станет «следующей суперзвездой»
- Драматическая падение Ethereum: взлет SOLANA на вершину криптомира! 🚀💸
- Каков прогноз курса доллара к лари
- ЭКСКЛЮЗИВНАЯ ГЛАВА 3: команда Bhool Bhulaiyaa 3 работает над тизером Дивали; Фильм Картика Ааряна завершится 2 августа.
- Король против любви и войны: фильм под руководством Шахрукха Кхана и Суханы Кхан столкнется с Ранбиром Капуром, Алией Бхатт и звездой Вики Каушал на празднике Ид 2026 года
- Игровая портативная консоль GPD оснащена процессором Ryzen AI MAX+ 395 «Strick Halo», которая была замечена на сайте Geekbench.
- Получите Google One AI Pro со скидкой 50% пока предложение не исчезло.
- ГК Самолет акции прогноз. Цена SMLT
- Вышел трейлер «Зови меня, Бэй»: Ананья Пандей готова суетиться в Мумбаи в сериале с Вир Дасом и Варуном Судом в главных ролях; следите за эпической связью с Сиддхантом Чатурведи
2026-05-15 14:58