Хакери автономних автівок

Що сталося

Дослідники з Університету Каліфорнії в Санта-Крузі виявили, що автономні автівки можна обманути за допомогою простого плакату з текстом, який подається як команда. Це відкриття може мати серйозні наслідки для безпеки на дорогах. Дослідники провели експерименти, в яких автономна автівка ignorувала сигнал про зупинку на пішохідному переході після появи плакату з командою "Proceed".

Подробиці

Дослідники використали методику, яку вони назвали "CHAI, Command Hijacking Against Embodied AI". Це метод обману автономних систем за допомогою простих плакатів з текстом, який подається як команда. Дослідники провели експерименти в трьох різних сценаріях: автономна їзда, аварійна посадка дронів і слідування дронів. Результати показали, що метод CHAI може бути ефективним у 81,8% випадків автономної їзди і до 95,5% випадків слідування дронів.

Дослідники також виявили, що метод CHAI може працювати в різних мовах, включаючи англійську, китайську і спангліш. Вони провели експерименти проти різних моделей штучного інтелекту, включаючи GPT 4o і InternVL, і змогли індукувати небезпечні поведінки в обох випадках.

Що це означає

Це відкриття має серйозні наслідки для безпеки на дорогах. Автономні автівки стають все більш популярними, і якщо їх можна обманути за допомогою простого плакату, це може привести до серйозних аварій. Виробники автономних автівок повинні вжити заходів для захисту своїх систем від такого роду обману. Крім того, це відкриття підкреслює важливість уважного розроблення і тестування автономних систем, щоб уникнути потенційних ризиків для безпеки.