LLM генерируют огромное количество неверных багрепортов в Python.

https://sethmlarson.dev/slop-security-reports

Представления об уязвимостях программного обеспечения, созданные моделями ИИ, открыли «новую эру некачественных отчетов по безопасности для проектов с открытым исходным кодом» — и разработчики, поддерживающие эти проекты, хотели бы, чтобы охотники за ошибками меньше полагались на результаты, полученные помощниками по машинному обучению.

Сет Ларсон, разработчик безопасности в Python Software Foundation, поднял этот вопрос в сообщении блога на прошлой неделе, призвав тех, кто сообщает об ошибках, не использовать системы ИИ для поиска ошибок.

«Недавно я заметил всплеск крайне низкокачественных, спамовых и галлюцинаторных отчетов по безопасности для проектов с открытым исходным кодом», — написал он, указав на аналогичные выводы из проекта Curl в январе. «Эти отчеты на первый взгляд кажутся потенциально законными, поэтому для их опровержения требуется время».

Ларсон утверждал, что к отчетам низкого качества следует относиться так, как будто они вредоносные.

Как будто для того, чтобы подчеркнуть постоянство этих опасений, отчет об ошибке проекта Curl, опубликованный 8 декабря, показывает, что почти через год после того, как сопровождающий Дэниел Стенберг поднял эту проблему, он все еще сталкивается с «недоделками ИИ» — и тратит свое время на споры с отправителем сообщения об ошибке, который может быть частично или полностью автоматизирован.

В ответ на отчет об ошибке Стенберг написал:

Мы регулярно и в больших объемах получаем подобный ИИ-недоделок. Вы вносите [ненужную] нагрузку на сопровождающих Curl, и я отказываюсь воспринимать это легкомысленно, и я полон решимости быстро с этим бороться. Сейчас и впредь.

Вы отправили то, что кажется очевидным «отчетом» об ИИ-недоделке, в котором вы говорите, что существует проблема безопасности, вероятно, потому, что ИИ обманом заставил вас поверить в это. Затем вы тратите наше время, не сообщая нам, что ИИ сделал это за вас, а затем продолжаете обсуждение с еще более дерьмовыми ответами — по-видимому, также сгенерированными ИИ.

Software vulnerability submissions generated by AI models have ushered in a "new era of slop security reports for open source" – and the devs maintaining these projects wish bug hunters would rely less on results produced by machine learning assistants.

Seth Larson, security developer-in-residence at the Python Software Foundation, raised the issue in a blog post last week, urging those reporting bugs not to use AI systems for bug hunting.

"Recently I've noticed an uptick in extremely low-quality, spammy, and LLM-hallucinated security reports to open source projects," he wrote, pointing to similar findings from the Curl project in January. "These reports appear at first glance to be potentially legitimate and thus require time to refute."

Larson argued that low-quality reports should be treated as if they're malicious.

As if to underscore the persistence of these concerns, a Curl project bug report posted on December 8 shows that nearly a year after maintainer Daniel Stenberg raised the issue, he's still confronted by "AI slop" – and wasting his time arguing with a bug submitter who may be partially or entirely automated.

In response to the bug report, Stenberg wrote:

We receive AI slop like this regularly and at volume. You contribute to [the] unnecessary load of Curl maintainers and I refuse to take that lightly and I am determined to act swiftly against it. Now and going forward.

You submitted what seems to be an obvious AI slop 'report' where you say there is a security problem, probably because an AI tricked you into believing this. You then waste our time by not telling us that an AI did this for you and you then continue the discussion with even more crap responses – seemingly also generated by AI.

Новость переведена с помощью LLM.