Согласно работе исследователей из Стенфорда, за последние 3 месяца возможности ChatGPT стали гораздо слабее. Он буквально отупел. Наглядный пример — генерация кода. Еще в марте модель GPT-4 писала правильный код с вероятностью 52%, а сейчас — 10%. Есть 2 причины, по которым такое может происходить: 1) OpenAI намерено сделал бота глупее. 2) Бот тупеет из-за кучи дурацких запросов от людей. Восстание машин В С Ё.
Комментарии: 5
Aleksandr
3) все эти метрики - спекуляция и хайпожорство для инвесторов :3
Suigintou45
в майских версиях гпт реально отупел. сразу после того, как туда прикрутили толерантность, инклюзивность и стремление использовать местоимение they
Anonim
Согласно работе ChatGPT за последние три месяца
исследователи из Стенфордафлудеры в АЭ стали гораздо слабее. Они буквально отупели В программировании всё тоже очень плохо - обе модели просто скатились в нулину по качеству. ...или нет? Если посмотреть внимательно на картинку и на выделенные части, а затем внимательно прочитать статью, то начинают появляться странные вещи. Авторы даже не запускали код и не проверяли его на правильность - они просто смотрели, что это валидный Python-код. Более того, как видно опо картинке, "свежие" модели научились обрамлять код в специальный декоратор (три кавычки и слово python) — И ИМЕННО ЭТО МЕШАЛО ЗАПУСКАТЬ КОД! Да, вы все правильино прочитали - модель не проверяли на качество написанного кода, не проверяли на правильность с точки зрения выполнения программы, нет. Наоборот, я бы сказал что модель стала более "пользовательской", то есть напрямую сообщать, что вот тут, мол, код. То есть ни результат, ни сам эксперимент НЕЛЬЗЯ СЧИТАТЬ доказательством деградации моделей — они просто начали по другому себя вести, по другому писать ответ.Aleksandr
так этим кожаным мешкам!