🤔 Baidu ERNIE 5.0 здесь — насколько он хорош на самом деле? Широко читаемый обзор от автора Zhihu toyama nao предлагает четкие разбивки. Baidu отставал от OpenAI на 3-6 месяцев с релизами, соответствующими версиям. После GPT-5 ERNIE 5.0 пришел как раз вовремя — и, в отличие от спешного 4.5, он наконец выглядит как солидная модель первого уровня. Производительность увеличилась на ~80% по сравнению с X1.1, примерно соответствует MiniMax M2. Данные для обучения, похоже, были переработаны: результаты стали гораздо чище и более связными (Рис. 1). 👇 Вот сжатое сравнение: ✅ Где ERNIE 5.0 стал лучше • Следование инструкциям: Высокие оценки и даже достижения на уровне топа — но с странными низкими сбоями (например, непоследовательные форматы дат в разных проходах). • Основные вычисления: Надежен для математики уровня K12; более стабильный, чем X1.1, хотя все еще слабее, чем M2 в сложных задачах. • Гораздо более чистый вывод: X1.1 страдал от шумных очищенных данных и неуклюжих переводов. ERNIE 5.0 в значительной степени исправляет это: более четкие цепочки мыслей, более чистые окончательные ответы, лучшая читаемость. 🙋 Где он все еще испытывает трудности • Высокий уровень галлюцинаций: Слишком много уверенных, но неверных ответов на восстановление математических символов, перемешивание символов и задачи с длинным контекстом — ближе к производительности второго уровня. • Низкая проницательность: Не удается выявить скрытые паттерны (#46 паттерн букв, #32 календарное рассуждение), часто использует грубую силу вместо абстракции. • Периодические бесконечные циклы: Редкие (<3%), но удивительные, учитывая, что они исчезли в недавних отечественных моделях. • Слабая способность к многократным взаимодействиям: Часто забывает правила или предыдущие ходы до 7-го раунда; циклы срабатывают легче. 💬 Вердикт Эра триллионных параметров в Китае едва ли существует 3 месяца, а Baidu уже перешел на модель 2T. Тем не менее, по сравнению с Kimi K2 Thinking, ERNIE 5.0 кажется немного "пухлым" — большим, способным, но не полностью использующим свой вес. Тем не менее, это может быть долгожданный сигнал о возвращении @Baidu_Inc — напоминание о том, что Baidu намерен оставаться в гонке LLM. 📖 Полная оценка: 🔗 Бенчмарк: #ERNIE5 #Baidu #AI #LLM #ChinaAI