Meta yaqinda o‘zining yangi Llama 4 Maverick sun’iy intellekt modeli bilan LM Arena reytingida yuqori natijaga erishgandi. Biroq keyinchalik ma’lum bo‘lishicha, bu ball eksperimental – ya’ni hali ommaga taqdim etilmagan, maxsus optimallashtirilgan versiya yordamida olingan.
LM Arena bu holat yuzasidan rasmiy uzr so‘radi va siyosatini o‘zgartirdi. Endi ular faqat “oddiy”, ya’ni o‘zgartirilmagan modellarga baho bermoqda. Natijada, vanilla Llama-4-Maverick raqobatchilaridan ancha orqada qoldi.
U GPT-4o (OpenAI), Claude 3.5 Sonnet (Anthropic) va Gemini 1.5 Pro (Google) kabi modellardan past o‘rinni egallagan. Bu esa Meta’ning chat uchun maxsus sozlangan eksperimental modeldan foydalanib, reytingni oshirishga urinishi tanqidga sabab bo‘ldi.
Meta esa o‘z bayonotida shunday deydi:
- “Biz har xil variantlarni sinovdan o‘tkazamiz. Endi ochiq manbali versiyani taqdim etdik. Ishlab chiquvchilarning qanday yechimlar yaratishini kuzatamiz.”
Eslatma: LM Arena ko‘p hollarda foydalanuvchi xohishlariga asoslangan ballar orqali AI’ni baholaydi. Bu esa har doim ham modelning real hayotdagi samaradorligini to‘liq ko‘rsatmaydi.
