Исследователи доказали, что ИИ Google Gemini 1.5 плохо справляется с обработкой больших данных

Это платформа из нескольких моделей ИИ с разными возможностями и оптимизацией под разные устройства и задачи.

Модель Gemini 1.5 Pro должна быть самой продвинутой и умной, поскольку ориентирована на работу с большими объемами данных.

В частности, эта модель ИИ может анализировать большие тексты в сотни страниц, и даже анализировать видео.

Но в реальности все оказалось не так хорошо, как обещали.

Два независимых исследования, проведенные представителями из Массачусетского и Калифорнийского университетов, показали серьезные проблемы с пониманием больших объемом данных и выдачей правильных ответов современными ИИ.

В ходе одного из экспериментов по работе с большими литературными произведениями ИИ выдавал правильный ответ в 40-50%.

К примеру, после обработки одной книги из 260 тысяч слов (520 страниц) Gemini 1.5 Pro правильно отвечал на верные/ложные утверждения в 46,7% случаев, а более простая модель Gemini Flash 1.5 давала правильный ответ только в 20% случаев.

ИИ сложнее всего дается проверка утверждений, требующих рассмотрения большой части произведения или даже всей книги.

То есть именно с пониманием больших данных и контекста в этом массиве данных ИИ испытывает серьезные проблемы.

В ходе другого эксперимента проверяли возможность понимания видеороликов (серии слайдов), предлагая ИИ идентифицировать и отвечать на вопросы относительно объектов, которые фигурировали на отдельных кадрах.

Тут результаты оказались лучше, хотя ИИ Gemini Flash оказался верен в 50%.

Один из участников исследования отметил, что ни одна модель ИИ не способна показать человеческие показатели.

При результативности человека в 97% лучшая модель GPT-4o давала верные ответы в 55,8% случаях.

В тестировании использовалась не самая последняя версия Gemini, но вряд ли это сильно повлияло на результаты.

Также немного падает интерес к генеративному ИИ в сфере бизнеса.

Были очень высокие ожидания относительно новых технологий и того, что они могут заменить людей во многих сферах.

Но последний опрос консалтинговой компании Boston Consulting Group показал, что более половины руководителей высшего звена не ждут от ИИ прорыва и повышения производительности, зато их беспокоит вероятность ошибок и неточных данных.