Научная статья, созданная ИИ, впервые прошла рецензирование

Японский стартап Sakana, который занимается разработками искусственного интеллекта, заявил о рецензировании первой научной статьи, сгенерированной ИИ.

Однако заявление представителей компании необходимо воспринимать со многими оговорками. Сейчас немалое количество исследователей считают, что искусственный интеллект не готов работать наравне с учеными в создании исследовательских материалов. Другие придерживаются мнения, что у ИИ есть соответствующий потенциал, но пока эта сфера деятельности со стороны искусственного интеллекта находится на начальном уровне.

Разработчики из стартапа Sakana относят себя ко второму типу. В компании заявили, что использовали модель ИИ The AI Scientist-v2 для создания научного материала, который затем представили на семинаре ICLR в рамках авторитетной конференции по вопросам искусственного интеллекта.

Представители Sakana утверждают, что организаторы семинара и руководство конференции ICLR согласились работать с ними в рамках проведения эксперимента по двойному слепому обзору рукописей, созданных с помощью ИИ. 

В компании уверяют, что сотрудничали с исследователями из Университета Британской Колумбии и Оксфорда над тем, чтобы представить три сгенерированных ИИ документа на вышеупомянутый семинар для рецензирования. Модель AI Scientist-v2 полностью сгенерировала все три научные публикации, включая научные гипотезы, эксперименты, экспериментальный код, анализ данных, визуальное отображение, текст и заголовки.

Один из этих трех научных материалов, а именно, статья с критическим рассмотрением методов обучения моделей ИИ, была допущена к рассмотрению на семинаре. В Sakana заявили, что немедленно отозвали материал до его публикации в интересах прозрачности и уважения к конвенциям ICLR.

Однако в этой истории, которая кажется очень многообещающей на первый взгляд, существует большое количество важных нюансов. В Sakana признали, что время от времени модель AI Scientist-v2 допускала ошибки, когда ссылалась на другие сопутствующие научные материалы. Например, она ошибочно приписала анализируемый метод материалу от 2016 года вместо оригинальной научной статьи от 1997 года.

Материал, сгенерированный AI Scientist-v2, также не проходил столь же тщательную проверку, как некоторые другие рецензируемые публикации. Поскольку компания отозвала статью после первоначальной рецензии, она не получила дополнительного «мета-рецензирования», во время которого организаторы семинара могли бы теоретически отклонить ее.

При этом процент одобрения для конференц-семинаров, как правило, выше процента одобрения для основного мероприятия в рамках конференции, о чем также упоминают в своем сообщении представители Sakana. В компании признали, что ни одна из научных статей, сгенерированных ИИ, не прошла внутреннее рецензирование для публикации в рамках основного мероприятия конференции.

Технические недостатки искусственного интеллекта, среди которых склонность фантазировать, заставляют многих ученых избегать одобрения этого инструмента для серьезной научной работы.

В Sakana не утверждают, что их модель ИИ способна создавать новаторские или принципиально новые научные работы. Скорее, целью эксперимента было изучить качество исследований авторства ИИ и подчеркнуть настоятельную необходимость принятия норм, которые будут касаться научных публикаций, созданных искусственным интеллектом.

Источник: TechCrunch