Наукова стаття, створена ШІ, вперше пройшла рецензування

Японський стартап Sakana, який займається розробками штучного інтелекту, заявив про рецензування першої наукової статті, сгенерованої ШІ.

Однак заяву представників компанії необхідно сприймати з багатьма обмовками. Наразі чимала кількість дослідників вважають, що штучний інтелект не готовий працювати на рівні з науковцями у створенні дослідницьких матеріалів. Інші дотримуються думки, що у ШІ є відповідний потенціал та наразі ця сфера діяльності з боку штучного інтелекту перебуває на початковому рівні.

Розробники зі стартапу Sakana відносять себе до другого типу. У компанії заявили, що використали модель ШІ The AI ​​Scientist-v2 для створення наукового матеріалу, який потім представили на семінарі ICLR у рамках авторитетної конференції з питань штучного інтелекту.

Представники Sakana стверджують, що організатори семінару та керівництво конференції ICLR погодились працювати з ними у рамках проведення експерименту з подвійного сліпого огляду рукописів, створених за допомогою ШІ. 

У компанії запевняють, що співпрацювали з дослідниками з Університету Британської Колумбії та Оксфорду над тим, щоб представити три згенеровані ШІ документи на вищезгаданий семінар для рецензування. Модель AI ​​Scientist-v2 повністю сгенерувала всі три наукові публікації, включно із науковими гіпотезами, експериментами, експериментальним кодом, аналізом даних, візуальним відображенням, текстом та заголовками.

Один з цих трьох наукових матеріалів, а саме, стаття із критичним розглядом методів навчання моделей ШІ, була допущена до розгляду на семінарі. У Sakana заявили, що негайно відкликали матеріал до його публікації в інтересах прозорості та поваги до конвенцій ICLR.

Однак у цій історії, яка здається дуже багатообіцяючою на перший погляд, існує велика кількість важливих нюансів. У Sakana визнали, що час від часу модель AI ​​Scientist-v2 припускалась помилок під час посилань на інші супутні наукові матеріали. Наприклад, вона помилково приписала аналізований метод матеріалу від 2016 року замість оригінальної наукової статті від 1997 року. 

Матеріал, сгенерований AI ​​Scientist-v2, також не проходив настільки ж ретельну перевірку, як деякі інші рецензовані публікації. Оскільки компанія відкликала її після початкової рецензії, стаття не отримала додаткового «мета-рецензування», під час якого організатори семінару могли б теоретично відхилити її. 

При цьому відсоток схвалення для конференц-семінарів, як правило, вищий за відсоток схвалення для основного заходу у рамках конференції, про що також згадують у своєму повідомленні представники Sakana. У компанії визнали, що не одна з наукових статей, сгенерованих ШІ, не пройшла внутрішнє рецензування для публікації у рамках основного заходу конференції.

Технічні недоліки штучного інтелекту, серед яких схильність фантазувати, змушують багатьох науковців уникати схвалення цього інструменту для серйозної наукової роботи.

У Sakana не стверджують, що їхня модель ШІ здатна створювати новаторські або принципово нові наукові роботи. Швидше, метою експерименту було вивчити якість досліджень авторства ШІ і наголосити на нагальній необхідності прийняття норм, які стосуватимуться наукових публікацій, створених штучним інтелектом. 

Джерело: TechCrunch