Вчені виявили момент, коли штучний інтелект починає справді розуміти мову
Вчені виявили момент, коли штучний інтелект починає справді розуміти мову

Вчені виявили момент, коли штучний інтелект починає справді розуміти мову

Дослідники з Гарвардського університету виявили момент, коли нейронна мережа змінює свою стратегію читання. Від простого аналізу порядку слів до розуміння їхнього значення. Це явище назвали «фазовим переходом» — різкою зміною в поведінці моделі, що нагадує перетворення води на пару, пише ScienceDaily. Як працює розуміння мови в ШІ?

На ранніх етапах навчання мережа просто запам’ятовує структуру речень — тобто де у реченні зазвичай стоїть підмет, дієслово чи об’єкт. Але щойно вона поглинає достатньо тексту, відбувається стрибок: система починає розуміти контекст і сенс. Автори порівнюють це з навчанням дитини читати: спочатку вона запам’ятовує форму слів та їх позицію в реченні, а потім раптом починає їх розуміти. Дослідники вивчали спрощену модель механізму самоуваги — ключового елементу трансформерів, що лежить в основі сучасних мовних моделей.

«Це не плавний розвиток, а різкий стрибок. Нижче певного порогу даних модель повністю покладається на позицію слів. Після — різко переходить на розуміння змісту», — пояснює Уго Куй, докторант Гарвардського університету та перший автор дослідження.

Це відкриття може мати серйозні наслідки для подальшого розвитку штучного інтелекту — від створення більш передбачуваних і безпечних моделей до ефективнішого навчання нейромереж із меншими витратами ресурсів. І воно допомагає наблизити нас до розуміння того, як саме ШІ «мислить».

Джерело матеріала
loader
loader