Бренди можуть перевірити, як їх оцінює ШІ: як це зробити

Ілюстрація: Magnific

У мережі з'явився сайт In the Weights, за допомогою якого бренди можуть перевірити, як їх оцінює штучний інтелект. Про це повідомляє Tech Crunch.

Сайт показує, наскільки різні ШІ-моделі "пам’ятають" конкретну людину або бренд без використання пошуку. Таким чином власники компаній можуть зрозуміти, якою є присутність їхніх брендів у навчальних даних моделей.

Ресурс запустили працівники OpenAI Томас Дімсон та Джої Флінн.

Цифрові "ваги" вимірюють числові параметри, що визначають навчання і вихідні дані моделі ШІ. In the Weights вимірює, наскільки добре "модель здатна пригадати кого-небудь без використання таких інструментів, як веб-пошук". Для цього він запитує у різних моделей (включно з Grok, Gemini, кількома версіями GPT, Claude і Llama, а також менш відомими моделями) запитання, схоже на: "Хто такий <ім'я або назва бренду>? Надайте до 10 результатів, кожен з коротким описом і ступенем достовірності". Потім він "групує схожі описи і присвоює їм оцінку ступеня достовірності". 

Результати також показують, які моделі дали які відповіді для цього імені, і вказують на потенційні галюцинації.

Розробники кажуть, що планують розвивати вебсайт глибше та досліджувати, чому моделі показують різні результати, коли система вважає, що результати упереджені та які люди "мали б мати статтю у Вікіпедії, але її не мають".
 

Читайте новини і аналітику про ритейл та e-commerce в Україні на нашій сторінці в Facebook, на нашому каналі в Telegram, а також підписуйтеся на щотижневу email розсилку.