Соглашение о сотрудничестве между Институтом Вейцмана и корпорацией Intel открывает новые горизонты в области искусственного интеллекта (ИИ). Новые алгоритмы, представленные на международной конференции по машинному обучению (ICML) в Ванкувере, позволяют моделям ИИ различных компаний взаимодействовать между собой, объединяя усилия и ускоряя вычисления.
Каждая модель ИИ использует уникальный набор символов, который понятен только ей. До недавнего времени не существовало программного обеспечения, способного переводить эти символы, что ограничивало возможности совместной работы. Новые алгоритмы, разработанные командой ученых, позволяют объединить вычислительные мощности различных моделей, что в среднем ускоряет их работу на 50%.
Крупные языковые модели, такие как ChatGPT или Gemini, являются мощными инструментами, но они медленные и ресурсоемкие. В 2022 году технологические гиганты осознали, что модели ИИ могут выиграть от совместной работы и распределения задач. Так появилась методика оптимизации, называемая спекулятивным декодированием. В этой системе сначала маленькая и быстрая модель предлагает ответ, а затем крупная и медленная модель проверяет и корректирует его.
Спекулятивное декодирование быстро было принято крупными технологическими компаниями благодаря своему значительному преимуществу: сохранение 100% качества результатов при ускорении вычислений. Однако до сих пор эта методика работала только для моделей, говорящих на одном и том же цифровом языке, что ограничивало ее применение.
«Крупные компании приняли спекулятивное декодирование и экономят миллиарды долларов в год на вычислительных затратах, в то время как другие не могли воспользоваться этой методикой из-за отсутствия доступа к маленьким и быстрым моделям, говорящим на том же языке, что и крупные модели», — объясняет Надав Тимор, докторант в группе исследований профессора Давида Харела в Институте Вейцмана, который возглавил разработку новых алгоритмов.
Теперь, благодаря сотрудничеству между Институтом Вейцмана и Intel, новые алгоритмы доступны миллионам разработчиков по всему миру, что открывает новые возможности для ускорения и оптимизации работы моделей ИИ.
—
📰 Источник: hayadan.org.il
Адаптировано и переведено с оригинала
