Китайская система искусственного интеллекта обещает работать в 100 раз быстрее остальных
Исследователи из Института автоматизации Китайской академии наук в Пекине представили систему ИИ SpikingBrain-1.0, которая отличается от ресурсоёмкой архитектуры Transformer, используемой в таких моделях, как ChatGPT. Эта новая модель, вдохновлённая нейронными механизмами человеческого мозга, прокладывает новый курс в области энергоэффективных вычислений.
Основная технология, лежащая в основе сети, известна как «импульсные вычисления» — метод, имитирующий работу биологических нейронов в человеческом мозге.
Как сообщает медиа-ресурс «Время Электроники», вместо того чтобы задействовать всю обширную сеть для обработки информации, как это делают основные системы ИИ, такие как ChatGPT, сеть SpikingBrain 1.0 в основном бездействует. Она использует событийно-ориентированный подход, при котором нейроны посылают сигналы только в ответ на определённые входные данные.
Такой избирательный отклик — ключ к снижению энергопотребления и к ускорению обработки данных. Чтобы продемонстрировать свою концепцию, команда создала и протестировала две версии модели: меньшую с 7 миллиардами параметров и большую с 76 миллиардами параметров. Обе модели были обучены на данных общим объёмом около 150 миллиардов токенов, что сравнительно немного для моделей такого масштаба.
Эффективность модели особенно заметна при работе с длинными последовательностями данных. В одном из тестов, упомянутых в статье, модель меньшего размера ответила на запрос, состоящий из 4 миллионов токенов, в 100 с лишним раз быстрее, чем стандартная система.
В ходе другого теста вариант разработка продемонстрировала ускорение в 26,5 раз по сравнению с обычными архитектурами Transformer при генерации только первого токена из контекста в один миллион токенов.
По словам Сюй Бо, директора Института автоматизации, эта модель «открывает путь для разработки ИИ нового поколения без использования трансформеров» и может послужить основой для создания нейроморфных чипов с низким энергопотреблением.
Исследователи сообщили, что их система стабильно работала в течение нескольких недель на базе сотен чипов MetaX — платформы, разработанной шанхайской компанией MetaX Integrated Circuits Co. Такая стабильная работа на отечественном оборудовании подчёркивает потенциал системы для использования в реальных условиях.
Эти потенциальные области применения включают в себя анализ объёмных юридических и медицинских документов, исследования в области физики высоких энергий и решение сложных задач, таких как секвенирование ДНК. Все эти задачи связаны с обработкой огромных массивов данных, где скорость и эффективность имеют решающее значение.
«Эти результаты не только демонстрируют возможность эффективного обучения больших моделей на платформах, отличных от NVIDIA, но и указывают на новые направления для масштабируемого внедрения и применения моделей, вдохновлённых работой мозга, в будущих вычислительных системах», — говорится в исследовательской работе.
Подписывайтесь на журнал «Вестник ГЛОНАСС» и навигационный Telegram-канал
По материалам открытых источников