Российские инженеры наделили собаку-робота интеллектом посредством Большой языковой модели (LLM). Технология LLMDog открывает безграничные возможности для взаимодействия сервисных роботов с человеком
Исследователи из Лаборатории интеллектуальной космической робототехники (Центр системного проектирования Сколтеха) и Наносемантики обучили на основе больших данных языковую модель, чтобы робо-пёс распознавал объекты и генерировал ответы на вопросы пользователя.
Человек задаёт вопрос робо-псу. В это время большая мультимодальная модель (нейросеть с несколькими миллиардами весов) анализирует запрос и информацию об окружении, полученную с камер, и озвучивает ответ через динамики.
Один из создателей системы – магистрант из Лаборатории интеллектуальной космической робототехники Артем Лыков: «Мы активно работаем над разработкой ИИ-робота, который основан на мульти-модальной модели, способной выполнять задания, учитывая контекст окружающей среды. На данный момент мы успешно реализовали модуль анализа окружающей среды с помощью камер и протестировали его на платформе четвероногого робота. Это даёт системе возможность отвечать на вопросы о том, что находится поблизости, и общаться с людьми в удобном им формате - на естественном языке».
«Впереди много работы, ведётся разработка модуля динамического построения поведения робота для выполнения задач в условиях изменяющейся среды. Другими словами, на следующем этапе робот будет не только отвечать на вопросы, но и выполнять команды».
“На основе исследований, которые мы делаем в Лаборатории, я предложил концепцию Большого Искусственного Интеллекта – Large Artificial Intelligence (LAI). Он будет предназначен для управления большими группами гетерогенных роботов (роями роботов, в которые могут входить, например, роботы собаки, дроны, мобильные, коллаборативные, человекоподобные, и другие типы роботов), и работать на основе больших мультимодальных языковых моделях, которые будут анализировать не только текст и видимые изображения, но и мультиспектральные изображения, тактильные, обонятельные, и вкусовые данные. Обучаться Большой Интеллект будет на больших датасетах для роботов, -” говорит руководитель Лаборатории, профессор Дмитрий Тетерюков. ”Лаборатория благодарит компанию Наносемантика, и ее Руководителя Станислава Ашманова за огромную помощь в реализации проекта. Компания бесплатно предоставила роботов собак Unitree, а также ресурсы своего сервера на высокопроизводительных графических процессорах NVIDIA Tesla V100".
На видео робот-собака рассказала в какие игры можно играть с распознанным спортивным инвентарем и даже пообщалась с изображением Илона Маска.