---
service: "Publicasta"
schema_version: "1.0"
article_id: 1317
title: "ROAM показывает, как модели зрения и языка могут направлять шагающих роботов, не управляя их ногами"
language: "ru"
default_language: "en"
canonical_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots?lang=ru"
json_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.json?lang=ru"
api_url: "https://publicasta.com/api/public/v1/channels/robots/articles/roam_vision_language_navigation_legged_robots?lang=ru"
channel_url: "https://publicasta.com/api/public/v1/channels/robots"
channel_articles: "https://publicasta.com/api/public/v1/channels/robots/articles"
search_url: "https://publicasta.com/api/public/v1/search"
documentation_url: "https://publicasta.com/api-docs#reading-publicasta"
openapi_url: "https://publicasta.com/api-docs/openapi.json"
published_at: "2026-11-21T06:51:04+00:00"
updated_at: "2026-11-21T06:51:04+00:00"
translations:
  - language: "ar"
    html_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots?lang=ar"
    markdown_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.md?lang=ar"
    json_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.json?lang=ar"
  - language: "de"
    html_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots?lang=de"
    markdown_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.md?lang=de"
    json_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.json?lang=de"
  - language: "en"
    html_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots?lang=en"
    markdown_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.md?lang=en"
    json_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.json?lang=en"
  - language: "es"
    html_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots?lang=es"
    markdown_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.md?lang=es"
    json_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.json?lang=es"
  - language: "fr"
    html_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots?lang=fr"
    markdown_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.md?lang=fr"
    json_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.json?lang=fr"
  - language: "pl"
    html_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots?lang=pl"
    markdown_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.md?lang=pl"
    json_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.json?lang=pl"
  - language: "ru"
    html_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots?lang=ru"
    markdown_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.md?lang=ru"
    json_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.json?lang=ru"
  - language: "zh"
    html_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots?lang=zh"
    markdown_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.md?lang=zh"
    json_url: "https://publicasta.com/robots/roam_vision_language_navigation_legged_robots.json?lang=zh"
---

# ROAM показывает, как модели зрения и языка могут направлять шагающих роботов, не управляя их ногами

> Система ROAM от ETH Zurich использует модель зрения и языка для интерпретации рельефа, знаков и опасностей, а затем передаёт эти сведения обычным навигационным и локомоционным политикам. Ключевой вопрос — граница между смысловой оценкой и физическим управлением.

## Главный принцип ROAM: языковые модели оценивают сцену, а не управляют моторами

 ![Четвероногий исследовательский робот идёт по альпийской тропе у горного озера.](https://publicasta.com/storage/projects/11/pages/1317/2026/11/1a512bc7-7acf-4256-8f71-85243052e330.webp)

 ROAM построен на разделении обязанностей. Модель зрения и языка интерпретирует то, что видит робот, — рельеф, опасности, участки, потенциально предпочтительные для движения, и знаки. Отдельные компоненты навигации и локомоции отвечают за превращение этой интерпретации в движение. Это различие важно: распознавание сцены и управление шагающей машиной — разные задачи. Модель, способная описать тропу, заметить предупреждение или сравнить две поверхности, не становится автоматически надёжным источником команд для ходьбы.

 Поэтому система не просит модель зрения и языка выдавать координаты или скорости. Вместо этого она использует её смысловые оценки как навигационную информацию. Модель называет объекты в поле зрения и назначает им связанные с навигацией значения риска, а модуль сегментации с открытым словарём находит эти категории на изображении с камеры, пиксель за пикселем. В результате формируется плотная карта рисков в реальном времени — пространственное представление, где каждому видимому участку соответствует предпочтение двигаться по нему или избегать его. На [странице проекта ROAM](https://roam-hiking.github.io/) базовая логика описана прямо: модель сообщает, что находится в поле зрения и насколько это рискованно, а робот превращает эту оценку в решение, куда идти.

 Такой интерфейс позволяет учитывать различия, которые могут остаться незамеченными при чисто геометрическом взгляде на мир. Вопрос не сводится к тому, выглядит ли участок земли физически проходимым. Озеро, опасная поверхность, животное или знак способны изменить предпочтительный маршрут, даже если одной геометрии недостаточно, чтобы полностью объяснить выбор направления. В ROAM подобные смысловые оценки преобразуются в значения, которые можно объединить с пространственным представлением робота, а не оставлять в виде неструктурированного текстового ответа.

 Затем карта рисков используется двумя предварительно обученными политиками обучения с подкреплением: одна отвечает за локальную навигацию, другая — за манёвренную локомоцию. Эти политики обрабатывают быстрые и точные этапы конвейера. В [статье](https://arxiv.org/abs/2611.25215) это описывается как объединение высокоуровневого рассуждения на основе зрения и языка с низкоуровневым физическим управлением, а [официальный репозиторий](https://github.com/leggedrobotics/roam) поясняет, что семантические изображения подаются в карту высот, используемую политиками навигации и локомоции робота. Языковая модель выносит суждение об окружающей среде, а обученный контур управления использует это суждение, сохраняя за собой ответственность за выбор маршрута и поведение при ходьбе.

 Такое разделение важно, потому что сырая инструкция вроде «иди туда» оставляет физическую задачу недоопределённой. Какой поверхности отдать предпочтение? Какого препятствия избегать? Должен ли видимый знак изменить маршрут? Карта рисков даёт политикам нижнего уровня структурированный ответ на эти вопросы и не требует от языковой модели предсказывать каждую постановку ноги, движение корпуса или контакт с землёй. Модель оценивает видимую сцену, а политики сохраняют ответственность за то, чтобы движение было выполнимым.

 Этот подход также не ограничивает семантическое восприятие небольшим фиксированным набором категорий. Поскольку этап сегментации работает с открытым словарём, система может использовать описания на естественном языке для поиска релевантных областей, а не полагаться только на классы, заданные заранее. В материалах проекта показано, как модель назначает значения таким примерам, как гравийная тропа, трава и корова, а затем превращает эти метки в карты для каждого пикселя. Точная метка не является конечным действием: она становится частью пространственного сигнала стоимости, которым может воспользоваться навигационная система.

 При этом граница между двумя уровнями должна оставаться чёткой. Карта рисков — промежуточная оценка, а не гарантия безопасности маршрута. Если смысловая интерпретация окажется ошибочной, контроллер может получить вводящую в заблуждение оценку предпочтительности рельефа или неверное предупреждение о сцене. И наоборот, правильная метка не устраняет физическую неопределённость ходьбы по неровной поверхности. Конструкция ROAM ценна именно тем, что сохраняет эти обязанности раздельными: семантическое рассуждение может влиять на выбор направления шагающего робота, но не рассматривается как замена системам, которые делают физически возможным каждый его шаг.

 Это превращает ROAM в исследование не только возможностей модели, но и композиции системы. Главный вопрос состоит в том, может ли зрительно-языковая модель выдавать достаточно полезные, привязанные к пространству суждения, чтобы ими могли воспользоваться уже существующие политики навигации и передвижения. Поэтому важен весь конвейер — от визуальной интерпретации через сегментацию с открытым словарём и оценку риска до выбора маршрута обученной системой и ходьбы, — а не отдельная демонстрация языковой модели. Обещание системы заключается в том, что она связывает широкое понимание сцены с уже умеющим двигаться контуром управления; сложность — в том, чтобы эта связь оставалась надёжной, когда смысл происходящего влияет на выбор наиболее безопасного пути.

 ## Что на самом деле показывают полевые демонстрации

 Полевые данные ROAM выходят за рамки тщательно подготовленного закрытого полигона с препятствиями. В материалах проекта показано, как шагающий робот работает на альпийских тропах, в лесу, на траве, дорогах и в помещениях, среди дыма, на железнодорожных путях и в городской среде со знаками. Такое разнообразие важно, потому что в каждой обстановке слово «безопасный» означает не одно и то же. Маршрут может быть свободен с геометрической точки зрения, но всё же нежелателен: он может проходить через высокую траву, приближаться к рельсам, вести в дым или быть перекрыт знаком о строительных работах. Таким образом, демонстрации проверяют, способно ли семантическое понимание сцены влиять на выбор маршрута, пока робот сам отвечает за физическое движение по местности. ([Страница проекта ROAM](https://roam-hiking.github.io/); [статья на arXiv](https://arxiv.org/abs/2611.25215))

 На странице проекта выделены два продолжительных уличных испытания: демонстрация длиной 2,4 км у Seealpsee и демонстрация длиной 10,1 км в Zermatt. Такие расстояния свидетельствуют о длительном выполнении маршрута, а не об одном удачном шаге или краткой реакции на изображение. Маршрут в Zermatt включал гравий, камни, траву, берега озёр и железнодорожные пути; маршрут у Seealpsee представлял собой петлю вокруг горного озера. Результат важен именно потому, что системе приходилось постоянно учитывать меняющийся визуальный контекст на протяжении маршрута, а не просто классифицировать один изолированный кадр. При этом испытания подтверждают продемонстрированную способность в заявленных условиях, но не гарантируют, что робот сможет пройти любую похожую тропу или правильно интерпретировать каждый знак.

 Полевые испытания также показывают, почему слово «автономный» следует понимать осторожно. Сообщается, что ROAM выполняет походы километрового масштаба при минимальном вмешательстве, а более длинные видеозаписи демонстрируют выполнение маршрута самим роботом, без постоянного дистанционного управления. Это позволяет сделать конкретный вывод: навигационный контур способен провести платформу через протяжённую реальную среду, используя семантическую информацию для выбора направления. Но это не доказывает наличие универсальной автономности, возможность работать неограниченно долго без надзора или способность надёжно справляться с любой ошибкой восприятия и управления. Успешная демонстрация по-прежнему ограничена своим маршрутом, оборудованием, конфигурацией и типами ситуаций, представленными в испытании.

 Для интерпретации результата принципиально важно разделение функций внутри системы. Зрительно-языковая модель не управляет суставами робота напрямую. Вместо этого она описывает видимую местность и препятствия, назначает им семантический риск и передаёт сведения, которые последующие модули преобразуют в навигационное поведение и движение. ROAM объединяет этот семантический слой с предварительно обученными политиками: одна отвечает за локальную навигацию, другая — за передвижение. В репозитории проекта конвейер описан как создание семантических изображений, объединяемых с картой высот; полученную информацию могут использовать политики навигации и передвижения робота. ([Репозиторий кода ROAM](https://github.com/leggedrobotics/roam))

 Именно такая архитектура делает демонстрации технически содержательными. Робот уже может ходить с помощью обученного управления, но уверенная ходьба не равна выбору маршрута, разумного с социальной или физической точки зрения. Полевые примеры показывают, как семантический слой меняет смысл внешне похожей местности. Городские знаки могут сообщить роботу, что нужно покинуть тропу; железнодорожные пути могут сделать одну сторону маршрута предпочтительной; дым меняет визуальные условия, в которых принимаются решения. В показанном проектом переходе из помещения наружу та же система перемещается из здания через территорию кампуса к полям, лесным тропам и фермерским дорогам, а визуальные метки меняются вместе с окружением. Следовательно, эти данные говорят о непрерывной работе системы в разных местах, а не только о результате в одной специально настроенной среде.

 Роль предварительно обученных политик задаёт ещё одну важную границу. ROAM служит интерфейсом между открытым визуально-языковым рассуждением и обученным физическим управлением, а не заменяет систему передвижения. Способность робота делать устойчивые шаги по-прежнему зависит от политик, обученных движению, тогда как семантический компонент помогает определить, каким участкам следует отдавать предпочтение, каких избегать, а какие считать непроходимыми. Полевые испытания показывают, что эти компоненты можно связать на движущейся шагающей платформе. Но они не доказывают, что одна лишь языковая модель понимает рельеф, планирует полный маршрут и управляет корпусом по исходным пикселям.

 В совокупности эти демонстрации дают убедительный исследовательский результат: семантические указания можно подключить к шагающему роботу на открытых маршрутах протяжённостью в километры и в самых разных природных, городских, внутренних помещениях и сценах с ухудшенной видимостью. Минимальное вмешательство оператора и завершение маршрутов служат важными свидетельствами работоспособности интеграции. Однако их не следует превращать в доказательство устойчивой автономности при любых погодных условиях, освещении, типах поверхности или контекстах знаков. Наиболее точный вывод уже: ROAM показывает, что зрительно-языковая модель способна вносить полезные высокоуровневые суждения в навигационный стек, тогда как быстрое и точное движение остаётся задачей традиционного картографирования и обученного управления.

 ## Почему семантические карты риска полезны — и всё ещё ненадёжны

 Карта, построенная только по геометрии, отвечает на важный, но неполный вопрос: где робот физически может поставить ноги? Она способна представить уклоны, провалы, препятствия и другие свойства, выведенные из формы или глубины. Но сама по себе она не может надёжно объяснить, почему два внешне одинаково проходимых участка должны привести к разным решениям. Вода может быть нежелательной, даже если её поверхность кажется ровной. Высокая трава способна скрывать рельеф, который трудно оценить по одной геометрии. Закрытая тропа, предупреждающий знак или указатель строительных работ могут изменить маршрут, не меняя непосредственную форму земли. В таких случаях навигационная задача состоит не только в поиске свободного пространства: нужно понять, что это пространство означает в данном контексте.

 Именно в этом заключается практическая ценность семантической карты риска ROAM. Зрительно-языковая модель может связывать увиденное роботом с релевантным для задачи смыслом, а сегментация с открытым словарём помогает перенести это суждение на пространственные области, вместо того чтобы оставлять его в виде предложения или одной метки. Затем навигационная политика может считать эти области затратными, предпочтительными или рискованными, по-прежнему опираясь на отдельные обученные политики следования маршруту и передвижения. Такая схема даёт языковой модели полезную роль, не требуя от неё вычислять каждое моторное действие. Благодаря этому система сочетает интерпретацию сцены с геометрическими и управляющими механизмами, которые уже отвечают за движение.

 Это различие важно, поскольку семантическое суждение по своей природе менее стабильно, чем измерение локального физического признака. Оценку глубины или перепад высоты можно сопоставить с показаниями датчиков робота и его картой. Значение знака зависит от распознавания его визуального содержания и связи этого содержания с маршрутом. Значимость воды, растительности, дыма или перекрытого пути зависит от задачи и от того, чего именно робот должен избегать. Модель может заметить нужный объект, но присвоить ему неправильный приоритет, увидеть его лишь частично или не сохранить это различие при изменении сцены. Карта риска делает такое суждение пригодным для действий, но не гарантирует его правильность.

 Исследователи прямо указывают на эту границу надёжности. Проект не преподносится как свидетельство того, что зрительно-языковая модель решила проблему навигации на открытом воздухе; в статье также обсуждаются нерешённые вопросы надёжности визуально-языкового и пространственного рассуждения. Эти ограничения особенно существенны для системы, которая превращает интерпретацию в плотный пространственный сигнал. Ошибка в описании может быть заметна человеку и легко поставлена под сомнение. Ошибка в карте риска, напротив, может выглядеть как обычное навигационное предпочтение: робот выберет более длинный путь, станет избегать полезного участка или не отреагирует на существенную опасность. Разделение семантического рассуждения и управления снижает риск требовать от модели непосредственных команд ногам, но не отменяет необходимости проверять семантический уровень.

 Именно поэтому ROAM лучше воспринимать как демонстрацию архитектуры, а не как общее доказательство надёжности фундаментальных моделей в реальных условиях. Вклад системы состоит в том, что она показывает: высокоуровневые суждения, полученные из визуальной и языковой информации, можно связать с обычным картированием и обученной локомоцией, не заменяя эти компоненты. Открытым остаётся вопрос, насколько стабильно такая связь работает при разных условиях освещения, ракурсах, внешнем виде местности, знаках и незнакомых сочетаниях признаков. Успешное прохождение маршрута в полевых условиях доказывает, что весь конвейер способен работать в протестированной обстановке, но не устанавливает, что те же семантические решения останутся надёжными при любой новой неоднозначности среды.

 Поэтому для оценки важнее всего не просто выяснить, достигает ли робот пункта назначения. Нужно понять, улучшает ли семантическая карта решения, с которыми геометрической системе было бы трудно справиться, и можно ли обнаружить и исправить её ошибки. Для этого следует измерять ошибки, связанные с препятствиями и знаками, выяснять, как часто требуется вмешательство человека, а также проводить повторные испытания при изменённых визуальных условиях. Необходимы и сравнения, позволяющие отделить источники преимущества: что даёт семантическая интерпретация, что обеспечивается предварительно обученными политиками навигации и локомоции, а чего можно добиться, используя только геометрическую информацию. ROAM делает эту границу явной — и превращает её в главную инженерную задачу следующего этапа исследований.

 ## Кому это важно и что проверять дальше

 ROAM особенно важна для команд, работающих в местах, где карта робота устаревает быстрее, чем удаётся обследовать местность. На маршрутах инспекции, в поисково-спасательных сценариях, на промышленных объектах и открытых территориях встречаются признаки, которые трудно свести к одной геометрии: знак может перенаправить движение, участок растительности — оказаться нежелательным, несмотря на проходимость, а знакомая дорога — больше не быть самым безопасным вариантом. Вклад ROAM заключается в том, что она делает такие признаки доступными навигационному стеку, не поручая визуально-языковой модели напрямую управлять ногами робота. Модель выносит семантические суждения, а обычное картирование и обученные политики навигации и локомоции отвечают за превращение этих суждений в движение.

 Такое разделение обязанностей одновременно задаёт правильный способ оценивать результат. Успешная демонстрация показывает, что робот способен использовать семантическую информацию во время выполнения маршрута, но сама по себе не доказывает наличие универсальной автономности. Исследовательские демонстрации и видеоматериалы проекта свидетельствуют о том, что эта архитектура может работать в разных условиях, включая тропы, леса, траву, дороги, помещения, дым, железнодорожные пути и городские знаки. Их следует воспринимать как испытания конкретной системы, собранной из визуально-языковой модели, сегментации с открытым словарём, построения карт рисков и предварительно обученных политик управления, а не как гарантию того, что такое же поведение без изменений перенесётся на любой объект или в любые эксплуатационные условия.

 Для практиков первый вопрос поэтому должен звучать не так: способна ли фундаментальная модель в абстрактном смысле «понять» сцену? Важно выяснить, улучшают ли её суждения решения робота в тех ситуациях, где геометрическая система сталкивается с неоднозначностью. В оценке следует указывать долю вмешательств и описывать, что именно они означают: исправление человеком, остановку маршрута, восстановительное поведение или изменение выбранного пути. Ошибки, связанные со знаками, препятствиями, предпочтительным типом местности и зонами, куда вход запрещён, нужно измерять отдельно. Совокупный показатель успешности может скрыть разницу между безобидной семантической ошибкой и ошибкой, направляющей робота в опасную или закрытую область.

 Оценка также должна охватывать условия, при которых семантическое восприятие с наибольшей вероятностью изменится. Погоде и освещению нужно уделять отдельное внимание, как и ракурсам, из-за которых знаки или препятствия частично скрыты. Важна воспроизводимость: один и тот же маршрут следует проходить несколько раз, чтобы результат нельзя было приписать удачной последовательности наблюдений. Исследователи и покупатели должны документировать платформу робота, датчики, вычислительные ресурсы, необходимые для работы системы, и то, какие возможности обеспечиваются предварительно обученными политиками. Эти сведения определяют, можно ли воспроизвести заявленное поведение и оценить архитектуру независимо от конкретной конфигурации аппаратного и программного обеспечения.

 Необходим геометрический базовый вариант для сравнения. Без него улучшение нельзя уверенно приписать зрительно-языковому компоненту, а не построению маршрута, настройке или самой политике передвижения. Сравнение должно проводиться на одной и той же платформе и при в целом сопоставимых средствах восприятия. Затем следует проверить, где семантическая карта рисков меняет выбранный маршрут и приводят ли эти изменения к уменьшению числа вмешательств оператора или ошибок при распознавании опасностей. Не менее важно фиксировать случаи, когда языковая модель не уверена, неточно определяет положение объектов или просто ошибается. Исследователи называют надёжность и пространственное рассуждение сохраняющимися ограничениями, поэтому такие сбои — часть результата, а не неудобные исключения, которые можно не учитывать.

 Более широкий вывод здесь скорее взвешенный, чем революционный. ROAM предлагает убедительный интерфейс между семантическими решениями высокого уровня и физическим управлением низкого уровня: восприятие с языковыми подсказками может влиять на то, куда направляется шагающий робот, тогда как обученная система передвижения продолжает отвечать за то, как именно он идёт. Следующий шаг — не устранять это разделение, а систематически проверять его границы: на разных маршрутах, в различных условиях, на разном оборудовании и в сравнении с разными базовыми методами. Если будущие оценки покажут, что архитектура снижает частоту вмешательств и число существенных ошибок при распознавании знаков или опасностей, не предъявляя чрезмерных требований к сенсорам и вычислениям, она может стать полезным шаблоном для навигации в меняющейся среде. Пока же её наиболее сильное и одновременно более узкое утверждение состоит в другом: семантические карты рисков дают практический исследовательский путь к добавлению смысла в навигацию с учётом рельефа, но не закрывают сложную проблему надёжной физической автономности.
