Разработчики из китайского проптеха Beike создали FloorplanVLM — модель, которая сразу переводит картинку плана в JSON-код
Сначала модель перечисляет все стены с координатами (включая наклонные и дуговые), потом собирает комнаты как списки стен. Так общие стены всегда совпадают, а контуры остаются замкнутыми без разрывов. На сложных планах с арками и кривыми стенами FloorplanVLM показывает точность внешнего контура 92,5%.
Зачем им это
Они решают классическую задачу для ML в проптехе: сделать продукт быстрее, точнее и дешевле. Beike — китайская платформа недвижимости (Авито и «Самолет Плюс» в одном флаконе). Ежедневно компания обрабатывает миллионы планировок от продавцов и агентов. Клиентам нужны точные метражи, 3D-визуализации ремонта и поиск похожих планировок — всё это возможно только со структурированными данными. Вот для этого и нужны модели типа FloorplanVLM.
Статья 2602.06507 на arxiv.org Если у вас установлено приложение,
вы можете сразу перейти в канал