Описание проекта
Система распознаёт жесты руки с веб‑камеры и управляет курсором без физической мыши: движение следует за кончиком указательного пальца внутри заданной области интереса (ROI), а «щепки» большим пальцем с другими пальцами маппируются на действия мыши: левый/правый клик, двойной клик, перетаскивание и прокрутка. Предусмотрены аварийный выход (Esc/Q) и безопасные режимы. Проект включает архитектуру обработки видео, алгоритмы сглаживания и порогов, а также воспроизводимый протокол оценки по ISO 9241‑9 (закон Фиттса) со скриптами для экспериментов и анализа метрик.
Цель проекта
Разработать и валидировать устойчивую, точную и воспроизводимую систему бесконтактного управления курсором на базе MediaPipe/OpenCV/PyAutoGUI с набором жестов, калибруемой ROI и стандартной оценкой по ISO 9241‑9 (throughput, время выполнения, ошибка, латентность).
Задачи проекта
- Спроектировать архитектуру захвата видео, трекинга ключевых точек, нормализации координат (ROI) и генерации событий ОС.
- Реализовать модель жестов: ЛКМ (большой+указательный, в т.ч. двойной клик), ПКМ (большой+средний), «зажать/перетащить» (большой+безымянный), прокрутка большим пальцем.
- Настроить сглаживание и пороги (EMA/One‑Euro, гистерезис), параметры ROI и безопасные режимы (FAILSAFE, выход по Esc/Q).
- Сделать графический лаунчер (Tkinter) с кнопками запуска/стопа и подсказками по жестам.
- Подготовить сборку под Windows (PyInstaller) и описать зависимости.
- Разработать и провести эксперимент по ISO 9241‑9 (многонаправленная задача) и собрать метрики (throughput, время на цель, частота ошибок, латентность, субъективные оценки).
- Сравнить с открытыми Python‑проектами и Ultraleap TouchFree, оформить таблицу сравнения.
Проект посвящен созданию инновационной системы управления курсором компьютера без использования физических устройств ввода. Система использует обычную веб-камеру для отслеживания движений руки пользователя и преобразования их в команды управления курсором. Основная идея проекта заключается в предоставлении естественного и интуитивно понятного способа взаимодействия с компьютером, который может быть особенно востребован в различных специализированных сценариях использования.
Актуальность проекта обусловлена растущей потребностью в бесконтактных интерфейсах для различных областей применения. В медицинских учреждениях, особенно в операционных и лабораториях, требуется соблюдение строгих стерильных условий. В общественных местах, таких как информационные киоски и выставочные стенды, бесконтактное управление повышает гигиеничность использования. Также система представляет значительный интерес для людей с ограниченными двигательными возможностями, обеспечивая им альтернативный способ взаимодействия с компьютерной техникой.
Основной целью проекта является разработка надежной и точной системы управления курсором, основанной на технологии компьютерного зрения. Система должна обеспечивать плавное и точное отслеживание движений руки, преобразуя положение указательного пальца в координаты курсора на экране. Особое внимание уделяется созданию интуитивно понятного набора жестов, которые естественным образом映射руются на стандартные операции с мышью.
Архитектура системы построена на использовании современных библиотек компьютерного зрения и машинного обучения. MediaPipe Hands обеспечивает высокоточное определение ключевых точек руки, что является фундаментом для последующего трекинга жестов. OpenCV используется для обработки видеопотока и реализации алгоритмов фильтрации. PyAutoGUI предоставляет возможности эмуляции событий мыши и клавиатуры на уровне операционной системы.
Важным аспектом проекта является реализация системы жестового управления. Основной жест для позиционирования курсора - отслеживание кончика указательного пальца в пределах специально определяемой области интереса (ROI). Для эмуляции кликов и других действий мыши используются комбинации пальцев: соединение большого и указательного пальцев соответствует левому клику мыши, большого и среднего - правому клику, большого и безымянного - функции перетаскивания. Особое внимание уделяется надежности распознавания жестов и минимизации ложных срабатываний.
В системе реализованы продвинутые алгоритмы сглаживания траектории движения курсора. Используются методы экспоненциального скользящего среднего (EMA) и One-Euro фильтр для уменьшения дрожания и обеспечения плавного перемещения. Это особенно важно для точного позиционирования курсора при работе с элементами интерфейса небольшого размера.
Безопасность и надежность системы обеспечиваются за счет реализации нескольких защитных механизмов. Режим FAILSAFE позволяет мгновенно остановить работу системы при необходимости. Аварийный выход по нажатию клавиш Esc или Q обеспечивает дополнительный уровень контроля. Система также включает возможность калибровки под индивидуальные особенности пользователя и условия освещения.
Для удобства использования разработан графический лаунчер на базе Tkinter, предоставляющий простой интерфейс для запуска системы, настройки параметров и ознакомления с жестами управления. Лаунчер включает визуальные подсказки и позволяет проводить базовую калибровку системы под конкретные условия использования.
Особой ценностью проекта является разработка комплексной методологии оценки эффективности системы в соответствии со стандартом ISO 9241-9. Созданы специализированные скрипты для проведения многозадачных тестов, измерения throughput, времени выполнения операций, частоты ошибок и латентности системы. Это позволяет проводить объективное сравнение с существующими решениями, такими как Ultraleap TouchFree и другими открытыми проектами.
Техническая реализация включает создание сборки под Windows с использованием PyInstaller, что обеспечивает простоту развертывания системы на целевых компьютерах. Документация проекта содержит подробное описание зависимостей, инструкции по установке и настройке, а также руководство пользователя.
Перспективы развития системы включают оптимизацию алгоритмов для достижения оптимального баланса между точностью и задержкой, внедрение адаптивных алгоритмов сглаживания на основе фильтра Калмана, повышение надежности распознавания жестов в сложных условиях освещения и при частичных перекрытиях руки. Также планируется разработка специализированных режимов для снижения утомляемости при длительном использовании системы.
Проект представляет законченное решение, готовое к практическому применению в различных сценариях, где требуется бесконтактное управление компьютером. Открытая архитектура и хорошо документированный код позволяют легко адаптировать систему под конкретные требования и интегрировать в более сложные программные комплексы.
Презентации
Пульс
Новость
Состоялась 10-я очная встреча команды с трекером Нозирзоды Шодмоном Салохидином и наставником Ивановой Ольгой Петровной. С наставником Ольгой Петровной команда обсудила очную консультацию с экспертом. Провели проверку и утверждение материалов для Демо - дня (презентация, прототип, раздаточные материалы). Шодмон Салохидин, совместно с командой стартап-проекта, провел оценку прогресса стартап-проекта за весь период акселерации и планы по постакселерационной работе с индустриальными партнерами после итогового Демо – дня.
Новость
Состоялась 9-я очная встреча команды с трекером Нозирзоды Шодмоном Салохидином и наставником Ивановой Ольгой Петровной. С наставником Ольгой Петровной команда обсудила очную консультацию с экспертом. Определи перечень необходимых ресурсов для изготовления прототипа и реализацию проекта. Возможность участия в получении грантов. Работали над прототипом. Готовили материалы для презентации. Определились с задачами к следующей встрече. Шодмон Салохидин, совместно с командой стартап-проекта, провел регулярный анализ прогресса, а также, проработку инструментов развития стартапа с коррекцией задач на неделю. Эксперт от индустриальных партнеров Угрюмова Мария Николаевна провела очную консультацию проектной команды и экспертизу проектов в соответствии с требованиями платформы НТИ, дала предметную оценку проекта, сделав срез на сегодняшний день.
Новость
Состоялась 8-я очная встреча команды с трекером Нозирзоды Шодмоном Салохидином и наставником Ивановой Ольгой Петровной. С наставником Ольгой Петровной команда обсудила работу над прототипом, результаты проверки гипотезы и корректировки проекта, каналы продвижения продукта. Определились с задачами к следующей встрече. Шодмон Салохидин, совместно с командой стартап-проекта, провел регулярный анализ прогресса и коррекцию задач на неделю, обсудили партнеров проекта и инвестиционный план развития. Эксперты от индустриальных партнеров Трезорова Ольга Юрьевна и Минин Дмитрий Леонидович провели очную консультацию проектной команды и экспертизу проектов в соответствии с требованиями платформы НТИ, дали предметную оценку проекта, сделав срез на сегодняшний день.
Новость
Состоялась 7-я встреча команды с трекером Нозирзоды Шодмоном Салохидином и наставником Ивановой Ольгой Петровной. С наставником Ольгой Петровной команда обсудили участие в выстраивании деловых коммуникаций с потенциальными контрагентами, которые могут внести вклад в развитие стартап-проекта, защиту интересов стартап-команды, обсудили со студенческой командой рекомендаций по ее развитию. Определились с задачами к следующей встрече. Шодмон Салохидин, совместно с командой стартап-проекта, провел регулярный анализ прогресса и коррекцию задач на неделю, проработку инструментов развития стартапа, оценку валидации стартап-проекта за прошедший период акселерации. Эксперт от НовГУ Ефременков Андрей Борисович провел консультацию проектной команды и экспертизу проектов в соответствии с требованиями платформы НТИ, дал предметную оценку проекта, сделав срез на сегодняшний день.
Новость
Состоялась 6-я встреча команды с трекером Нозирзоды Шодмоном Салохидином и наставником Ивановой Ольгой Петровной. С наставником Ольгой Петровной команда еще раз прокачала компетенции по технологической составляющей стартап – проекта и вопросы получения конкретного продуктового результата. Определились с задачами к следующей встрече. Александр Анатольевич провел совместную работу с командой стартап-проекта, обсудили вероятность возникновения технологических рисков проекта и степень их воздействия. Наметили план сотрудничества с возможными индустриальными партнерами и определились с задачами на следующую встречу. Эксперт от НовГУ Данейкин Юрий Викторович провел консультацию проектной команды и экспертизу проектов в соответствии с требованиями платформы НТИ, дал предметную оценку проекта, сделав срез на сегодняшний день.
Новость
Состоялась 5-я встреча команды с трекером Нозирзоды Шодмоном Салохидином, наставником Ивановой Ольгой Петровной и куратором по тематическому направлению Канищевой Натальей Андреевной. В рамках консультации с куратором по тематическому направлению Натальей Андреевной были определены ключевые барьеры технологической составляющей стартап-проекта и пути их преодоления во 2-м этапе акселерационной программы. С наставником Ольгой Петровной команда обсудила итоги предзащиты и «узкие места» проекта, его соответствие тематическому (технологическому) направлению и пути их устранения. Определились с задачами к следующей встрече. Александр Анатольевич провел совместную работу с командой стартап-проекта по корректировке идеи проекта и актуализации с учетом замечаний, высказанных экспертами на предзащите. Обсудили содержание Бизнес - модели проекта, поставили задачи на следующую встречу. Эксперт от НовГУ Наталья Николаевна Юрина провела экспертизу проектов в соответствии с требованиями платформы НТИ, дала предметную оценку проекта сделав срез на сегодняшний день.
Новость
28.10.2025. команда успешно прошла предварительный отбор и приступила к дальнейшему развитию своего стартап – проекта и работе над высказанными замечаниями экспертов.
Новость
Состоялась 4-я встреча команды с трекером Нозирзоды Шодмоном Салохидином и наставником Ивановой Ольгой Петровной. Наставник продолжил проектную работу по календарному плану, с командой провели подготовку и обсуждение материалов для предзащиты. Работали над презентацией. Утвердили презентацию (проблему, идею, концепцию, актуальность, аналогов/конкурентов, решение/ожидаемый результат). Ольга Петровна поставила задачи на предзащиту. Шодмон Салохидин провел совместную работу с командой стартап-проекта по корректировке идеи проекта и актуализации ключевых показателей стартап- проекта с учетом возможных запросов индустриальных партнеров. Нацелил команду на успешною предзащиту стартапа.
Новость
Состоялась 3-я встреча команды с трекером Нозирзоды Шодмоном Салохидином и наставником Ивановой Ольгой Петровной. Наставник продолжил проектную работу по календарному плану, приступили к рассмотрению бизнес- модели проекта с точки зрения выживания и прохождения «Долины смерти». Поставили задачи на следующую встречу. Шодмон Салохидин провел совместную работу с командой стартап-проекта по корректировки идеи проекта с учетом запросов индустриальных партнеров. Предложил начать поиски «Бизнес - Ангела» для реализации проекта, дал задание к следующей встрече.
Обновление продукта
Состоялась 2-я встреча команды с трекером Нозирзоды Шодмоном Салохидином и наставником Ивановой Ольгой Петровной. Наставник продолжил проектную работу по календарному плану, обсудили решения проблемм и прототип. Провели предварительный анализ конкурентов. Обсудили каналы продвижения проекта/продукта. Начали сбор материала для презентации. Поставили задачи на следующую встречу. Шодмон Салохидин провел совместную работу с командой стартап-проекта по корректировки идеи проекта, формулирование гипотезы, дал задание к следующей встрече.
Инициация идеи и проекта
Состоялась 1-я встреча команды с трекером Нозирзоды Шодмоном Салохидином, наставником Ивановой Ольгой Петровной и куратором по тематическому направлению Канищевой Натальей Андреевной. Мы познакомились с наставником Натальей Андреевной, обсудили информацию об идее проекта (проблема-решение), календарный план работы (прописываем задачи), распределили роли в команде. Определись с задачами к следующей встрече. В рамках консультации с куратором по тематическому направлению Натальей Андреевной были определены ключевые технологические составляющие стартап-проекта и его соответствие тематическому (технологическому) направлению. Трекер помог определиться с целью проекта, наметил идеи для проработки проекта, дал задание к следующей встрече.
