Sistema de Desenho por Visão Computacional

Problema

Ferramentas de desenho tradicionais exigem hardware de entrada dedicado. O objetivo era testar se apenas uma webcam poderia suportar uma interface de desenho natural e sem contato — útil tanto como experimento de IHC (Interação Humano-Computador) quanto como modelo de interação voltado à acessibilidade.

Solução

Um pipeline de rastreamento de mãos em tempo real que mapeia a contagem de dedos e a posição da ponta dos dedos para ações de desenho: um dedo desenha, de dois a quatro dedos trocam a cor, e a mão aberta aciona o apagador — tudo composto ao vivo sobre o feed da câmera.

Arquitetura

O MediaPipe Hands detecta 21 pontos de referência da mão por quadro; um classificador de gestos leve, derivado das posições desses pontos, determina a ferramenta ativa (desenhar / selecionar cor / apagar); o OpenCV compõe a camada de desenho sobre o feed de vídeo ao vivo por meio de operações com arrays do NumPy, quadro a quadro.

Desafios

• —Manter a classificação de gestos estável sob condições de iluminação variáveis
• —Reduzir a trepidação na linha desenhada causada por ruído no rastreamento das mãos entre quadros
• —Mapear a posição contínua da mão para uma experiência de desenho responsiva e de baixa latência

Aprendizados

• —Experiência prática com pipelines de visão computacional em tempo real, além da inferência em imagens estáticas
• —O quanto o pré e pós-processamento clássico de visão computacional (suavização, limiares) ainda importa junto a modelos de ML
• —Os trade-offs de IHC ao projetar um vocabulário de gestos que pareça intuitivo sem um tutorial na tela