Recentemente, a equipe de pesquisa e desenvolvimento da Homsh ̊ completou a integração em cascata de três níveis do módulo de captura binocular MD31, plataforma de computação de borda RK3588 e placa de acelerador FPGA AXU9EGB,e divulgou um relatório técnico em fasesA partir da captura de uma imagem ocular em escala de cinza de 640×480 pela câmara, através da avaliação de qualidade, localização da íris, inferência de características, correspondência 1:N,para a exibição de resultados de reconhecimento de volta na tela este todo o pipeline agora corre totalmente através de três placas de hardware.
Para Homsh, este é mais do que apenas outro teste de integração bem sucedido.Significa que migramos as capacidades de reconhecimento de íris que anteriormente funcionavam em PCs industriais com Windows para uma arquitetura de borda com menor consumo de energia, fatores de forma mais flexíveis e a capacidade de serem incorporados em vários dispositivos terminais.
Todo o sistema adota uma arquitetura em cascata: captura e corte pela câmera MD31, acesso e transmissão pelo RK3588, inferência pelo AXU9EGB FPGA e feedback visual pelo RK3588.O MD31 produz imagens recortadas de olho único para ambos os olhos esquerdo e direito; o RK3588 é executado no Android ARM64, responsável pelo emparelhamento binocular, gerenciamento de tarefas e transmissão de rede; o FPGA lida com o portão de qualidade e todos os algoritmos da íris,e envia os resultados de volta para o RK3588 para exibição.
Esta divisão de trabalho tem um significado mais profundo: a captura da câmera e a inferência FPGA estão totalmente desacopladas, conectadas por uma camada semântica de protocolo unificado.Cada conjunto de imagens do olho esquerdo e direito está associado a um ID de operação e um número de sequência estritamente incremental, assegurando que não haja confusão entre quadros de pré-visualização, quadros de reinicialização e quadros de tarefas anteriores.tanto a nossa solução Windows legada e a nova solução RK3588 compartilham o mesmo conjunto de protocolos FPGA e definições de resultados de inferência, com um conjunto de serviços de bordo que suportam duas gerações de sistemas host.
Fluxo global de dados da cascata de três níveis
O FPGA retorna o estado de qualidade, as identidades dos candidatos, as pontuações de similaridade, as distâncias, os limiares e as durações das etapas, tornando totalmente visível o processo de reconhecimento aos utilizadores.
A parte mais pesada do pipeline está no AXU9EGB, baseado na placa Zynq UltraScale+ MPSoC FPGA, e habilitado pela Vitis AI 3.0 e aceleração de hardware DPU,empreende o processo completo de inferência em sete etapas: da validação de entrada, da localização da pupila e da íris através de um modelo circular de seis parâmetros, do gating de qualidade, da desembalagem de coordenadas polares Daugman,para a geração de características de íris de 512 dimensões pela rede profunda IResNet100, 1:N correspondendo após a normalização L2, e finalmente devolvendo resultados junto com a latência por estágio.
Permitir que uma rede profunda de cem camadas extraia de forma estável recursos em FPGA depende de um alinhamento rigoroso entre quantização do modelo, conjuntos de dados de calibração e distribuições reais de imagem da câmera,bem como um backend de aceleração de cópia zero personalizado para o modelo circularÉ exatamente o que a Homsh tem feito há 15 anos: incorporar algoritmos no hardware, para que o reconhecimento aconteça o mais próximo possível do dispositivo.
Pipeline de inferência de bordo de sete etapas no FPGA
As imagens que falham nas verificações de qualidade são rejeitadas na terceira etapa, evitando o desperdício de computação de recursos.Vector de características da íris de 512 dimensões 7 etapas de conduta de inferência a bordo 326 testes cumulativos aprovados
Em termos de lógica de utilização, o sistema adere ao princípio de "registo rigoroso, reconhecimento flexível".Os modelos do olho esquerdo e direito do utilizador devem passar pelo portal de qualidade e ser inscritos com êxitoOs quadros falhos, os lados dos olhos duplicados e os lados dos olhos desconhecidos são excluídos da contagem de registro.N em relação aos modelos do olho esquerdo e direito na biblioteca de modelos, respectivamente. Uma correspondência de qualquer imagem de olho de consulta única contra qualquer modelo retorna um resultado. Os usuários não precisam posicionar os dois olhos para o sistema; qualquer olho capturado é processado.
As falhas de qualidade, as incompatibilidades temporárias ou os erros de comunicação recuperáveis não encerram abruptamente a tarefa.após recuperação da ligação, retoma a partir do ID da operação e dos números de sequência reconhecidos sem submeter novamente quadros já recebidos pela FPGA.a latência , tornando visíveis aos utilizadores o êxito, o fracasso e as tentativas de repetição.
O registo requer modelos binoculares completos, enquanto o reconhecimento requer apenas uma correspondência de um dos olhos, equilibrando a segurança e a experiência do utilizador.
O que mais nos orgulha neste relatório está na sua metodologia, cada conclusão de verificação é claramente categorizada em quatro tipos:"Verificado historicamente" dos registos de integração anteriores, "Inferido" derivado da lógica de implementação, e honestamente marcado "Para ser verificado para itens temporariamente não confirmados.150 testes de bordo Python aprovados, e funções de registo/reconhecimento e recuperação de ligações completadas ¢ todas estas são documentadas no relatório.Os artigos que ainda não foram re-testados no local também estão claramente marcados "Para ser verificado" em preto e branco, sem ambiguidade.
O reconhecimento da íris é o negócio da identidade, não deixando espaço para "provavelmente tudo bem".
Três números-chave: características de 512 dimensões geradas através da aceleração DPU; todos os 176 testes de base automatizados do Windows aprovados; 150 registros de teste de Python de bordo aprovados.
O parecer geral do relatório é de que a solução actual estabeleceu as bases para a demonstração, integração e documentação por etapas,com limites arquitectónicos claros e uma arquitetura geral em cascata tecnicamente viávelAs próximas prioridades são igualmente claras: estabilidade de ponta a ponta, qualidade de imagem em tempo real, consistência de desembalagem de coordenadas polares e monitorização do estado de circuito fechado para operação a longo prazo,Mudar o oleoduto de "funcional" para "estável e confiável", e, em seguida, para produtos prontos para produção.
Desde chips de reconhecimento de íris desenvolvidos por nós mesmos, até sinergia software-hardware entre algoritmos e FPGA, até a atual linha completa de reconhecimento incorporada em dispositivos de borda,Homsh sempre acreditou que o futuro da biometria está na bordaEste relatório é mais um passo para esse futuro.
