TextUnbox vs Drag Your GAN

TextUnbox executa OCR de texto impresso e manuscrito, geração de imagens DALL-E, reconhecimento de voz para texto, tradução e remoção de fundo a partir de um portal web e uma API REST compartilhada. Faça upload ou cole uma imagem no navegador para extrair texto, gerar visuais a partir de um comando de texto ou gravação de voz, transcrever áudio WAV ou remover o fundo de uma foto. Uma única chave de licença desbloqueia todos os aplicativos do navegador e endpoints da API, com uso contabilizado por operação bem-sucedida em vez de por assento mensal.

A maioria das ferramentas de OCR para na extração de texto, e a maioria dos geradores de imagem ignora completamente a digitalização de documentos. O TextUnbox une ambos os fluxos de trabalho ao mesmo conjunto de unidades pré-pagas, para que uma equipe possa fazer OCR de um lote de recibos e gerar arte de marketing sem comprar assinaturas separadas. A API REST em hello.textunbox.app aceita uploads multipart de imagens e comandos JSON, com especificações OpenAPI e coleções Postman publicadas no site de documentação.

Desenvolvedores que criam pipelines de documentos, aplicativos de captura móvel ou automação interna podem chamar endpoints HTTPS padronizados com um cabeçalho x-textunbox-licensekey. Usuários casuais têm as mesmas funcionalidades por meio de páginas responsivas no navegador, incluindo colar da área de transferência para escaneamentos rápidos. Chaves de teste gratuitas estão disponíveis por e-mail sem cartão de crédito, embora o uso contínuo exija a compra de unidades pré-pagas de extração via Gumroad.

No campo de sintetizar conteúdo visual para atender às necessidades dos usuários, é essencial alcançar um controle preciso sobre pose, forma, expressão e layout de objetos gerados. As abordagens tradicionais para controlar redes adversárias generativas (GANs) se basearam em anotações manuais durante o treinamento ou modelos 3D anteriores, geralmente sem flexibilidade, precisão e versatilidade necessárias para diversas aplicações.

Em nossa pesquisa, exploramos um método inovador e relativamente desconhecido para o controle da GaN-a capacidade de "arrastar" pontos de imagem específicos para atingir com precisão os pontos de destino definidos pelo usuário de maneira interativa (conforme ilustrado na Fig.1). Essa abordagem levou ao desenvolvimento de Draggan, uma nova estrutura que compreende dois componentes principais:

Supervisão de movimento baseada em recursos: este componente guia os pontos da imagem em direção às posições do alvo pretendido por meio de supervisão de movimento baseado em recursos.

Rastreamento de pontos: alavancando os recursos discriminativos do GAN, nossa nova técnica de rastreamento de pontos localiza continuamente a posição dos pontos de alça.

O Draggan capacita os usuários a deformar imagens com precisão notável, permitindo a manipulação da pose, forma, expressão e layout em diversas categorias como animais, carros, humanos, paisagens e muito mais. Essas manipulações ocorrem dentro do coletor de imagem generativo instruído de um GaN, resultando em saídas realistas, mesmo em cenários complexos, como gerar conteúdo ocluído e formas deformadas enquanto aderem à rigidez do objeto.

Nossas avaliações abrangentes, abrangendo comparações qualitativas e quantitativas, destacam a superioridade do Draggan sobre os métodos existentes em tarefas relacionadas à manipulação de imagens e rastreamento de pontos. Além disso, demonstramos suas capacidades na manipulação de imagens do mundo real através da inversão de GaN, mostrando seu potencial para várias aplicações práticas no campo da síntese e controle de conteúdo visual.