A Primate Labs lançou oficialmente o Geekbench AI, uma ferramenta de benchmarking projetada especificamente para aprendizado de máquina e cargas de trabalho centradas em IA.
O lançamento do Geekbench AI 1.0 marca o culminar de anos de desenvolvimento e colaboração com clientes, parceiros e a comunidade de engenharia de IA. O benchmark, anteriormente conhecido como Geekbench ML durante sua fase de visualização, foi renomeado para se alinhar com a terminologia do setor e garantir clareza sobre seu propósito.
O Geekbench AI já está disponível para Windows, macOS e Linux no site do Primate Labs, bem como na Google Play Store e na Apple App Store para dispositivos móveis.
A mais recente ferramenta de benchmarking da Primate Labs visa fornecer um método padronizado para medir e comparar os recursos de IA em diferentes plataformas e arquiteturas. O benchmark oferece uma abordagem única, fornecendo três pontuações gerais, refletindo a complexidade e a heterogeneidade das cargas de trabalho de IA.
“Medir o desempenho é, simplesmente, muito difícil”, explicou o Primate Labs. “Isso não é porque é difícil executar um teste arbitrário, mas porque é difícil determinar quais testes são os mais importantes para o desempenho que você deseja medir – especialmente em diferentes plataformas e, particularmente, quando todos estão fazendo as coisas de maneiras sutilmente diferentes.”
O sistema de três pontuações é responsável pelos variados níveis de precisão e otimizações de hardware encontrados nas implementações modernas de IA. Essa abordagem multidimensional permite que desenvolvedores, fornecedores de hardware e entusiastas obtenham insights mais profundos sobre o desempenho de IA de um dispositivo em diferentes cenários.
Uma adição notável ao Geekbench AI é a inclusão de medições de precisão para cada teste. Esse recurso reconhece que o desempenho da IA não é apenas sobre velocidade, mas também sobre a qualidade dos resultados. Ao combinar métricas de velocidade e precisão, o Geekbench AI fornece uma visão mais holística dos recursos de IA, ajudando os usuários a entender as compensações entre desempenho e precisão.
O Geekbench AI 1.0 apresenta suporte para uma ampla variedade de estruturas de IA, incluindo OpenVINO no Linux e Windows, e delegados TensorFlow Lite específicos do fornecedor, como Samsung ENN, ArmNN e Qualcomm QNN no Android. Esse amplo suporte à estrutura garante que o benchmark reflita as ferramentas e metodologias mais recentes usadas pelos desenvolvedores de IA.
O benchmark também utiliza conjuntos de dados mais extensos e diversificados, que não apenas aprimoram as avaliações de precisão, mas também representam melhor os casos de uso de IA do mundo real. Todas as cargas de trabalho no Geekbench AI 1.0 são executadas por no mínimo um segundo, permitindo que os dispositivos atinjam seus níveis máximos de desempenho durante o teste, ao mesmo tempo em que refletem a natureza intermitente dos aplicativos do mundo real.
A Primate Labs publicou descrições técnicas detalhadas das cargas de trabalho e modelos usados no Geekbench AI 1.0, enfatizando seu compromisso com a transparência e as metodologias de teste padrão do setor. O benchmark é integrado ao navegador Geekbench, facilitando comparações fáceis entre plataformas e compartilhamento de resultados.
A empresa antecipa atualizações regulares do Geekbench AI para acompanhar as mudanças do mercado e os recursos emergentes de IA. No entanto, a Primate Labs acredita que o Geekbench AI já atingiu um nível de confiabilidade que o torna adequado para integração em fluxos de trabalho profissionais, com grandes empresas de tecnologia como Samsung e Nvidia já utilizando o benchmark.
Crédito da imagem: Primate Labs
