Custos de operação de modelos de inteligência artificial (IA). Chamado DeepInfer, o software otimiza a execução dos sistemas da empresa, com o objetivo de diminuir o uso de recursos computacionais e o consumo de energia. A iniciativa permite que empresas e provedores de serviços de nuvem utilizem técnicas adotadas pela própria DeepSeek para executar seus modelos de forma mais eficiente.
Compartilhando sua infraestrutura de produção para ajudar desenvolvedores a reduzir os custos de computação e ampliar o acesso à IA.
Software que coordena a execução dos modelos e aproveita melhor a capacidade dos equipamentos utilizados no processamento. Até o momento, o DeepInfer oferece suporte ao modelo V4.1-Flash, e a companhia informou que pretende adicionar compatibilidade com sistemas futuros.
Etapa conhecida como inferência. É nesse processo que um sistema de IA utiliza o treinamento recebido para responder a perguntas, gerar textos ou realizar outras tarefas. O custo dessa operação varia conforme o modelo, o volume de solicitações e a eficiência do software e do hardware empregados. Por isso, dois serviços que utilizam o mesmo modelo podem ter despesas operacionais diferentes.
Componentes de hardware. A estratégia permite distribuir o processamento e aumentar o volume de resultados produzido em determinado período. Embora muitas dessas técnicas já sejam utilizadas no setor, a DeepSeek adaptou sua implementação às características de seus próprios modelos.
DeepSeek. Ao incorporar essas técnicas à própria infraestrutura, esses operadores podem reduzir o custo computacional de cada solicitação e melhorar suas margens de lucro. Caso a economia seja repassada aos clientes, a iniciativa também poderá contribuir para diminuir o preço de serviços de IA. Empresas que executam os modelos em servidores próprios, por sua vez, poderão usar a ferramenta para tentar reduzir suas despesas operacionais.
Capacidade de processamento e de profissionais especializados para instalar e operar os sistemas. Segundo Thibault Jaigu, presidente-executivo da Requesty, startup que desenvolve ferramentas de métricas e roteamento para serviços de IA, a iniciativa reduz as barreiras para hospedar os modelos da empresa.
Empresas podem examinar as técnicas implementadas e avaliar possíveis adaptações para outras arquiteturas. Ainda não há, porém, estudos comparativos independentes que comprovem os ganhos de eficiência do DeepInfer. Embora o lançamento ofereça acesso a métodos de otimização, a economia efetiva dependerá da infraestrutura, das aplicações e das condições de uso de cada organização.
FONTE: TECMUNDO
Postar um comentário