ABSTRACT
Este artigo explora o ajuste fino de modelos Transformers utilizando técnicas de Parameter-Efficient Fine-Tuning (PEFT), como LoRA, QLoRA e IA3. Com o objetivo de personalizar modelos de linguagem para tarefas específicas, as técnicas PEFT oferecem uma alternativa eficiente ao ajuste total, reduzindo os custos computacionais e a necessidade de grandes conjuntos de dados. A pesquisa incluiu uma revisão teórica da arquitetura Transformer, análise das metodologias de fine-tuning e experimentação prática na tarefa de sumarização de diálogos de atendimento ao cliente, utilizando frameworks como Hugging Face e Weights & Biases. Os resultados demonstraram melhorias significativas em métricas como ROUGE, BERTScore e G-Eval com redução de até 99% dos parâmetros treináveis. Conclui-se que as técnicas PEFT oferecem uma alternativa viável ao ajuste total, especialmente em cenários com recursos computacionais limitados e necessidades específicas de personalização.
Palavras-chave: Fine-Tuning. Transformers. PEFT. LoRA. QLoRA. IA3.
Faça download do paper na íntegra clicando aqui!
DESCRIÇÃO DA EMPRESA
Somos uma startup inovadora com duas áreas de negócios: SaaS e AIaaS. No SaaS, oferecemos soluções avançadas para a hyperautomação de atendimento, facilitando a gestão, automação e acompanhamento de solicitações. No AIaaS, nossa plataforma Tech4.ai capacita empresas a construir e implementar soluções de inteligência artificial com tecnologias open source, garantindo agilidade, governança e alto desempenho.
