Harvard University revelou um dataset inovador com quase um milhão de livros de domínio público.
Este acervo, parte do projeto Institucional Data Initiative (IDI), foi financiado por Microsoft e OpenAI e promete ser um marco no desenvolvimento de modelos de linguagem.
Primeiramente, a coleção é cinco vezes maior que o conhecido Books3, abrangendo gêneros variados e idiomas diversos, incluindo clássicos de Shakespeare e textos matemáticos tchecos.
Assim, a iniciativa fornece uma base rica para startups e pesquisadores em inteligência artificial.
Ademais, o diretor do IDI, Greg Leppert, destaca que o projeto democratiza o acesso a dados de alta qualidade, antes disponíveis apenas para grandes empresas de tecnologia.
Apesar disso, organizações ainda precisarão de dados adicionais para diferenciar seus modelos.
Além dos livros, o IDI planeja digitalizar milhões de artigos de jornais públicos.
Esse movimento ressalta a importância de recursos acessíveis em um cenário em que disputas legais sobre o uso de material protegido para treinar IA estão em alta.
Embora questões éticas persistam, Harvard acredita que o dataset será um divisor de águas, principalmente para pequenas empresas.
Afinal, iniciativas como essa desafiam a noção de que dados protegidos por direitos autorais são essenciais para IA.
Entretanto, a distribuição do dataset ainda não foi oficializada.
A colaboração com o Google pode viabilizar sua liberação pública, mas negociações seguem em andamento.
Certamente, este projeto redefine o debate sobre dados abertos no treinamento de IA, oferecendo alternativas sustentáveis para um setor em rápida evolução.
Para mais informações, acesse o artigo original: Candid Technology.
