Databricks e NVIDIA anunciam parceria para impulsionar IA generativa

A Databricks, empresa de dados e inteligência artificial, anunciou nesta semana, durante o Data + AI Summit, uma colaboração expandida com a NVIDIA para otimizar workloads de dados e IA, que consistiu em trazer a computação acelerada da NVIDIA CUDA para o núcleo da Plataforma de Inteligência de Dados da companhia. Em um contexto no qual workloads de preparação, curadoria e processamento de dados são essenciais para o uso de dados empresariais em soluções de IA generativa, o trabalho conjunto das empresas visa impulsionar a eficiência, a precisão e o desempenho dos pipelines de desenvolvimento de inteligência artificial em fábricas modernas de IA.

Por meio dessa aliança ampliada, a Databricks está adicionando suporte de forma nativa para aceleração do GPU (unidade de processamento gráfico) da NVIDIA em sua Plataforma de Inteligência de Dados. O anúncio feito no principal evento global da Databricks, em São Francisco, nos Estados Unidos, fortalece a colaboração entre a companhia e a NVIDIA para oferecer experiências positivas às empresas, seja através da formação de modelos clássicos de Machine Learning (ML), da criação e implementação de aplicações de IA generativas ou da otimização dos chamados digital twins - versões digitais de um produto real de uma empresa que substitui protótipos físicos.

"Estamos muito contentes por continuar expandindo a parceria com a NVIDIA, a fim de cumprir a nossa promessa de trazer inteligência de dados para os clientes a partir da análise de casos de uso e da IA", comemorou o cofundador e CEO da Databricks, Ali Ghodsi. "Juntamente com a NVIDIA, estamos entusiasmados em ajudar cada empresa a construir suas próprias fábricas de IA com base em dados próprios e particulares."

"Os dados são o combustível para a revolução industrial da IA generativa, portanto, reduzir a energia gasta no processamento de dados por meio da computação acelerada é essencial para plataformas sustentáveis de IA", disse Jensen Huang, fundador e CEO da NVIDIA. "A Databricks é pioneira em processamento de dados em grande escala. Ao trazer a aceleração da NVIDIA CUDA para o stack de computação central da Databricks, estamos fornecendo a base para que clientes em todo o mundo usem seus dados para alimentar a IA generativa empresarial."

A Databricks planeja desenvolver um suporte nativo para a computação acelerada da NVIDIA no Photon, ferramenta vetorizada de consulta de próxima geração da companhia, de modo a proporcionar mais velocidade e eficiência aos warehouses de dados e workloads de analytics dos clientes.

O Photon potencializa o SQL da Databricks, um warehouse de dados sem necessidade de servidor da empresa com preço-desempenho e custo total de propriedade (Total Cost Ownership, ou TCO) líderes de mercado. A Databricks e a NVIDIA acreditam que essa colaboração levará a um novo patamar de preço-desempenho.

No COMPUTEX, principal evento da NVIDIA, o DBRX, modelo de código aberto da Databricks, foi disponibilizado como um dos serviços do NVIDIA NIM. Esses serviços de inferência do NVIDIA NIM fornecem modelos de reservatórios totalmente otimizados e pré-construídos para implantação em qualquer lugar, a fim de aumentar drasticamente a produtividade do desenvolvedor da organização ao fornecer uma maneira simples e padronizada de adicionar modelos de IA generativa às suas soluções.

Lançado em março de 2024, o DBRX foi construído inteiramente dentro da Databricks, aproveitando todas as ferramentas e técnicas disponíveis para clientes e parceiros da empresa, e foi treinado com o NVIDIA DGX Cloud, uma plataforma de IA escalável de ponta a ponta para desenvolvedores. As organizações podem customizar o DBRX com dados empresariais para criar modelos de alta qualidade específicos para elas, ou criar uma arquitetura de referência para construir modelos personalizados de "mix of expert" (MoE), semelhantes ao DBRX, do zero.

A Plataforma de Inteligência de Dados da Databricks é a solução mais completa para criar, avaliar, implantar, proteger e monitorar aplicativos de IA generativa de ponta a ponta. Com a abordagem baseada em dados da Databricks Mosaic AI para a IA generativa, os clientes se beneficiam de uma plataforma aberta e flexível para facilmente escalar aplicações de IA generativa em seus dados próprios, que estarão seguros, corretos e governados.

O anúncio vem logo após a aquisição estratégica da Tabular, uma startup de gerenciamento de dados fundada por Ryan Blue, Daniel Weeks e Jason Reid, pela Databricks. Ao reunir os criadores originais do Apache Iceberg™ e do Delta Lake da Linux Foundation, os dois principais formatos de lakehouse de open source, a Databricks irá liderar o caminho com uma compatibilidade de dados que permite que as organizações não estejam mais limitadas aos formatos em que seus dados estão. A Databricks também anunciou recentemente que vai duplicar o seu ecossistema aberto de Delta Sharing com inovações de produtos e parcerias estratégicas, possibilitando que os clientes consigam reduzir eficientemente os silos de dados e alavanquem a inovação da IA.

Impulsionada pelo aumento da demanda por dados e recursos de IA, a Databricks alcançou mais de US $ 1,6 bilhão em receita no ano fiscal encerrado em 31 de janeiro de 2024, representando um crescimento de mais de 50% em relação ao ano anterior.