Matthew Pulsipher

Productizing Decisional AI

Neste episódio, Darren entrevista seu filho Matthew Pulsipher sobre a criação de produtos de inteligência artificial decisória. Matthew recentemente modernizou e incluiu a IA decisória em seu processo de desenvolvimento de produtos.

CrowdStrike Outage Exposes Cybersecurity Flaws

A interrupção da CrowdStrike durante o fim de semana expôs falhas importantes em nossa abordagem à Cybersegurança, Engenharia de Software e Arquitetura de Sistemas. Darren se junta ao convidado que retorna, Matthew Pulsipher, para discutir as implicações dos eventos deste fim de semana.

GenAI + RAG + Apple Mac = Private GenAI

Nesta conversa, Matthew Pulsipher discute as complexidades de configurar um sistema de IA generativo privado, enfatizando a importância de entender seus componentes, incluindo modelos, servidores e aplicações front-end. Ele elabora sobre a significância do contexto nas respostas de IA e introduz o conceito de Geração Aumentada por Recuperação (RAG) para melhorar o desempenho da IA. A discussão também abrange a afinação de modelos de incorporação, o papel da quantização na eficiência da IA e o potencial de rodar sistemas de IA privados em Macs, destacando soluções de hospedagem com bom custo-benefício para empresas.

Conclusões

• Configurar uma IA generativa privada requer a compreensão de vários componentes.
• A fuga de dados não é uma preocupação com os modelos de IA generativa privada.
• O contexto é crucial para gerar respostas relevantes da IA.
• A Geração Aumentada por Recuperação (RAG) aprimora a habilidade da IA de fornecer contexto.
• A afinação do modelo de incorporação pode melhorar significativamente os resultados da IA.
• A quantização reduz o tamanho do modelo, mas pode impactar na precisão.
• Os Macs estão em uma posição única para rodar IA generativa privada de forma eficiente.
• Soluções de hospedagem de custo eficaz para IA privada podem economizar dinheiro para as empresas.
• Uma tecnologia está avançando em direção a dispositivos móveis e processamento local.

Capítulos

00:00 Introdução aos Superpoderes e Histórico de Matthew 07:50 Melhorando o Contexto com a Geração Aumentada por Recuperação (RAG) 18:25 Compreendendo a Quantização em Modelos de IA 23:31 Rodando IA Generativa Privada em Macs 29:20 Soluções de Hospedagem Custo-Benefício para IA Privada