ChatGPT OSS Chegou e Pode Rodar Localmente no Seu PC

A Chegada do GPT4All: Conheça o Modelo de IA Local da OpenAI

A OpenAI, criadora do ChatGPT, vinha há algum tempo sinalizando o lançamento de um modelo de Inteligência Artificial (IA) local. Essa expectativa finalmente se concretizou com o lançamento do GPT4All. A grande diferença de ser um modelo local é que ele executa inteiramente na sua máquina, sem depender de conexão com a internet ou de servidores externos da OpenAI.

Isso significa que você pode usá-lo para tarefas que envolvem o manuseio de documentos confidenciais ou segredos comerciais, garantindo a segurança, pois os dados permanecem exclusivamente no seu computador.

O teste inicial foi realizado em uma máquina local construída anteriormente para esse propósito. A ideia é comparar o desempenho do GPT4All com a versão regular do ChatGPT.

Executando o GPT4All

O modelo está sendo executado utilizando o LM Studio. A instalação e configuração são descritas como bastante simples. Uma vez carregado, este modelo de 20 bilhões de parâmetros é capaz de rodar na maioria dos computadores de nível intermediário.

Comparação de Resultados e Desempenho

Qualidade das Respostas

Para avaliar a qualidade, foi solicitado a ambos os modelos um resumo sobre um músico específico, focando em sua distinção sônica. O GPT4All realizou um trabalho excelente ao explicar as nuances sonoras do artista. Ao fazer a mesma pergunta ao ChatGPT (que está conectado aos servidores da OpenAI), a resposta foi muito semelhante, impressionando quem realizou o teste.

Velocidade de Processamento

Outro ponto de destaque no GPT4All é a velocidade de processamento. Comparado a outros modelos de IA local testados, que costumam demorar mais para gerar respostas, o GPT4All demonstrou rodar de forma bastante eficiente.

Uma razão para essa eficiência parece estar relacionada à configuração do esforço de raciocínio, ajustável na parte inferior da interface. Existem opções de configuração para baixo, médio e alto esforço. O teste foi mantido no nível baixo, pois nas configurações média e alta, os resultados não foram tão bons, assemelhando-se mais à primeira versão do ChatGPT lançada em 2023, o GPT-3.5.

Nessas configurações mais elevadas, as respostas tendem a não ser as mais robustas, embora ainda sejam consideradas boas no geral.

Tendência a Alucinações (Invenção de Fatos)

Um problema notado no GPT4All é sua tendência a inventar fatos (alucinar), algo muito característico das primeiras versões do ChatGPT. Para ilustrar, foi pedido a ambos os modelos que explicassem as vacinas de mRNA, sua importância e o impacto de um corte súbito no financiamento de pesquisa pelo governo dos EUA, solicitando, quando possível, que as fontes fossem citadas.

Como o GPT4All roda localmente e não tem acesso à internet, as fontes que ele cita provêm apenas de seus dados de treinamento. Foi constatado que as fontes citadas simplesmente não existem. Ao tentar localizar essas referências no Google, elas não foram encontradas.

Portanto, como ferramenta de pesquisa, recomenda-se cautela ao confiar nas fontes citadas pelo GPT4All. Sugere-se utilizar modelos online, como ChatGPT, Deep Research, Gemini ou Claude, que podem acessar a internet para verificar informações e puxar dados atuais.

Usos Ideais para o GPT4All

O GPT4All é mais adequado para:

  • Comunicação mais segura, devido à execução local dos dados.
  • Uso recreativo e divertido, como simular um “namorado ou namorada de IA”.

Ainda há muito a ser explorado com os modelos de IA locais. A OpenAI fez um bom trabalho com este modelo de 20 bilhões de parâmetros, mas há um longo caminho a percorrer, e há grande expectativa sobre os próximos desenvolvimentos das empresas de IA.

Perguntas Frequentes

  • O que é um modelo de IA local?
    Um modelo de IA local é aquele que executa completamente no hardware do seu computador, sem necessidade de conexão com a internet ou servidores externos para processar as solicitações.
  • Qual a vantagem de usar um modelo local como o GPT4All?
    A principal vantagem é a segurança e privacidade, pois dados sensíveis ou confidenciais não saem da sua máquina.
  • Como o desempenho do GPT4All se compara ao ChatGPT online?
    Em termos de qualidade de resposta para tarefas específicas, as respostas podem ser semelhantes, mas o GPT4All (na configuração de menor esforço) tende a ser mais rápido do que outros modelos locais, embora possa ter menos coerência poética que o ChatGPT.
  • É possível confiar nas fontes citadas pelo GPT4All?
    Não é recomendado confiar nas fontes citadas pelo GPT4All, pois ele tende a inventar referências bibliográficas que não existem em seus dados de treinamento locais.
  • Qual a configuração de esforço recomendada para o GPT4All?
    A configuração de esforço baixo é a mais recomendada, pois as configurações média e alta podem resultar em respostas menos robustas, comparáveis ao GPT-3.5.