LLMs são importantes demais para serem deixados nas mãos das grandes tecnologias. Há uma lacuna entre os modelos de fronteira e os modelos que podem ser executados no seu dispositivo, mas os modelos locais melhoram a cada dia e, uma vez que ultrapassam um determinado limite de capacidade, serão bons o suficiente para a maioria dos propósitos; e virá com total privacidade e controle.
Com base nessas suposições, estamos trabalhando no Ensu, o aplicativo LLM offline do Ente. Hoje é nosso primeiro lançamento.
Baixe aqui.
No restante desta postagem, explicaremos por que achamos que as suposições são válidas, o que estamos fazendo e como você pode se envolver.
Por que
LLMs são importantes demais para serem deixados nas mãos das grandes tecnologias. Já escrevemos detalhadamente sobre isso anteriormente, aqui e aqui.
Resumidamente, essas postagens abordam isso de dois ângulos:
Se você odeia LLMs, ainda será capaz de reconhecer em momentos de pensamento mais claros que os LLMs são uma tecnologia que não pode ser simplesmente descartada.
Se você gosta de interagir com LLMs, reconheceria a falta de privacidade e a alta dependência (proibições arbitrárias, modelagem de conteúdo, memória não portátil) de provedores centralizados.
E em ambos os casos também está claro que os LLMs podem ser usados para manipular pessoas em massa. Portanto, não podemos ficar à mercê das grandes tecnologias que os controlam.
O problema é que existe uma lacuna de capacidade entre grandes modelos centralizados e modelos menores que podem ser executados offline no seu dispositivo.
Mas somos solucionadores de problemas e este não é o nosso primeiro rodeio. Quando iniciamos o Ente Photos, parecia impensável que seríamos capazes de fornecer reconhecimento facial, agrupamento de pessoas e pesquisa de imagens em linguagem natural, todos executados localmente no seu dispositivo. As pessoas nos chamavam de loucos.
Demorou muitos anos, mas conseguimos. Nossos usuários aproveitam esses recursos todos os dias. Tudo é feito localmente no dispositivo, e também sincronizado e criptografado de ponta a ponta em todos os seus dispositivos. Privacidade total, controle total, sem perda de comodidade; tecnologia a serviço das pessoas, não como ferramenta de vigilância.
Na mesma linha, embora estejamos ansiosos há muito tempo para fazer algo em relação aos LLMs locais, só recentemente é que modelos menores estão se tornando viáveis para serem executados em dispositivos de consumo. Agora achamos que existem medidas viáveis que podemos tomar.
É aqui que entra a segunda suposição. Embora os modelos descentralizados menores melhorem a cada dia, o mesmo acontece com os modelos centralizados maiores. No entanto, pensamos que a lacuna não é o que importa – em vez disso, trata-se de um limiar, e de como os recursos do modelo são usados. Uma vez que os modelos menores ultrapassem um determinado limite, eles serão suficientes para proporcionar alegria, utilidade e comodidade na vida das pessoas.
O que
Hoje estamos lançando Ensu. É um aplicativo semelhante ao chatgpt que roda totalmente no seu dispositivo com total privacidade e custo zero. Em breve, você também poderá fazer backup e sincronizar seus bate-papos em seus dispositivos conectando sua conta Ente (ou hospedagem própria), com criptografia completa de ponta a ponta.
Este não é o começo, nem é o fim. Este é apenas um ponto de verificação.
Ensu é atualmente um projeto do Ente Labs. Por enquanto, queremos apenas iterar o produto e sua direção, sem trazer preços e estabilidade muito cedo.
Apenas para acertar as expectativas, atualmente não é tão poderoso quanto ChatGPT ou Claude Code. Mesmo assim, já é bastante divertido! Aqui estão algumas coisas que temos feito com ele:
Fazendo uma introspecção sobre pensamentos que não arriscaríamos colocar em um LLM não privado.
Falando sobre livros (atualmente o Ensu não possui pesquisa na web, mas você ficará surpreso com o quão bem ele conhece clássicos como o Gita ou a Bíblia)
Conversando com ele em voos quando não há internet.
O aplicativo é de código aberto e está disponível para iOS, Android, macOS, Linux e Windows. Também temos uma versão experimental baseada na web. Anexos de imagem também são suportados. A lógica principal é escrita em Rust, e para cada plataforma temos aplicativos nativos (móveis) e Tauri (desktop) que usam a mesma lógica compartilhada.
Já implementamos sincronização e backups E2EE (opcionais) para que você possa acessar seus bate-papos em vários dispositivos. Isso usa a conta Ente que você já possui e também pode ser auto-hospedada, assim como o Ente Photos. No entanto, no último minuto decidimos não ativar a sincronização no checkpoint que estamos lançando hoje. Essa é a história da próxima seção.
O que vem a seguir
Estamos vendo Ensu como uma jornada. Existe um destino preciso – um LLM pessoal e privado com sincronização criptografada – mas o caminho para ele é nebuloso. Existem várias direções que podemos seguir:
Em vez de um bate-papo geral, moldamos o Ensu para ter uma interface mais especializada, digamos, como uma nota única e interminável na qual você continua escrevendo, enquanto o LLM oferece sugestões, críticas, lembretes, contexto, alternativas, pontos de vista, citações. Um segundo cérebro, se você preferir.
Uma abordagem mais utilitária, digamos, como um Android Launcher, onde o LLM é um detalhe de implementação por trás de uma interação existente com a qual as pessoas já estão acostumadas.
Seu agente, executando no seu telefone. Sem configuração, sem gerenciamento, sem backups manuais. Um LLM que cresce com você, lembra de você, de suas escolhas, gerencia suas tarefas e tem memória e personalidade de longo prazo.
Por enquanto vamos apenas esperar um pouco pelo feedback antes de dar o próximo passo. E como essas direções futuras podem alterar a arquitetura de persistência, adiamos a ativação da sincronização.
Quando a sincronização chegar, seus bate-papos locais existentes serão copiados e sincronizados também.
Adoraríamos receber seu feedback. Os próximos passos não são claros e queremos que você influencie o que construímos. Diga-nos o que você quiser, e nós conseguiremos. Você pode escrever para nós em [email protected]ou junte-se ao nosso Discord e vá para o #ensu canal.
Você pode baixar o Ensu aqui.
Fonte: theverge
