Apresentando o llamafile – Mozilla Hacks

Um agradecimento especial a Justine Tunney do Mozilla Internet Ecosystem (MIECO), que foi coautora desta postagem no blog.

Hoje estamos anunciando o primeiro lançamento do arquivo de chamada e convidando a comunidade de código aberto a participar deste novo projeto.

llamafile permite transformar pesos de modelo de linguagem grande (LLM) em executáveis.

Digamos que você tenha um conjunto de pesos LLM na forma de um arquivo de 4 GB (no formato GGUF comumente usado). Com llamafile você pode transformar esse arquivo de 4 GB em um binário que roda em seis sistemas operacionais sem precisar ser instalado.

Isso torna muito mais fácil distribuir e executar LLMs. Isso também significa que, à medida que os modelos e seus formatos de pesos continuam a evoluir ao longo do tempo, o llamafile oferece uma maneira de garantir que um determinado conjunto de pesos permanecerá utilizável e terá um desempenho consistente e reproduzível, para sempre.

Conseguimos tudo isso combinando dois projetos que amamos: ligar.cpp (uma estrutura líder de chatbot LLM de código aberto) com Cosmopolita Libc (um projeto de código aberto que permite que programas C sejam compilados e executados em um grande número de plataformas e arquiteturas). Também exigiu a resolução de vários problemas interessantes e interessantes ao longo do caminho, como adicionar suporte a GPU e dlopen() ao Cosmopolitan; você pode ler mais sobre isso em o README do projeto.

Esta primeira versão do llamafile é um produto do grupo de inovação da Mozilla e desenvolvido por Justine Tunneyo criador da Cosmopolita. Justine tem colaborado recentemente com a Mozilla via MIECOe através desse programa a Mozilla financiou seu trabalho no Versão 3.0 (Discussão de notícias sobre hackers) da Cosmopolita. Com o llamafile, Justine está entusiasmada por contribuir mais diretamente para os projetos da Mozilla e estamos felizes por tê-la envolvida.

llamafile é licenciado pelo Apache 2.0 e incentivamos contribuições. Nossas alterações no próprio llama.cpp são licenciadas pelo MIT (a mesma licença usada pelo próprio llama.cpp) para facilitar qualquer possível upstreaming futuro. Somos todos grandes fãs do llama.cpp por aqui; llamafile não teria sido possível sem ele e o Cosmopolitan.

Esperamos que o llamafile seja útil para você e veja encaminhar para o seu feedback.