Chat & Assistant

Gemma 3n E4B-IT de Google, un modèle instruct compact (~4B effectifs) à capacités multimodales. Optimisé pour une inférence efficace sur appareil avec une forte couverture multilingue.

LocalAI-compatible model gpt-4

LocalAI-compatible model gpt-4o

LocalAI-compatible model gpt-5.4-mini

Llama 3.2 1B Instruct de Meta, un modèle instruct ultra-compact conçu pour le déploiement sur appareil et en périphérie. Adapté au chat léger, à la synthèse et à la classification de prompts sur CPU.

Modèle de langage à petit paramètre de 3,8 B de Microsoft avec un raisonnement et un suivi d'instructions étonnamment forts pour sa taille. Fonctionne confortablement sur le processeur et surpasse de nombreux modèles plus grands sur les benchmarks courants.

Un modèle optimisé par les instructions de paramètres 3B de la série Qwen 2.5 d'Alibaba, offrant un équilibre solide entre vitesse et capacité de raisonnement. Fonctionne bien sur le processeur et prend en charge une fenêtre contextuelle 8K.

Qwen3 4B Instruct (version 2507) d'Alibaba, un modèle dense compact doté d'un raisonnement et d'un suivi d'instructions améliorés. Fonctionne confortablement sur CPU au format Q4.

Variante orientée raisonnement de Qwen3 4B (version 2507) avec des sorties de type chaîne de pensée étendue. Suffisamment compact pour le CPU mais conçu pour la résolution de problèmes étape par étape.

curl http://localhost:8080/v1/images/generations \ -H "Content-Type: application/json" \ -d '{ "prompt": "<positive prompt>|<negative prompt>", "step": 25, "size": "512x512" }'

Un petit modèle de chat de paramètres de 1,1 B qui fonctionne efficacement sur un processeur avec un minimum de RAM. Idéal pour les environnements à faibles ressources, le prototypage rapide et les cas d'utilisation intégrés où la vitesse de réponse compte plus que la qualité.

Modèle d'instruction Gemma 2 9B de Google DeepMind avec fenêtre coulissante d'attention et logit soft-capping pour une qualité de sortie élevée. Fortes performances sur les tâches de raisonnement et de chat, optimisées pour l'inférence GPU.

Gemma 3 27B Instruct de Google, la plus grande variante dense de Gemma 3 avec une large couverture multilingue et une forte qualité d'assistant général.

Modèle MoE GLM-4.5-Air de Z.ai. ~106B de paramètres totaux avec activation parcimonieuse, offrant une qualité compétitive à un coût de paramètres actifs inférieur aux alternatives denses 70B.

Modèle à poids ouverts gpt-oss-120b d'OpenAI. Plus grand de la famille gpt-oss, conçu pour des tâches d'assistant de haute qualité. Nécessite une VRAM très importante.

Modèle de chat à poids ouverts gpt-oss-20b d'OpenAI, publié dans le cadre de l'initiative open-weights d'OpenAI. Assistant généraliste solide avec une empreinte de 20B de paramètres.

Modèle optimisé pour les instructions Llama 3 8B de Meta offrant de solides performances de chat et de raisonnement à usage général. Nécessite un GPU pour une inférence confortable et offre une excellente qualité pour sa taille.

Dérivé abliterated de Meta Llama 3 8B Instruct publié par failspy, empaqueté en GGUF Q4 pour l'inférence chat LocalAI via llama.cpp. Destiné à la recherche et à l'évaluation contrôlées lorsque la réduction des refus est explicitement recherchée.

Quantification GGUF Q4_K_S par bartowski du modèle failspy Meta Llama 3 8B Instruct abliterated v3, visant une empreinte VRAM plus faible que Q4_K_M tout en restant adaptée à l'inférence chat LocalAI via llama.cpp.

Le modèle d'instruction Llama 3.1 8B de Meta quantifié à Q6_K pour une qualité quasiment sans perte. Ajoute une prise en charge contextuelle de 128 Ko et des capacités multilingues améliorées par rapport à Llama 3, au prix d'une utilisation plus élevée de la VRAM.

Llama 3.3 70B Instruct de Meta. Qualité de chat de classe 70B avec l'instruction tuning 3.3 amélioré. Nécessite un GPU haut de gamme en Q4.

Llama 4 Scout 17B-16E Instruct de Meta. Modèle MoE natif avec 16 experts. Architecture solide à capacités multimodales de la famille Llama 4.

LocalAI-compatible model minicpm-v-4.5-q4-k-m

Modèle d'instruction 7B v0.2 de Mistral AI avec un contexte de fenêtre coulissante de 32 000 jetons, un suivi d'instructions rigoureux et une sortie de haute qualité. Un modèle de GPU complet équilibrant vitesse et capacité.

Modèle d'instruction Qwen 2.5 14B d'Alibaba avec une qualité proche de la frontière en matière de raisonnement, de codage et de mathématiques. Nécessite une VRAM importante mais offre un rendement nettement meilleur que les modèles de classe 7B.

Modèle dense Qwen2.5 72B Instruct d'Alibaba. Qualité de chat et de raisonnement haut de gamme pour les déploiements auto-hébergés avec GPU important.

LocalAI-compatible model qwen2.5-7b-functioncall-q4-k-m

Le modèle d'instruction Qwen 2.5 7B d'Alibaba excelle dans les tâches de raisonnement, de mathématiques, de codage et multilingues. Prend en charge jusqu'à 128 Ko de contexte et offre des performances inégalées pour un modèle 7B.

Modèle dense Qwen3 14B d'Alibaba. Alternative de meilleure qualité à la version 8B avec un raisonnement nettement supérieur au prix d'une VRAM plus élevée.

Modèle MoE Qwen3 30B-A3B d'Alibaba. 30B de paramètres totaux avec ~3B actifs par token, offrant une qualité de classe 32B pour un coût d'inférence proche du 8B.

Modèle dense Qwen3 32B d'Alibaba. Qualité production pour le chat, le raisonnement et le code, avec une empreinte VRAM importante.

Modèle dense Qwen3 8B d'Alibaba offrant de solides performances de chat général, de raisonnement et d'utilisation d'outils. Un défaut équilibré pour les déploiements auto-hébergés avec GPU.

Qwen3-Next 80B-A3B Instruct d'Alibaba. MoE de nouvelle génération avec 80B totaux / ~3B actifs par token. Le niveau de qualité Qwen3 le plus élevé accessible à un coût de service proche du 8B.

Modèle de raisonnement QwQ-32B d'Alibaba. Spécialisé pour la chaîne de pensée et la résolution de problèmes en plusieurs étapes avec traces de raisonnement étendues.