Catalogue des modèles

Gemma 3n E4B-IT de Google, un modèle instruct compact (~4B effectifs) à capacités multimodales. Optimisé pour une inférence efficace sur appareil avec une forte couverture multilingue.

LocalAI-compatible model gpt-4

LocalAI-compatible model gpt-4o

LocalAI-compatible model gpt-5.4-mini

Llama 3.2 1B Instruct de Meta, un modèle instruct ultra-compact conçu pour le déploiement sur appareil et en périphérie. Adapté au chat léger, à la synthèse et à la classification de prompts sur CPU.

Modèle de langage à petit paramètre de 3,8 B de Microsoft avec un raisonnement et un suivi d'instructions étonnamment forts pour sa taille. Fonctionne confortablement sur le processeur et surpasse de nombreux modèles plus grands sur les benchmarks courants.

Un modèle optimisé par les instructions de paramètres 3B de la série Qwen 2.5 d'Alibaba, offrant un équilibre solide entre vitesse et capacité de raisonnement. Fonctionne bien sur le processeur et prend en charge une fenêtre contextuelle 8K.

Qwen3 4B Instruct (version 2507) d'Alibaba, un modèle dense compact doté d'un raisonnement et d'un suivi d'instructions améliorés. Fonctionne confortablement sur CPU au format Q4.

Variante orientée raisonnement de Qwen3 4B (version 2507) avec des sorties de type chaîne de pensée étendue. Suffisamment compact pour le CPU mais conçu pour la résolution de problèmes étape par étape.

curl http://localhost:8080/v1/images/generations \ -H "Content-Type: application/json" \ -d '{ "prompt": "<positive prompt>|<negative prompt>", "step": 25, "size": "512x512" }'

Un petit modèle de chat de paramètres de 1,1 B qui fonctionne efficacement sur un processeur avec un minimum de RAM. Idéal pour les environnements à faibles ressources, le prototypage rapide et les cas d'utilisation intégrés où la vitesse de réponse compte plus que la qualité.

Modèle d'instruction Gemma 2 9B de Google DeepMind avec fenêtre coulissante d'attention et logit soft-capping pour une qualité de sortie élevée. Fortes performances sur les tâches de raisonnement et de chat, optimisées pour l'inférence GPU.

Gemma 3 27B Instruct de Google, la plus grande variante dense de Gemma 3 avec une large couverture multilingue et une forte qualité d'assistant général.

Modèle MoE GLM-4.5-Air de Z.ai. ~106B de paramètres totaux avec activation parcimonieuse, offrant une qualité compétitive à un coût de paramètres actifs inférieur aux alternatives denses 70B.

Modèle à poids ouverts gpt-oss-120b d'OpenAI. Plus grand de la famille gpt-oss, conçu pour des tâches d'assistant de haute qualité. Nécessite une VRAM très importante.

Modèle de chat à poids ouverts gpt-oss-20b d'OpenAI, publié dans le cadre de l'initiative open-weights d'OpenAI. Assistant généraliste solide avec une empreinte de 20B de paramètres.

Modèle optimisé pour les instructions Llama 3 8B de Meta offrant de solides performances de chat et de raisonnement à usage général. Nécessite un GPU pour une inférence confortable et offre une excellente qualité pour sa taille.

Dérivé abliterated de Meta Llama 3 8B Instruct publié par failspy, empaqueté en GGUF Q4 pour l'inférence chat LocalAI via llama.cpp. Destiné à la recherche et à l'évaluation contrôlées lorsque la réduction des refus est explicitement recherchée.

Quantification GGUF Q4_K_S par bartowski du modèle failspy Meta Llama 3 8B Instruct abliterated v3, visant une empreinte VRAM plus faible que Q4_K_M tout en restant adaptée à l'inférence chat LocalAI via llama.cpp.

Le modèle d'instruction Llama 3.1 8B de Meta quantifié à Q6_K pour une qualité quasiment sans perte. Ajoute une prise en charge contextuelle de 128 Ko et des capacités multilingues améliorées par rapport à Llama 3, au prix d'une utilisation plus élevée de la VRAM.

Llama 3.3 70B Instruct de Meta. Qualité de chat de classe 70B avec l'instruction tuning 3.3 amélioré. Nécessite un GPU haut de gamme en Q4.

Llama 4 Scout 17B-16E Instruct de Meta. Modèle MoE natif avec 16 experts. Architecture solide à capacités multimodales de la famille Llama 4.

LocalAI-compatible model minicpm-v-4.5-q4-k-m

Modèle d'instruction 7B v0.2 de Mistral AI avec un contexte de fenêtre coulissante de 32 000 jetons, un suivi d'instructions rigoureux et une sortie de haute qualité. Un modèle de GPU complet équilibrant vitesse et capacité.

Modèle d'instruction Qwen 2.5 14B d'Alibaba avec une qualité proche de la frontière en matière de raisonnement, de codage et de mathématiques. Nécessite une VRAM importante mais offre un rendement nettement meilleur que les modèles de classe 7B.

Modèle dense Qwen2.5 72B Instruct d'Alibaba. Qualité de chat et de raisonnement haut de gamme pour les déploiements auto-hébergés avec GPU important.

LocalAI-compatible model qwen2.5-7b-functioncall-q4-k-m

Le modèle d'instruction Qwen 2.5 7B d'Alibaba excelle dans les tâches de raisonnement, de mathématiques, de codage et multilingues. Prend en charge jusqu'à 128 Ko de contexte et offre des performances inégalées pour un modèle 7B.

Modèle dense Qwen3 14B d'Alibaba. Alternative de meilleure qualité à la version 8B avec un raisonnement nettement supérieur au prix d'une VRAM plus élevée.

Modèle MoE Qwen3 30B-A3B d'Alibaba. 30B de paramètres totaux avec ~3B actifs par token, offrant une qualité de classe 32B pour un coût d'inférence proche du 8B.

Modèle dense Qwen3 32B d'Alibaba. Qualité production pour le chat, le raisonnement et le code, avec une empreinte VRAM importante.

Modèle dense Qwen3 8B d'Alibaba offrant de solides performances de chat général, de raisonnement et d'utilisation d'outils. Un défaut équilibré pour les déploiements auto-hébergés avec GPU.

Qwen3-Next 80B-A3B Instruct d'Alibaba. MoE de nouvelle génération avec 80B totaux / ~3B actifs par token. Le niveau de qualité Qwen3 le plus élevé accessible à un coût de service proche du 8B.

Modèle de raisonnement QwQ-32B d'Alibaba. Spécialisé pour la chaîne de pensée et la résolution de problèmes en plusieurs étapes avec traces de raisonnement étendues.

Le modèle de code 1,3 B de DeepSeek s'est entraîné sur 2 000 milliards de jetons de code et de langage naturel. Malgré sa petite taille, il offre de solides performances de complétion de code et fonctionne confortablement sur le processeur.

Le modèle d'instruction Qwen 2.5 Coder 1.5B d'Alibaba, un modèle compact de complétion et de génération de code optimisé pour l'inférence CPU. Prend en charge plusieurs langages de programmation et une fenêtre contextuelle 8K.

Qwen2.5-Coder 3B Instruct d'Alibaba, modèle de code instruct avec une petite empreinte. Adapté à la complétion in-editor et au chat orienté code sur nœuds CPU uniquement.

Le modèle de complétion de code 3B de Stability AI est formé sur divers langages de programmation. Un modèle léger et convivial pour le processeur, bien adapté aux tâches de complétion et de génération de code dans un seul fichier.

Modèle d'instruction Code Llama 7B de Meta, affiné à partir de Llama 2 sur des ensembles de données riches en code. Prend en charge la génération, la complétion et le remplissage de code dans de nombreux langages de programmation.

Le modèle de code optimisé par les instructions 6,7 B de DeepSeek est formé sur des jetons de code 2T. Fort dans plusieurs langages de programmation avec prise en charge du remplissage au milieu. Nécessite un GPU pour une vitesse d'inférence pratique.

DeepSeek Coder V2 Lite est un modèle MoE 16B (2,4B de paramètres actifs) avec des performances de codage de pointe. Prend en charge le contexte 128 Ko, remplit le milieu et surpasse GPT-4o sur de nombreux tests de codage.

Qwen2.5-Coder 32B Instruct d'Alibaba. Modèle de code dense phare offrant une génération de code, un refactoring et un raisonnement à la pointe en open-weights sur contextes multi-fichiers.

Modèle d'instruction Qwen 2.5 Coder 7B d'Alibaba, excellant dans la génération de code, le débogage et l'explication dans 92 langages de programmation. Prend en charge une fenêtre contextuelle 16K avec de solides performances de référence.

Modèle MoE Qwen3-Coder 30B-A3B Instruct d'Alibaba. 30B totaux avec ~3B actifs par token. Équilibre la qualité d'un gros modèle de code et un coût de service efficient.

StarCoder2 15B de BigCode, un modèle de code ouvert phare formé sur The Stack v2 (plus de 600 langues). Fournit une complétion et une génération de code de haute qualité pour les bases de code professionnelles avec une fenêtre contextuelle de 16 Ko.

StarCoder2 7B de BigCode est formé sur plus de 600 langages de programmation avec licence permissive. Fortes capacités de remplissage du milieu et de complétion de code, en particulier pour les référentiels de style GitHub.

Modèle d'intégration anglais BGE Small de BAAI (33 millions de paramètres) produisant des vecteurs à 384 dimensions. Léger et économe en CPU avec de solides performances sur les tâches de récupération de l'anglais et de similarité sémantique.

Modèle d'intégration de 137 millions de paramètres de Nomic AI prenant en charge les documents courts et longs (jusqu'à 8 192 jetons). Atteint de solides performances sur les benchmarks MTEB avec des poids et des données d'entraînement entièrement ouverts.

Modèle d'intégration anglais BERT-based Small, aliassé à text-embedding-ada-002 pour la compatibilité. Léger et économe en CPU avec de solides performances sur les tâches de récupération de l'anglais et de similarité sémantique.

Modèle d'intégration anglais BGE Base de BAAI (109 millions de paramètres) produisant des vecteurs à 768 dimensions. Un solide modèle d'intégration anglais à usage général, équilibrant la taille et la qualité de récupération, idéal pour les pipelines accélérés par GPU.

Modèle d'intégration anglais BGE Large de BAAI (335 millions de paramètres) produisant des vecteurs à 1024 dimensions. Qualité de récupération de l'anglais de premier plan sur MTEB, mieux utilisée lorsque la précision de l'intégration est plus importante que la vitesse.

Le modèle d'intégration anglais de 137 millions de paramètres de Jina AI prend en charge un contexte de 8 192 jetons, bien plus long que la plupart des modèles d'intégration. Bien adapté à la récupération au niveau des documents et aux pipelines RAG à contexte long.

Modèle d'intégration multilingue E5 Base de Microsoft (278 millions de paramètres) prenant en charge plus de 100 langues. Produit des vecteurs à 768 dimensions avec de fortes performances de récupération multilingue et de similarité sémantique.

Modèle d'intégration E5 Large multilingue de Microsoft (560 millions de paramètres) pour plus de 100 langues. Fournit des intégrations multilingues de haute qualité (1024-dim) au prix d'exigences accrues en matière de mémoire et de calcul.

Le grand modèle d'intégration anglais de 335 millions de paramètres de Mixedbread AI atteint des performances de pointe sur MTEB. Produit des vecteurs à 1 024 dimensions avec de solides résultats de récupération, de regroupement et de similarité sémantique.

Stable Diffusion v1.5 Inpainting affiné par RunwayML, spécialisé dans l'édition d'images masquées et la suppression/remplacement d'objets. Accepte une image et un masque pour régénérer uniquement la région sélectionnée.

Stable Diffusion v1.5 par RunwayML, le modèle fondamental de génération d'images ouvertes. Génère des images de 512 px avec un large support communautaire, un vaste écosystème LoRA/de réglage fin et une vitesse d'inférence CPU raisonnable.

Animagine XL 4.0 de CagliostroLab, un réglage fin SDXL spécialisé pour la génération d'images de style anime de haute qualité. Excelle dans les illustrations de personnages, les scènes et l’art animé avec un support rapide et riche.

Black Forest Labs FLUX.1 Dev, un modèle texte-image distillé par guidage de 12 B paramètres offrant une qualité d'image de premier ordre. Suivi d'invite et détails de premier ordre, nécessitant une VRAM importante pour l'inférence.

Black Forest Labs FLUX.1 Schnell, un modèle texte-image distillé à 12 B paramètres optimisé pour la vitesse, générant des images de haute qualité en 1 à 4 étapes. Licence Apache 2.0 commercialement permissive.

Playground v2.5 de Playground AI, un réglage esthétique basé sur SDXL permettant d'obtenir des scores de préférence humaine de pointe à 1 024 px. Excelle dans la génération photoréaliste et artistique avec une haute qualité visuelle.

Stable Diffusion XL Base 1.0 par Stability AI, générant des images haute fidélité de 1 024 px avec une adhérence améliorée aux invites. Une amélioration majeure de la qualité par rapport au SD1.5, nécessitant un GPU pour une vitesse de génération pratique.

Stable Diffusion 3.5 Large de Stability AI (paramètre 8B MMDiT), offrant une qualité texte-image de pointe avec une excellente typographie et une adhésion rapide à une résolution de 1024 px.

BGE Reranker Base de BAAI, un encodeur croisé de 110 millions de paramètres pour le reclassement des résultats de récupération. Améliore considérablement la précision du pipeline RAG en notant directement les paires de pertinence requête-document.

You can test this model with curl like this: curl http://localhost:8080/v1/rerank \ -H "Content-Type: application/json" \ -d '{ "model": "jina-reranker-v1-base-en", "query": "Organic skincare products for sensitive skin", "documents": [ "Eco-friendly kitchenware for modern homes", "Biodegradable cleaning supplies for eco-conscious consumers", "Organic cotton baby clothes for sensitive skin", "Natural organic skincare range for sensitive skin", "Tech gadgets for smart homes: 2024 edition", "Sustainable gardening tools and compost solutions", "Sensitive skin-friendly facial cleansers and toners", "Organic food wraps and storage solutions", "All-natural pet food for dogs with allergies", "Yoga mats made from recycled materials" ], "top_n": 3 }'

Le petit reclasseur anglais de 33 millions de paramètres de Jina AI optimisé pour la vitesse et l'efficacité du processeur. Un encodeur croisé très rapide pour le reclassement qui sacrifie une certaine précision pour une surcharge de calcul minimale.

BGE Reranker Large de BAAI, un encodeur croisé de haute précision de 335 millions de paramètres pour le reclassement de l'anglais. Fournit un score de pertinence de requête-document de premier niveau pour les pipelines de récupération exigeants.

BGE Reranker v2-Gemma de BAAI, construit sur un squelette Gemma-2B pour une précision de reclassement de pointe. Surclasse considérablement les petits rerankers sur des tâches de pertinence complexes au prix d'une VRAM plus élevée.

BGE Reranker v2-M3 de BAAI, un encodeur croisé multilingue de 570 millions de paramètres construit sur bge-m3. Forte qualité de reclassement dans plus de 100 langues, adaptée aux RAG et aux pipelines de recherche multilingues.

Le reranker multilingue v2 de 278 millions de paramètres de Jina AI prend en charge plus de 100 langues. Scoring multi-encodeur de haute qualité avec de solides performances de récupération multilingue et une prise en charge de contexte long (8 192 jetons).

Pocket TTS de Kyutai, un modèle de synthèse vocale ultra-léger fonctionnant entièrement sur CPU avec une latence d'environ 200 ms. Comprend 8 voix intégrées (dont azelma) et prend en charge le clonage de voix personnalisé.

LocalAI-compatible model silero-vad

To test if this model works as expected, you can use the following curl command: curl http://localhost:8080/tts -H "Content-Type: application/json" -d '{ "model":"tts-1", "input": "Hi, this is a test." }'

Whisper Base d'OpenAI (74 millions de paramètres), un modèle léger de reconnaissance vocale équilibrant vitesse et qualité de transcription. Idéal pour l'inférence CPU sur un son clair dans plusieurs langues.

Whisper Tiny d'OpenAI (39 millions de paramètres), la plus petite variante Whisper pour la synthèse vocale. Vitesse d'inférence la plus rapide avec une précision acceptable pour un son clair en anglais et dans les langues courantes.

Modèle CustomVoice Qwen3 TTS 1.7B d'Alibaba pour une synthèse texte-parole expressive et naturelle. Prend en charge la génération de streaming, le clonage vocal sans tir et la conception vocale personnalisée.

VibeVoice Realtime 0.5B de Microsoft, un modèle TTS de diffusion de jetons suivant atteignant une latence de bout en bout d'environ 300 ms. Combine un backbone Qwen2.5-0.5B avec un décodeur acoustique pour une synthèse vocale expressive en temps réel.

Whisper Large v3 d'OpenAI (1,55 B de paramètres), le modèle de reconnaissance vocale ouverte de la plus haute précision. Une qualité de transcription quasi humaine dans 99 langues nécessite un GPU pour une vitesse d'inférence pratique.

Whisper Large v3 Turbo d'OpenAI (paramètres 809M), une version élaguée de Large v3 avec seulement 4 couches de décodeur. Précision quasi-large-v3 à environ 3 fois la vitesse, idéale pour la transcription en temps réel sur GPU.

Whisper Small d'OpenAI (244 millions de paramètres) via un chuchotement plus rapide pour une inférence GPU optimisée. Offre une qualité de transcription multilingue solide à une vitesse modérée, adaptée aux charges de travail de production.

LLaVA 1.5 basé sur Phi-2 (2.7B), un modèle de langage de vision compact capable de comprendre les images et de répondre visuellement aux questions. Taille adaptée au processeur avec une bonne précision pour les tâches de vision quotidiennes.

Moondream2 de Vikhyat (~ 1,86 B de paramètres), un modèle de langage de vision minuscule mais performant conçu pour un sous-titrage d'images et des questions-réponses visuelles efficaces. Fonctionne sur un matériel modeste tout en offrant une compréhension étonnamment bonne des images.

BakLLaVA-1, un modèle de langage de vision combinant Mistral-7B avec l'architecture LLaVA 1.5. Hérite des fortes capacités linguistiques de Mistral tout en ajoutant la compréhension des images et des questions-réponses visuelles.

InternVL2 8B d'OpenGVLab, un modèle de langage de vision hautes performances combinant InternViT-300M avec InternLM2.5-7B. Excelle dans les tâches d'OCR, de graphiques, de compréhension de documents et de raisonnement multi-images.

LLaVA 1.5 7B, un modèle de langage de vision combinant Vicuna-7B avec un encodeur visuel CLIP. Excellente compréhension des images, réponse visuelle aux questions et capacités de description de scène avec inférence GPU.

LLaVA 1.6 (LLaVA-NeXT) 13B basé sur Vicuna-13B, avec une résolution d'image améliorée (jusqu'à 2880 px), un raisonnement plus fort et un meilleur OCR que LLaVA 1.5. Questions et réponses visuelles de haute qualité et analyse détaillée de la scène.

Qwen2-VL 2B d'Alibaba, un modèle de langage de vision compact avec prise en charge de la résolution dynamique et compréhension des images, des vidéos et des documents. Fortes performances pour sa taille sur les tâches de raisonnement visuel.

Qwen2-VL 7B d'Alibaba, un modèle de langage de vision puissant prenant en charge les résolutions d'image dynamiques, la compréhension vidéo et les documents longs. Performances de pointe en matière de raisonnement visuel et d'analyse de documents.

Modèle vision-langage phare Qwen2.5-VL 72B Instruct d'Alibaba. Compréhension d'images et raisonnement multimodal open-weights de premier plan. Nécessite une VRAM très importante.

Modèle MoE Qwen3-VL 30B-A3B Instruct d'Alibaba. Qualité de compréhension d'images de classe 32B à ~3B de coût d'inférence actif, idéal pour les pipelines multimodaux à volume élevé.

Modèle vision-langage Qwen3-VL 8B Instruct d'Alibaba. Compréhension d'images généraliste solide, OCR et chat multimodal dans une taille compacte de 8B.