À mesure que les modèles d'IA deviennent plus accessibles, les développeurs trouvent des moyens créatifs de les exécuter sur du matériel non conventionnel. Un récent article d'un développeur chinois montre comment utiliser Termux, un émulateur de terminal open source pour Android, pour exécuter Ollama et déployer de grands modèles de langage directement sur un téléphone. La motivation était simple : l'ordinateur principal du développeur manquait de ressources, et un téléphone Android inutilisé semblait être un candidat parfait pour décharger les charges de travail LLM. Cette approche s'inscrit dans une tendance plus large vers l'IA de périphérie, où le calcul se fait plus près de la source de données plutôt que dans des serveurs cloud centralisés. Bien que l'exécution de LLM sur des appareils mobiles présente des limitations en termes de taille de modèle et de performances, elle ouvre des possibilités pour des applications sensibles à la vie privée, des cas d'utilisation hors ligne et des expérimentations rentables.
Un développeur montre comment exécuter Ollama sur Android via Termux, transformant les téléphones inutilisés en serveurs LLM locaux. Cela signale la tendance croissante de l'IA de périphérie et de la réutilisation du matériel mobile.