Ilyana
Une pile d'apprentissage automatique écrite de zéro — tenseurs, différentiation automatique, optimiseurs, noyaux GPU — et les modèles qu'elle entraîne : un modèle de langue maison, de la reconnaissance et de la synthèse vocale, des générateurs de formes en trois dimensions. Recherche à petite échelle, assumée comme telle.
Ilyana est le versant recherche du projet, et le plus modeste dans ses prétentions. Tout y est écrit à la main : la bibliothèque de tenseurs, la différentiation automatique vérifiée terme à terme, les optimiseurs, et les noyaux de calcul qui tournent sur la carte graphique à travers notre propre langage de shaders. Sur cette base s'entraînent un modèle de langue de dix-neuf millions de paramètres, une chaîne vocale complète allant des coefficients acoustiques à la reconnaissance par réseau récurrent et à la synthèse, et des auto-encodeurs qui engendrent maillages et volumes. L'échelle est petite, les moyens tiennent dans une seule carte graphique d'ordinateur portable, et nous publions aussi les résultats négatifs — les pistes qui n'ont rien donné sont écrites au même titre que celles qui ont marché. C'est un travail d'apprentissage par la construction, pas une tentative de rivaliser avec les grands laboratoires.
Envie de collaborer sur la recherche ?
Nous sommes ouverts aux partenariats avec les universités, hubs technologiques et centres d'innovation.