GlobalFoundries, une société qui fabrique des puces pour d’autres, notamment AMD et Normal Motors, a précédemment annoncé un partenariat avec Lightmatter. Harris affirme que son entreprise « travaille avec les plus grandes sociétés de semi-conducteurs au monde ainsi qu’avec les hyperscalers », faisant référence aux plus grandes sociétés de cloud comme Microsoft, Amazon et Google.
Si Lightmatter ou une autre entreprise parvient à réinventer le câblage des projets géants d’IA, un goulot d’étranglement majeur dans le développement d’algorithmes plus intelligents pourrait disparaître. L’utilisation de davantage de calculs a été fondamentale pour les progrès qui ont conduit à ChatGPT, et de nombreux chercheurs en IA considèrent la poursuite de la mise à l’échelle du matériel comme étant cruciale pour les progrès futurs dans le domaine et pour l’espoir d’atteindre un jour l’objectif vaguement spécifié de intelligence artificielle généraleou AGI, ce qui signifie des programmes qui peuvent égaler ou dépasser l’intelligence biologique à tous égards.
Selon Nick Harris, PDG de Lightmatter, relier un million de puces à la lumière pourrait permettre la création d’algorithmes sur plusieurs générations, dépassant ceux d’aujourd’hui. « Passage va activer les algorithmes AGI », suggère-t-il avec confiance.
Les grands centres de données nécessaires à la formation d’algorithmes d’IA géants sont généralement constitués de racks remplis de dizaines de milliers d’ordinateurs exécutant des puces de silicium spécialisées et d’un ensemble de connexions principalement électriques entre eux. Maintenir les cycles de formation pour l’IA sur un si grand nombre de systèmes, tous connectés par des fils et des commutateurs, est une priorité. énorme projet d’ingénierie. La conversion entre les signaux électroniques et optiques impose également des limites fondamentales à la capacité des puces à exécuter des calculs ensemble.
L’approche de Lightmatter est conçue pour simplifier le trafic délicat à l’intérieur des centres de données d’IA. « Normalement, vous avez un tas de GPU, puis une couche de commutateurs, et une couche de commutateurs, et une couche de commutateurs, et vous devez parcourir cette arborescence » pour communiquer entre deux GPU, explique Harris. Dans un centre de données connecté par Passage, explique Harris, chaque GPU disposerait d’une connexion haut débit à toutes les autres puces.
Le travail de Lightmatter sur Passage est un exemple de la façon dont l’essor récent de l’IA a inspiré les entreprises, grandes et petites, à tenter de réinventer le matériel clé derrière des avancées telles que ChatGPT d’OpenAI. Nvidia, le principal fournisseur de GPU pour les projets d’IAa tenu sa conférence annuelle le mois dernier, où PDG Jensen Huang a dévoilé la dernière puce de l’entreprise pour la formation de l’IA : un GPU appelé Puits noir. Nvidia vendra le GPU dans une « superpuce » composée de deux GPU Blackwell et d’un processeur CPU conventionnel, tous connectés à l’aide de la nouvelle technologie de communication à haut débit de la société appelée NVLink-C2C.
L’industrie des puces est connue pour trouver des moyens d’extraire plus de puissance de calcul des puces sans les agrandir, mais Nvidia a choisi d’inverser cette tendance. Les GPU Blackwell intégrés à la superpuce de l’entreprise sont deux fois plus puissants que leurs prédécesseurs, mais sont fabriqués en assemblant deux puces, ce qui signifie qu’ils consomment beaucoup plus d’énergie. Ce compromis, en plus des efforts de Nvidia pour relier ses puces avec des liaisons à haut débit, suggère que les mises à niveau d’autres composants clés pour les supercalculateurs d’IA, comme celui proposé par Lightmatter, pourraient devenir plus importantes.
