Les cinq défis techniques que Cerebras a surmontés lors de la construction du premier billion de puces à transistors

Les superlatifs abondent à Cerebras, la société de puces de silicium de nouvelle génération furtive qui existe encore et qui cherche à faire de la formation un modèle d’apprentissage approfondi aussi rapide que l’achat de dentifrice chez Amazon. Lancé après presque trois ans de développement serein, Cerebras a présenté sa nouvelle puce aujourd’hui – et c’est un doozy. Le «moteur à l’échelle de la tranche» comprend 1,2 billion de transistors (le plus important à ce jour), 46 225 millimètres carrés (le plus grand de tous les temps) et comprend 18 Go de mémoire sur puce (le plus grand nombre de puces actuellement sur le marché) et 400 000 cœurs de traitement ( devinez le superlatif).

Le moteur d’échelle Wafer de Cerebras est plus volumineux qu’un clavier Mac classique (via Cerebras Systems)

Il a fait sensation ici à l’Université de Stanford au Conférence Hot Chips, l’un des grands groupes de l’industrie du silicium pour les introductions de produits et les feuilles de route, avec différents niveaux d’oohs et aahs parmi les participants. Vous pouvez en lire plus à propos de la puce de Tiernan Ray à Fortune et lis le livre blanc de Cerebras lui-même.

Les superlatifs mis à part, les défis techniques que Cerebras a dû surmonter pour atteindre ce jalon sont, je pense, l’histoire la plus intéressante ici. J’ai rencontré cet après-midi le fondateur et PDG Andrew Feldman pour discuter de ce que ses 173 ingénieurs ont construit tranquillement au bout de la rue ces dernières années grâce à un financement en capital-risque de 112 millions de dollars de Benchmark et d’autres.

Grandir ne veut rien dire que des défis

Tout d’abord, une brève présentation de la fabrication des puces qui alimentent vos téléphones et vos ordinateurs. Des usines comme TSMC prennent des tranches de silicium de taille standard et les divisent en puces individuelles en utilisant de la lumière pour graver les transistors dans la puce. Les plaquettes sont des cercles et les puces sont des carrés. Il existe donc une géométrie de base impliquée dans la subdivision de ce cercle en un tableau clair de puces individuelles.

Un grand défi de ce processus de lithographie est que des erreurs peuvent se glisser dans le processus de fabrication, nécessitant des tests approfondis pour vérifier la qualité et forçant les fabricants à jeter les puces peu performantes. Plus la puce est petite et compacte, moins une puce individuelle risque de tomber en panne et plus le rendement de la fab est élevé. Un rendement plus élevé équivaut à des profits plus élevés.

Cerebras lance l’idée de graver une série de puces individuelles sur une seule plaquette au lieu d’utiliser la totalité de la plaquette elle-même comme une puce gigantesque. Cela permet à tous ces cœurs de se connecter directement les uns aux autres – ce qui accélère considérablement les boucles de rétroaction critiques utilisées dans les algorithmes d’apprentissage en profondeur -, mais entraîne des coûts considérables en termes de fabrication et de conception pour la création et la gestion de ces puces.

L’architecture technique et le design de Cerebras ont été dirigés par le co-fondateur Sean Lie. Feldman et Lie ont travaillé ensemble sur une ancienne startup appelée SeaMicro, cédée à AMD en 2012 pour 334 millions de dollars. (Via Cerebras Systems)

D’après Feldman, le premier défi rencontré par l’équipe était de gérer la communication entre les «lignes de scribe». Alors que la puce Cerebras englobe une plaquette complète, le matériel de lithographie actuel doit encore agir comme s’il y avait des puces individuelles gravées dans la plaquette de silicium. L’entreprise a donc dû inventer de nouvelles techniques pour permettre à chacune de ces puces de communiquer entre elles sur l’ensemble de la tranche. En travaillant avec TSMC, ils ont non seulement inventé de nouveaux canaux de communication, mais ont également dû écrire un nouveau logiciel permettant de gérer les puces avec des milliards de transistors.

Le deuxième défi était le rendement. Avec une puce recouvrant une plaquette de silicium entière, une seule imperfection dans la gravure de cette plaquette pourrait rendre la puce entière inopérante. Cela a été le blocage pendant des décennies de la technologie des plaquettes entières: en raison des lois de la physique, il est essentiellement impossible de graver plusieurs milliards de transistors avec une précision parfaite.

Cerebras a abordé le problème en utilisant la redondance en ajoutant des cœurs supplémentaires dans toute la puce, qui serviraient de sauvegarde en cas d’erreur dans le voisinage de ce noyau sur la tranche. «Vous ne devez retenir que 1%, 1,5% de ces types-là», m’a expliqué Feldman. Laisser des noyaux supplémentaires permet à la puce de s’auto-soigner, de contourner l’erreur de lithographie et de rendre viable une puce de silicium de tranche entière.

Entrer en territoire inconnu dans la conception de puces

Ces deux premiers défis – la communication entre les puces et le rendement du traitement à travers les tracés – ont incité les concepteurs de puces déconcertantes à étudier des puces de plaquettes entières pendant des décennies. Mais c’étaient des problèmes connus, et Feldman a déclaré qu’ils étaient en réalité plus faciles à résoudre que prévu en les rapprochant à l’aide d’outils modernes.

Il compare cependant le défi à l’ascension du mont Everest. «C’est comme si le premier groupe de gars n’avait pas réussi à gravir le mont Everest. Ils ont alors déclaré:« Merde, cette première partie est vraiment difficile. »Puis le groupe suivant est arrivé et a déclaré:« Cette merde n’est rien. Ces cent dernières mètres, c’est un problème. »

Et en effet, les défis les plus difficiles selon Feldman pour Cerebras étaient les trois suivants, puisqu’aucun autre concepteur de puces n’avait dépassé les limites de la communication en ligne scribe et des défis en matière de rendement pour trouver ce qui se passait ensuite.

Le troisième défi auquel Cerebras a été confronté concernait la dilatation thermique. Les puces deviennent extrêmement chaudes en fonctionnement, mais différents matériaux se dilatent à des rythmes différents. Cela signifie que les connecteurs qui connectent une puce à sa carte mère doivent également se dilater thermiquement exactement au même taux de crainte que des fissures ne se développent entre les deux.

Feldman a déclaré: «Comment obtenez-vous un connecteur capable de supporter (cela)? Personne ne l’avait jamais fait auparavant (et donc) nous avons dû inventer un matériau. Nous avons donc des doctorats en science des matériaux (et) nous avons dû inventer un matériau capable d’absorber une partie de cette différence. ”

Une fois qu’une puce est fabriquée, elle doit être testée et emballée pour être expédiée aux fabricants d’équipement d’origine (OEM), qui les ajoutent aux produits utilisés par les clients finaux (centres de données ou ordinateurs portables grand public). Il y a cependant un défi: rien sur le marché n’est conçu pour gérer une puce de plaquette entière.

Cerebras a conçu son propre système de test et d’emballage pour gérer sa puce (Via Cerebras Systems)

«Comment faites-vous l’emballage? Eh bien, la réponse est que vous inventez beaucoup de merde. C’est la vérité. Personne n’avait de circuit imprimé de cette taille. Personne n’avait de connecteurs. Personne n’avait une assiette froide. Personne n’avait d’outils. Personne n’avait d’outils pour les aligner. Personne n’avait d’outils pour les manipuler. Personne n’avait de logiciel à tester », a expliqué Feldman. «Nous avons donc conçu tout ce processus de fabrication, car personne ne l’a jamais fait.» La technologie de Cerebras est bien plus que la puce qu’elle vend: elle inclut également l’ensemble des machines nécessaires à la fabrication et à l’emballage de ces puces.

Enfin, toute cette puissance de traitement dans une puce nécessite une puissance et un refroidissement immenses. La puce Cerebras utilise 15 kilowatts d’énergie – une quantité prodigieuse pour une puce individuelle, bien que relativement comparable à un cluster d’IA de taille moderne. Toute cette puissance doit également être refroidie et Cerebras a dû concevoir un nouveau moyen de fournir les deux à la fois pour une puce de cette taille.

Il a essentiellement abordé le problème en tournant la puce de son côté, dans ce que Feldman appelait «utiliser la dimension Z». L’idée était que plutôt que d’essayer de déplacer la puissance et le refroidissement horizontalement à travers la puce comme il était traditionnel, ils sont fournis verticalement à tous les points de la puce, garantissant un accès homogène et cohérent aux deux.

Voilà donc les trois défis suivants (dilatation thermique, conditionnement et alimentation / refroidissement) auxquels la société a travaillé sans relâche pour répondre à ces attentes ces dernières années.

De la théorie à la réalité

Cerebras a une puce de démonstration (j’en ai vue une, et oui, elle a à peu près la taille de ma tête) et elle a commencé à livrer des prototypes aux clients, selon les informations rapportées. Comme pour toutes les nouvelles puces, le grand défi consiste à réduire la production pour répondre à la demande des clients.

Pour Cerebras, la situation est un peu inhabituelle. Etant donné qu’elle place une telle puissance informatique sur une plaquette, les clients n’ont pas nécessairement besoin d’acheter des dizaines ou des centaines de puces et de les assembler pour créer un cluster de calcul. Au lieu de cela, ils n’auront peut-être besoin que d’une poignée de puces Cerebras pour leurs besoins d’apprentissage en profondeur. La prochaine phase majeure de la société consiste à atteindre l’échelle et à assurer une livraison régulière de ses puces, qu’elle emballe comme un «appareil» de système complet, qui inclut également sa technologie de refroidissement brevetée.

Attendez-vous à entendre davantage de détails sur la technologie Cerebras dans les mois à venir, en particulier au moment où la lutte pour l’avenir des processus de traitement en apprentissage en profondeur continue de s’intensifier.

Source

A propos newstrotteur-fr

Découvrez également

Le chien de garde de la protection de la vie privée du Canada sonde le démarrage de la reconnaissance faciale

Le chien de garde de la vie privée du Canada enquête sur une start-up américaine …

Laisser un commentaire