Алексей Бутырин (bootsector) wrote,
Алексей Бутырин
bootsector

Categories:

Самый большой микропроцессор в мире

На работе я периодически рассказываю коллегам о разных диковинах из мира IT. Почему бы не рассказать и здесь — наверняка многие из вас о таком не слышали. Да, порой «самый большой микропроцессор в мире» — это не концовка анекдота про техническую отсталость, а наоборот, свидетельство технических достижений.



Компания Cerebras Systems в прошлом году представила новую версию гигантской микросхемы Wafer Scale Engine (WSE). Её габариты — 215 × 215 мм. Это самый большой квадрат, который можно вписать в типовую 300-мм кремниевую пластину. Отсюда и название микросхемы: пластину, расчерченную на прямоугольные заготовки чипов, вполне официально именуют «вафлей». Только вот в данном случае разрезать «вафлю» на отдельные чипы не предполагается: деление на 84 блока вызвано лишь ограничениями фотолитографической технологии производства, которая не позволяет создавать цельные структуры размером больше 26 × 33 мм.



Микросхема WSE Generation 2 изготовлена по современному 7-нм техпроцессу и содержит умопомрачительные 2,6 триллиона транзисторов, объединённых в 850 000 вычислительных ядер. Гигантский размер — не рекорд ради рекорда. Размещение огромного количества ядер на одном кристалле имеет существенные практические преимущества при моделировании нейронных сетей — а именно для этой цели предназначен новый супер-чип.



В настоящее время большая часть нейровычислений выполняется при помощи графических процессоров (GPU). Они подходят для этого лучше, чем CPU, поскольку содержат множество блоков, способных работать параллельно, и могут быстро выполнять операции над матрицами, к которым по большей части и сводится работа искусственных нейросетей. Но всё-таки изначально GPU разрабатывались с другими целями, и почти 90% их площади занимают компоненты, которые не могут быть использованы для задач искусственного интеллекта. Да и объём памяти на кристалле, которым располагают GPU, для этих целей слишком мал.


Вычислительная система CS-1 на базе Wafer Scale Engine

Архитектура WSE была специально разработана для нейровычислений и потому избавлена от вышеописанных недостатков. Здесь прямо на кристалле размещено 38 гигабайт памяти с максимально коротким временем доступа: все обращения обрабатываются за один такт, т. е. быстрее чем за наносекунду. Память обладает беспрецедентно высокой пропускной способностью — порядка 10 петабайт в секунду (это в тысячи раз быстрее, чем в классических системах, где память реализована отдельно). Для связи между ядрами внутри одного блока и между разными блоками используются одинаковые интерфейсы, которые ещё на порядок быстрее.

И всё-таки в первую очередь создание WSE — это не архитектурный, а технологический триумф. Разработчикам пришлось решить массу проблем, которые просто не возникают в случае с чипами привычного размера. Так, супер-микросхема выделяет 15 кВт тепла, поэтому для неё не подходила ни одна из существующих систем охлаждения.


Блок с микросхемой WSE и системой питания. Справа — коннекторы для водяных помп


Высокопроизводительная помпа системы охлаждения

Более того, из-за огромных габаритов микросхемы возник эффект неравномерного теплового расширения кристалла и платы, и пришлось ввести дополнительный компенсирующий слой. Трёхмерная система подвода электропитания, рассчитанная на ток 20 000 ампер, тоже была разработана специально для данного проекта. Корпусировку изделия и вовсе пришлось выполнять вручную.



Компания TSMC, на мощностях которой выпускаются гигантские «вафли», смогла обеспечить сверхнизкий процент производственного брака, что позволило заложить в схему всего 1% дополнительных ядер, которые должны подменять неработоспособные.



Важное преимущество разработки Cerebras Systems — полная совместимость с существующими программными комплексами для разработки систем глубокого обучения, в частности, PyTorch и TensorFlow. При переходе на WSE не требуется переписывать ПО. Разработчики подсчитали, что вычислительная система на базе Wafer Scale Engine — CS-1 — в 150 раз производительнее, чем суперкомпьютер на базе GPU-серверов DGX-1, при этом занимает в 40 раз меньше места и потребляет в 20 раз меньше энергии.

cs-1_4_1100
Вычислительная система CS-1 без корпуса

Наверное, последней в ряду впечатляющих цифр должна стать стоимость микросхемы. Компания её не раскрывает, но по косвенным признакам можно судить, что она превышает 2 млн долларов. Это не отпугивает потенциальных заказчиков. Системы CS-1 уже работают в Аргоннской национальной лаборатории под Чикаго и Ливерморской национальной лаборатории им. Лоуренса; также они должны лечь в основу нового суперкомпьютера Neocortex в Питтсбурге. Благодаря разработкам Cerebras Systems на обучение сложных нейросетей будут уходить часы, а не недели, а значит, можно будет опробовать намного больше разных вариантов.



Возможно, в перспективе подобные системы помогут в реализации таких амбициозных планов, как моделирование работы мозга высших животных в реальном времени.
Tags: железо, наука и техника
Subscribe

  • 50 оттенков жёлтого

    Продолжение эпопеи с отбеливанием пластика! С недавних пор я стал публиковаться на Хабре, и начал как раз со статей про Retrobright. Первую часть я…

  • Привет из 1993 года

    Для одной ретро-сборки мне понадобилось реанимировать дисковод для дискет 5,25". Если 3,5-дюймовыми флоппиками я в своей жизни пользовался много…

  • Подопытный кролик с фотоаппаратом

    Поскольку я тут недавно привился от коронавируса (вакциной «Спутник-Фау», как назвал её один дядька из поликлиники — видимо, в…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 7 comments