Для OFC 2023 Broadcom говорит о совместно упакованной оптике. Это включает в себя новый чип Broadcom Tomahawk 5 Bailly со скоростью 51,2 Тбит/с. В связи с необходимостью снижения затрат на биты/джоули в центре обработки данных при одновременном повышении скорости и надежности оптические коммутаторы в единой упаковке рассматриваются как потенциальная инновация с ступенчатой функцией. Вот почему проект Broadcom так интересен.
Вот объявление OFC 2023 о новом совместно упакованном оптическом чипе. Это коммутатор Broadcom Tomahawk 5 51,2 Тбит/с с восемью 64-канальными кремниевыми фотонными двигателями на борту.
Broadcom Tomahawk 5 Bailly 51.2T Co Packaged Optics CPO SwitchЭтот новый чип способен передавать трафик со скоростью 800 Гбит/с при мощности 5,5 Вт за счет уменьшения потребности в электрической передаче сигналов на подключаемую оптику на передней панели коммутатора. Для некоторой системы отсчета оптическая платформа Tomahawk 4 Humboldt 25.6T в сборе потребляла ~6,4 Вт для канала 800 Гбит/с.
Мы видели Broadcom Tomahawk 5 на OCP Summit 2022. Основным достижением здесь является совместная упаковка оптики. Одна из основных проблем при удалении съемной оптики заключается в том, что статус-кво легко обслуживать и изменять. Например, если требуется более длинная линия, можно вставить оптику с большим радиусом действия. Для бега на короткие дистанции можно использовать DAC или AOC.
Broadcom Tomahawk 5 OCP Summit 2022 2Мы уже видели, как такие компании, как Intel и AMD, обсуждают необходимость совместной упаковки оптики на чипах в будущем. Мы даже рассмотрели это в нашей статье:
Некоторое время мы наблюдали за салоном оптики. Незадолго до того, как пандемия закрыла все, мы пробрались в лабораторию Intel, чтобы увидеть ее практическое применение с оптической системой Intel Co-Packaged Optics и Silicon Photonics Switch, хотя Intel уже закрыла свое подразделение Barefoot.
Будем надеяться, что скоро мы займемся этой областью.
Большинство представителей отрасли считают, что энергосбережение коммутаторов CPO и даже межсоединений между чипами произойдет. Очевидно, что у Broadcom есть стратегия, которую она реализует в своих стандартных коммутаторах, таких как линейка Tomahawk.
Для тех, кому интересно, у нас в лаборатории есть коммутатор традиционного класса 25,6 Т, обзор которого мы почти закончили. Помимо оптических модулей стоимостью 1500 долларов США для коммутатора и карт ConnectX-7, примечательно чистое энергопотребление подключаемой оптики в таком крупном коммутаторе. Это ясно показывает, почему нам понадобятся коммутаторы CPO в будущем. Большой вопрос, когда мы увидим кроссовер.
Если и есть что-то, что гиперскейлеры и создатели облачных вычислений ценят больше всего на свете, так это регулярность и предсказуемость. У них достаточно неопределенностей, чтобы управлять ими, когда дело доходит до потребительского спроса, чтобы их системы вели себя как можно детерминистичнее, и им нравится стабильный барабанный бой инноваций от их кремниевых партнеров.
В некотором смысле гиперскейлеры и создатели облачных вычислений создали рынок коммерческих чипов для коммутаторов и маршрутизаторов, и сделали это, поощряя таких выскочек, как Broadcom, Marvell, Mellanox, Barefoot Networks и Innovium, к созданию чипов, которые могли бы запускать свои собственные пользовательские сетевые операционные системы. а также средства сетевой телеметрии и управления.
Те же крупные операторы центров обработки данных призвали начинающих производителей коммутаторов, таких как Arista Networks, Accton, Delta, h4C, Inventec, Wistron и Quanta, использовать коммерческий кремний в своих коммутаторах, что оказало давление на традиционных сетевых компаний, таких как Cisco Systems и Juniper. Сети по нескольким направлениям.
Все это привело к дезагрегации аппаратного и программного обеспечения при коммутации и открытию сетевых платформ за счет поддержки интерфейса абстракции коммутатора (SAI), созданного Microsoft, и открытия проприетарных SDK (в основном через API-интерфейсы) основные производители сетевых ASIC.
Никто не выиграл от всей этой открытости больше, чем Broadcom. А из-за острой конкуренции на рынке микросхем для коммерческих сетей, а теперь и с добавлением чипов Silicon One для коммерческих коммутаторов и маршрутизаторов от Cisco, Broadcom пришлось неустанно поставлять от шести до восьми вариантов чипов коммутаторов и маршрутизаторов каждый год, чтобы удовлетворить все потребности.
потребностей своих предприятий, телекоммуникационных компаний, поставщиков услуг, гиперскейлеров и заказчиков, занимающихся созданием облачных сред.Компания Broadcom начала с линейки коммутаторов «Trident», затем занялась глубокой коммутацией пакетов и маршрутизацией с помощью линейки «Jericho». , без излишеств линейка «Томагавк». И именно эти три семейства чипов для коммутаторов до сих пор составляют основу бизнеса сетевых чипов для центров обработки данных.
Питер Дель Веккио, менеджер по продуктам линеек Tomahawk и Trident в Broadcom, сообщил The Next Platform , что многие клиенты смешивают и сочетают ASIC в своих сетях. Например, многие разработчики облачных вычислений, которые продают вычислительные и сетевые мощности для заработка (многие из которых также являются гиперскейлерами, предоставляющими услуги на программном уровне, ориентированные на рекламу или подписку), хотят предлагать «голые» серверы или перемещать корпоративные приложения в их системы.
С «Tomahawk 5» StrataXGS компания Broadcom вовремя удвоила пропускную способность, и делает это с монолитной конструкцией чипа, выгравированной в 5-нанометровых процессах от литейного партнера Taiwan Semiconductor Manufacturing Co.
Этот одночиповый Tomahawk 5 может обеспечивать совокупную пропускную способность 51,2 Тбит/с, что вдвое больше, чем у Tomahawk 4, который был представлен два года назад — как раз в течение двух лет, на котором Broadcom любит поддерживать работу своих коммутаторов ASIC. С Tomahawk 4 у Broadcom была одна версия с 512 SerDe, работающими на скорости 50 Гбит/с с использованием модуляции PAM-4 для обеспечения общей пропускной способности 25,6 Тбит/с, другая версия с 256 SerDe, работающими на скорости 100 Гбит/с. и ряд вариантов с меньшей совокупной пропускной способностью 12,8 Тбит/с для более скромных вариантов использования. В Tomahawk 5 512 SerDes, охватывающих механизмы обработки пакетов и буферы, работают со скоростью 100 Гбит/с, что обеспечивает полосу пропускания 51,2 Тбит/с.
«Это поколение SerDes с самого начала разрабатывалось как очень гибкое, — говорит Дель Веккио. «Этот SerDes со скоростью 100 Гбит/с может проталкивать медные кабели на расстояние до 4 метров, и мы, конечно же, можем работать с оптическими подключаемыми модулями на передней панели, а также мы можем управлять нашей оптикой в комплекте».
Мы пронюхали о совместной оптике, над которой работает Broadcom, и будем следить за ней. Но достаточно сказать, что Broadcom считает, что может снизить стоимость коммутации с помощью комплектной оптики — то, что не все, включая и, возможно, особенно включая Энди Бехтольшейма из Arista Networks, считают возможным в этом поколении коммутаторов. Мы можем заверить вас, что Arista Networks будет в авангарде продаж коммутаторов с оптикой в упаковке, если экономика будет работать так, как обещает Broadcom.
Важной вещью для гиперскейлеров и создателей облачных сред, а также движущей силой смены поколений в сетях является то, что стоимость передаваемого бита снижается, а также снижается количество передаваемых ватт на бит. Del Vecchio говорит, что со ASIC Tomahawk 5 Broadcom может обеспечить менее 1 Вт на 100 Гбит/с передачи сигналов.
Чип Tomahawk 5 может управлять 64 портами со скоростью 800 Гбит/с, 128 портами со скоростью 400 Гбит/с и 256 портами со скоростью 200 Гбит/с. В наши дни гиперскейлеры и создатели облачных вычислений любят коммутаторы со 128 портами, работающими со скоростью 400 Гбит/с на порт, из которых 64 порта идут вниз к серверам в стойке, а 64 порта идут вверх на уровень позвоночника сетевой фабрики. Но это может измениться в зависимости от того, насколько сильно они хотят снизить экономику порта. Некоторые плоские кластеры машинного обучения будут использовать только 256 портов со скоростью 200 Гбит/с 9.0003
Теоретически один Tomahawk 5 можно было бы сократить с помощью кабельных разветвителей до 512 портов со скоростью 100 Гбит/с, что радикально снизило бы стоимость порта Ethernet со скоростью 100 Гбит/с.
Но сокращения количества ASIC коммутаторов, которое достигается только за счет удвоения пропускной способности от поколения к поколению, достаточно, чтобы помочь снизить стоимость порта при удвоении пропускной способности.Чтобы быть точным, вот что дает вам переход от Tomahawk 4 или любого другого чипа коммутатора 25,6 Тбит/с к Tomahawk 5 с точки зрения создания 51,2 Тбит/с неблокируемой совокупной пропускной способности для каждого:
Требуется шесть микросхем со скоростью 25,6 ТБ/с, соединенных между собой в листовую/спиновую сеть внутри коммутатора, чтобы предоставить те же порты, что и микросхема со скоростью 51,2 ТБ/с. Это имеет огромные экономические и тепловые последствия. В целом, при переходе от поколения к поколению на уровне коммутатора порт имеет в 2 раза большую пропускную способность и первоначально стоит примерно в 1,5 раза больше за порт, а в конечном итоге со временем падает до 1,3 раза за порт. Первоначально стоимость передаваемого бита снижается только на 25 процентов в этом сценарии, что не очень хорошо, но это похоже на улучшение закона Мура, и вы получаете удвоенную пропускную способность на порт, что чего-то стоит.
Такой темп совершенствования — вот что заставляет работать современную экономику гипермасштабируемых и облачных сетей. И вы можете увидеть это в рыночных данных для увеличения скорости 400 Гбит/сек, и вы увидите это в увеличении скорости 800 Гбит/сек, которое начнется примерно через год (примерно столько времени требуется, чтобы перейти от выборки коммутатора ASIC к до развертывания в гиперкалерах и облаках) и рост скорости 1,6 Тбит/с, который начнется, если все пойдет хорошо, примерно через два года после этого. Взгляните:
Дель Веккио говорит, что объемы портов 400 Гбит/с ежегодно удваивались в период с 2019 по 2022 год, и теперь на их долю приходится около 15 процентов от общего дохода от коммутации центров обработки данных. Ожидается, что к 2026 году рынок портов, работающих со скоростью 400 Гбит/с или выше, вырастет до 57 процентов доходов, согласно исследователю рынка Делл’Оро, приведенному на диаграмме выше. Дель Веккьо говорит, что большинство портов 800 Гбит/сек, которые изначально будут продаваться с разветвителями, разбивающими их на два порта 400 Гбит/сек, а позже рынок перейдет на одиночные 800 Гбит/сек для новых портов, а существующие порты могут быть заменены. неразделенный, чтобы также получить порты 800 Гбит / с.
Одна из вещей, которая, по мнению Broadcom, является большим отличием чипов Tomahawk 5, — это способ буферизации внутри ASIC. Broadcom использует общий буфер внутри Tomahawk 5, по сравнению с нарезанным буфером внутри безымянного конкурентного дизайна:
«Наш общий буфер пакетов отлично поглощает всплески», — объясняет Дель Веккио.