Yuriy Gavrilov: posts tagged SoC

Суперкомпьютер на кристалле – 6000 ядер RISC-V

Fri, 28 Jun 2024 08:55:45 +0300

Как насчет 6000 процессоров на одной карте pcie?

Суперкомпьютер на кристалле вступает в строй: одна PCIe-карта содержит более 6000 ядер RISC-V с возможностью масштабирования до более чем 360 000 ядер, но стартап до сих пор не раскрывает информацию о ценах.

https://www.techradar.com/pro/supercomputer-on-a-chip-goes-live-single-pcie-card-packs-more-than-6000-risc-v-cores-with-the-ability-to-scale-to-more-than-360000-cores-but-startup-still-remains-elusive-on-pricing

InspireSemi объявила об успешном завершении дизайна и передаче в производство компании TSMC ускорителя вычислений Thunderbird I. Этот высокодифференцированный “суперкомпьютерный кластер на кристалле” оснащен 1536 пользовательскими 64-битными ядрами RISC-V CPU, специально разработанными для высокоуровневых научных вычислений и обработки сложных данных.

Thunderbird I предназначен для широкого спектра вычислительно-емких приложений, от искусственного интеллекта и машинного обучения до графовой аналитики. Используя открытый стандарт RISC-V CPU ISA, он позволяет упростить разработку и интеграцию в существующие технологические фреймворки, предоставляя доступ к надежной экосистеме программного обеспечения, библиотек и инструментов.

Планируется выпуск PCIe-карты. Архитектура чипа включает высокоскоростную mesh-сеть, которая обеспечивает значительную пропускную способность и минимальную задержку при коммуникации между ядрами, что важно для приложений, полагающихся на синхронизированные операции в нескольких потоках. Эта эффективная сетевая интеграция управляет взаимодействиями внутри массива ядер чипа и систем памяти, обеспечивая оптимальную производительность без распространенных узких мест. Предстоящий выпуск продукта будет включать серверную PCIe-карту, на которой размещены четыре чипа Thunderbird, предоставляя более 6000 взаимосвязанных 64-битных ядер CPU. Эта конфигурация оснащена для обработки двойной точности, необходимой для многих высокопроизводительных вычислительных приложений в таких областях, как климатология, медицинские исследования и сложные симуляции. Рон Ван Делл, генеральный директор InspireSemi, сказал: «Мы гордимся достижением нашей инженерной и операционной команды в завершении дизайна Thunderbird I и отправке его нашим партнерам по производству мирового класса, TSMC, ASE и imec, для производства. Мы ожидаем начать поставки клиентам в четвертом квартале».

Однако пока нет информации о цене. InspireSemi также подчеркивает энергоэффективность Thunderbird I, что перенято из его первоначальной разработки для энергочувствительных блокчейн-приложений. Компания заявляет, что этот подход предлагает более экологичную альтернативу традиционным GPU для дата-центров.

Top 6 RISC-V Chips with Multi-core Design and AI Accelerator for AI and ML

Sun, 16 Jun 2024 23:19:10 +0300

Перевод: https://www.dfrobot.com/blog-13462.html

Топ 6 чипов RISC-V с многоядерным дизайном и ускорителем ИИ для ИИ и МО

DFRobot
05 декабря 2023
8410

Принятие RISC-V, свободной и открытой архитектуры набора команд для компьютеров, впервые представленной в 2010 году, стремительно ускоряется, в первую очередь благодаря растущему спросу на искусственный интеллект (ИИ) и машинное обучение (МО). Исследовательская фирма Semico прогнозирует ошеломляющий ежегодный рост на 73,6 процента в количестве чипов с использованием технологии RISC-V, с прогнозом в 25 миллиардов ИИ чипов к 2027 году, что принесет доход в размере 291 млрд долларов США. Эта статья выделит популярные продукты на основе архитектуры RISC-V для ИИ и МО, доступные на нынешнем рынке.

Преимущества архитектуры RISC-V в сравнении с x86 и ARM для ИИ и МО
*Гибкость набора инструкций RISC-V.* Более высокая гибкость набора инструкций RISC-V хорошо соответствует потребности в более быстрых итерациях и большей вычислительной мощности в алгоритмах ИИ. Набор инструкций RISC-V может быть настроен и адаптирован под конкретные требования приложений, что позволяет лучше подстраиваться под разные алгоритмы ИИ, включая глубокое обучение и нейронные сети.
*Преимущество по эффективности процессоров RISC-V.* Лицензиаты выбирают RISC-V за его высокую эффективность по сравнению с традиционными микропроцессорами. В сравнении с ARM и x86, RISC-V демонстрирует примерно в 3 раза большую вычислительную производительность на ватт.
*Гибкость единого IP в комбинации или переконфигурации.* IP RISC-V может быть “декомпозирован” сильнее, чем ARM, что позволяет решать различные сценарии проектирования чипов. Это также приносит более высокую масштабируемость архитектуре RISC-V, позволяя дизайнерам свободно разбирать модули, как игрушки LEGO, и комбинировать их для создания идеальных чипов.
*Короткое время перехода между ARM и RISC-V.* Переход между ARM и RISC-V аналогичен переходу программиста, знающего структуры данных, между языками C и Python. Меняются лишь инструкции, в то время как общая философия дизайна остается неизменной. Дизайнер, хорошо разбирающийся в архитектуре ARM, может понадобиться всего около двух недель для перехода к разработке на RISC-V.

Продукты на базе чипов RISC-V для ИИ и МО

SiFive Intelligence™ X390
Процессор Intelligence X390 разработан для удовлетворения растущих потребностей приложений искусственного интеллекта и машинного обучения. Он основывается на базе X280 с ключевыми улучшениями, которые значительно повышают его вычислительные возможности. Обладая конфигурацией с одним ядром, процессор обеспечивает четырехкратное улучшение векторных вычислений благодаря двойному векторному ALU и удвоенной длине вектора, что дает четырехкратное увеличение пропускной способности данных. Кроме того, процессор интегрирует технологию VCIX от SiFive, позволяя компаниям добавлять пользовательские векторные инструкции или аппаратное ускорение для беспрецедентной гибкости оптимизации производительности. Улучшенные возможности векторных вычислений делают процессор X390 особенно подходящим для задач обучения и работы нейронных сетей.

Ключевые особенности
*Расширения SiFive Intelligence для нагрузки МО*
*Процессор с регистром длиной 512 бит*
*Показатели производительности*
*5.75 CoreMarks/МГц*
*3.25 DMIPS/МГц*
*4.6 SpecINT2k6/ГГц*
*Построен на доказанном на кремнии ядре серии U7*
*64-битный ISA RISC-V*
*Конвейер с двойной выдачей и 8 стадиями*
*Высокопроизводительная векторная подсистема памяти*
*Адресация до 48 бит*
*Конфигурация многоядерная, многокластерного процессора, до 8 ядер*

SiFive Performance P870
SiFive Performance P870 – это ядро процессора, основанное на архитектуре RISC-V и являющееся частью серии SiFive Performance. Разработано для высокопроизводительных вычислений и приложений в центрах обработки данных, ядро процессора SiFive Performance P870 обладает мощными вычислительными возможностями и гибкой настройкой. Используя открытую архитектуру команд RISC-V, это ядро процессора может удовлетворить требования различных сложных вычислительных задач, включая искусственный интеллект, аналитику больших данных и высокопроизводительные вычисления. SiFive Performance P870 стремится предоставить клиентам высокопроизводительные, энергоэффективные процессоры, чтобы удовлетворить растущие потребности в вычислительных ресурсах.

Ключевые особенности
*Полная поддержка спецификаций профиля RVA22 RISC-V и Vector 1.0, а также векторной криптографии, что позволяет запускать 64-битные приложения на ОС, таких как Linux и Android.*
*Прорывные производительности RISC-V*
*Согласованные многосердцевые, многокластерные конфигурации процессоров, до 16 ядер*
*Наивысшая производительность среди коммерчески лицензируемых процессоров RISC-V*
*12 SpecINT2k6/ГГц (процессор P870)*
*2x 128b VLEN RVV*
*Векторная криптография и расширения гипервизора*
*IOMMU и AIA*
*Невключающая L3 кэш-память*
*Проверенная безопасность RISC-V WorldGuard*
*Архитектурные особенности серии P800*
*64-битное ядро RISC-V с обширной поддержкой виртуальной памяти*
*Конвейер с четырьмя стадиями и внеочередной обработкой, настроенный на масштабируемую производительность*
*Приватные кэши L2 и страимость для улучшенной производительности памяти*
*SECDED ECC с сообщением об ошибках*

Эти два процессора различаются по целям проектирования и прикладной направленности. SiFive Performance P870 главным образом используется для высокопроизводительных вычислений и приложений в центрах обработки данных, в то время как SiFive Intelligence™ X390 предназначен для пограничного искусственного интеллекта и машинного обучения.

T-Head XuanTie C910
T-Head XuanTie C910 демонстрирует ведущие в отрасли показатели производительности в управлении потоком, вычислениях и частоте благодаря архитектурным и микроархитектурным инновациям. Процессор C910 основан на наборе инструкций RV64GC и реализует технологию XIE (XuanTie Instruction Extension). C910 использует передовой 12-стадийный конвейер с внеочередной обработкой нескольких инструкций, обладающий высокой частотой, IPC и энергоэффективностью. C910 поддерживает аппаратную когерентность кэша. Каждый кластер содержит 1-4 ядра. C910 поддерживает интерфейс шины AXI4 и включает порт когерентности устройств. C910 использует систему виртуальных адресов SV39 с технологией XMAE (XuanTie Memory Attributes Extension). В дополнение к этому, C910 включает стандартные контроллеры прерываний CLINT и поддерживает совместимый с RV интерфейс отладки и мониторы производительности.

Ключевые особенности
*T-Head XuanTie C910*

XiangShan Open-source 64-bit RISC-V Processor
В мае 2023 года Китайская академия наук выпустила второе поколение открытого высокопроизводительного ядра процессора RISC-V “Xiangshan” (архитектура Nanhu), которое было завершено в сентябре 2022 года и передано в производство в июне 2023 года. Это ядро процессора использует процесс 14 нм от SMIC, с основной частотой 2 ГГц, счетом SPEC CPU 10/ГГц, двухканальной памятью DDR, двухканальным интерфейсом PCIe, интерфейсом USB, интерфейсом HDMI и другими функциями. Его полная мощность превосходит ARM Cortex-A76, делая его самым мощным ядром RISC-V в мире.

Ключевые особенности
*XiangShan Open-source 64-bit RISC-V Processor*

Чип Esperanto ET-SoC-1
Чип Esperanto ET-SoC-1 интегрирует более 1000 ядер процессоров RISC-V и 24 миллиарда транзисторов, включая 1088 энергоэффективных 64-битных ядер RISC-V с упорядоченной обработкой ET-Minion и 4 высокопроизводительных 64-битных ядра RISC-V с внеочередной обработкой ET-Maxion. Каждое ядро оснащено векторным/тензорным блоком, с ожидаемыми рабочими частотами от 500 МГц до 2 ГГц. Также, чип включает 1 процессор обслуживания RISC-V, более 160 миллионов байт встроенной SRAM для кэшей и памяти scratchpad, и интерфейсы, поддерживающие большие внешние памяти, включая LPDDR4x DRAM и eMMC flash, PCIe x8 Gen4 и другие обычные интерфейсы ввода-вывода. При пиковой мощности ET-SoC-1 способен достигать от 100 до 200 триллионов операций в секунду (TOPS), при этом обычно потребляя менее 20 ватт мощности. Отличительной чертой решения Esperanto является использование нескольких низкопотребляющих SoC-чипов вместо одного большого SoC. Это может быть привлекательным энергоэффективным решением для рекомендаций машинного обучения в крупных центрах обработки данных.

Ключевые особенности
*Интеграция более 1000 ядер процессоров RISC-V*
*Включение 1088 64-битных ядер RISC-V с упорядоченной обработкой ET-Minion*
*Включение 4 высокопроизводительных 64-битных ядер RISC-V с внеочередной обработкой ET-Maxion*
*Состоит примерно из 24 миллиардов транзисторов*
*Специально разработан для ИИ и машинного обучения*
*Обеспечивает исключительные возможности параллельной обработки*

Meta Training Inference Accelerator (MTIA) Chip
MTIA разработан Meta для более эффективной обработки их нагрузок ИИ. Ядра процессоров основаны на архитектуре открытого набора команд RISC-V. Чип является специализированной интегральной схемой (ASIC), построенной для улучшения эффективности рекомендательных систем Meta, например, понимания контента, канала новостей Facebook, генеративного ИИ и ранжирования рекламы, все из которых зависят от рекомендательных моделей глубокого обучения (DLRM), требующих больших ресурсов памяти и вычислительной мощности.

Ключевые особенности

*Meta Training Inference Accelerator (MTIA) Chip*

Первое поколение ASIC MTIA было разработано в 2020 году специально для внутренних нагрузок Meta. Чип был изготовлен с использованием 7-нм процесса TSMC и работает на частоте 800 МГц, обеспечивая 102,4 TOPS при точности INT8 и 51,2 TFLOPS при точности 16-битного плавающего числа. Он также имеет тепловой дизайн мощностью (TDP) 25 Вт. Чип MTIA является частью полностекового решения, которое включает в себя кремний, PyTorch и рекомендательные модели; все это совместно разработано для предоставления полностью оптимизированной системы ранжирования для клиентов Meta. Выпуск их первого ИИ-чипа MTIA – значительное событие. Это еще больше подогревает гонку на рынке ИИ-оборудования и способствует эволюции оборудования, специально разработанного для ИИ-приложений.

Заключение
Чипы, упомянутые в статье, обладают многоядерным дизайном, каждое ядро которого предлагает высокую производительность и энергоэффективность. Они поддерживают многопоточные операции, что позволяет выполнять несколько задач одновременно. Кроме того, они все поддерживают наборы инструкций Single Instruction Multiple Data (SIMD), которые могут ускорять параллельные задачи обработки данных, такие как обработка изображений и векторные вычисления. По мере развития отрасли, мы полагаем, что продукты на основе архитектуры RISC-V будут играть все более важную роль в приложениях ИИ и МО, обеспечивая надежную основу для будущих технологических инноваций и приложений.

Ошибки:

Минорные грамматические ошибки и некорректные формулировки были исправлены, чтобы улучшить ясность и читабельность текста.

Fresh fruit: Sipeed Lichee Pi 4A

Sun, 16 Jun 2024 22:45:35 +0300

Перевод: https://medium.com/@davidly_33504/fresh-fruit-sipeed-lichee-pi-4a-1148b85b2edb

Новый фрукт одноплатной системы

Lichee Pi 4 слева и Raspberry PI 4 Model B справа. Фото автора.
Недавно я использовал Lichee Pi 4A от Sipeed для нескольких дней разработки. Он работал прямо из коробки и был стабилен. За исключением небольшой медлительности и отсутствия поддержки VS Code для RISC-V, плата отлично подходит в качестве системы разработки на RISC-V.

Lichee несколько крупнее, чем одноплатные компьютеры Raspberry PI, от которых она позаимствовала название, но обладает функциями, которых отсутствуют у этих систем, включая NPU для машинного обучения, два Ethernet-порта, больше ОЗУ, флеш-память и т. д. Мой экземпляр имеет четыре ядра RISC-V с частотой 1,85 ГГц, 128 ГБ флеш-памяти и 16 ГБ ОЗУ. Он пришел с предустановленной последней версией Debian. Подробная информация о применении платы доступна на вики Sipeed.

Я заинтересовался RISC-V в начале этого года, когда увидел глобально растущую поддержку архитектуры, особенно в Китае, что усилилось повышением лицензионных сборов за новые версии ARM. RISC-V бесплатен и хорошо спроектирован. Хотя для развития экосистемы потребуется время, я не вижу технических причин, по которым он не сможет со временем вытеснить ARM, как ARM вытеснил Intel.

В феврале я купил первый RISC-V Kendryte K210 от Sipeed, который является значительно меньшей системой, использующей Arduino для программирования. Он заметно медленнее с частотой 400 МГц и имеет элементарные, нестандартные API для встроенных систем. Я использовал его для выполнения некоторых эталонных тестов, написанных на ассемблере RISC-V и C. Также я проверял генерацию кода RISC-V с помощью моего компилятора BASIC — BA.

Arduino довольно трудно использовать, поэтому в итоге я написал эмулятор RISC-V, поддерживающий системные вызовы Linux, используемые в среде выполнения g++. Этот эмулятор (rvos) требовал много работы, но значительно упростил дальнейшую разработку компилятора BA и стал отличным способом для изучения RISC-V и Linux.

Все это было замечательно, но использование Lichee в качестве универсальной системы для кодирования и тестирования явно превосходит среду K210 и RVOS. Теперь я могу писать, компилировать, запускать и отлаживать код на одной машине. Установка g++ была простой командой apt, вместо клонирования репозитория GNU и его сборки для целевой архитектуры RISC-V.

Я создал эмулятор RVOS для RISC-V и запустил его проверочный набор на Lichee. Это немного забавно иметь эмулятор, работающий на той же платформе, которую он эмулирует, но это был хороший способ убедиться, что все работает. То же самое я сделал с моими эмуляторами для 6502 + Apple 1 и Z80 + CP/M 2.2. Они отлично работают на Lichee. Меня все еще поражает, что я могу запускать версию Turbo Pascal 1.0 на Z80 на RISC-V и это более чем в 100 раз быстрее, чем на моем старом Kaypro II.

Хотел бы сказать, что нашел ошибки в Debian или оборудовании, но они работали как ожидалось. Я обнаружил одну ошибку — но она была моей. Я установил более новую версию g++, чем полугодовалый кросс-компилятор, который я использовал на Ubuntu AMD64. Новый компилятор генерирует инструкции RISC-V SC.D, что выявило ошибку в RVOS, не обнаруженную ранее из-за того, что старые компиляторы не генерировали эту инструкцию.

Наибольший недостаток для разработки на Lichee — это отсутствие поддержки VS Code для RISC-V. Мне приходится использовать редактор Mousepad для написания кода. Хм... VS Code — это open-source, и это проблема, которую я могу решить.

Производительность приемлема для разработки ПО. Он в 5 раз быстрее, чем плата K210, но по-прежнему далеко от современных процессоров. В одном кри核ном эталонном тесте, написанном на C, его скорость примерно такая же, как у Intel Q9650 3.0 Ггц 2008 года. Тот же тест работает примерно на 23% быстрее, чем на Raspberry PI 4 2019 года. Он в 6,3 раза медленнее, чем AMD 5950x с частотой 3.4 Ггц 2020 года.

Эталонный тест выполняется с одним ядром и затем используя до 3-х ядер (если доступны), называемых ниже 3c и 2c. Для более современных машин я использовал g++. Для двух старых Windows-машин я использовал компилятор C++ от Microsoft. Я также запускал версии эталонного теста на C++ в трех эмуляторах, чтобы понять производительность более сложных приложений. Все времена в миллисекундах для одной итерации доказательства невозможности выиграть в крестики-нолики, если противник компетентен. (Никогда не забывай, что WOPR потратил 72 секунды на решение этой задачи в фильме “Военные игры”). Меньшие значения времени лучше.

Время выполнения эталона в миллисекундах для одного ядра и до 3 ядер на различных системах.
Системы на базе RISC-V будут улучшаться; нет ничего в архитектуре набора команд, что бы помешало ему догнать ARM и Intel. Но учитывая, что большинство инвестиций в RISC-V поступает из Китая, а остальной мир исключил Китай из производства следующего поколения кремния, будет интересно увидеть, что произойдет дальше.
Я могу рекомендовать Lichee каждому, кто хочет глубже погрузиться в RISC-V. Оборудование и Debian стабильны, и нет лучшего способа изучить платформу, чем разрабатывать для нее непосредственно**.
** Я работал над Windows много лет и самостоятельно использовал предрелизное оборудование/ПО для MIPS, DEC Alpha, PowerPC, AMD64, Itanium и ARM32.