Amazon анонсувала серверні arm-процесори graviton3 і ші-чіпи trainium

52

Aws, хмарний підрозділ amazon, анонсував ec2-інстанси c7g на базі graviton3, третього покоління arm-процесорів власної розробки, а також інстанси trn1, що використовують ші-прискорювачі trainium, створені силами aws спеціально для завдань машинного навчання.

Втім, обидва анонси носять попередній характер. Так, для graviton3 не уточнюється ні покоління архітектури arm, ні число ядер, ні частоти. Зате стверджується, що новинки в порівнянні з інстансами на базі graviton2 мають на чверть вищу продуктивність і вдвічі швидше в обчисленнях з плаваючою комою і при роботі з криптографією. При цьому вони споживає на 60% менше енергії.

Згадано й деякі архітектурні зміни. Так, підтримка bfloat16 дозволяє втричі прискорити виконання ші-завдань (мова, ймовірно, все ж про інференс), а перехід на ddr5 — на 50% підвищити пропускну здатність пам’яті. У кожного vcpu є виділений кеш, а додаткову безпеку забезпечує апаратний захист стека. Крім того, у нових інстансах за замовчуванням використовується примусове шифрування пам’яті, є підтримка зашифрованих ebs-томів, а швидкість efa-підключення досягає 30 гбіт/с

Ec2 c7g, за словами aws, підійдуть для hpc, eda, аналітики, ігрових та рекламних платформ, медіакодування і т. Д. Для них доступні дистрибутиви amazon linux 2, rhel, suse і ubuntu, а також цілий ряд вже адаптованого по. Поки що c7g доступні в рамках закритого тестування за заявками, але їх вже встигли оцінити epic games, formula 1 management, honeycomb.io і twitter.

Самі процесори graviton3, як і його попередники, навряд чи будуть продаватися» на сторону ” і за межами основної інфраструктуру aws потраплять хіба що в outposts. Тим не менш, для самої amazon це — поряд з впровадженням nitro — важливий крок до незалежності від сторонніх постачальників і підвищення продуктивності власних сервісів. На базі graviton2 зараз пропонується всього 12 типів інстанцій, проте aws досить активно і успішно переводить всі інші сервіси та послуги на власні cpu.

Ec2-інстанси trn1, в цілому, спрямовані на досягнення тих же цілей. Вони базуються на прискорювачах trainium, це другий чіп власної розробки amazon, створений спеціально для завдань машинного навчання. Чіп оснащений 32 гбайт hbm2e, а його продуктивність становить до 210 топс. Інстанси trn1 об’єднують до 16 таких прискорювачів, пов’язаних інтерконектом neuronlink (768 гбайт/с), мають efa-підключення зі швидкістю до 800 гбіт/c (вдвічі вище, ніж у нинішніх gpu-інстансів) і пропонують до 8 тбайт nvme ssd.

Aws дозволяє формувати кластери з десятків тисяч trainium, об’єднаних мережею петабітного класу і підключених за допомогою amazon fsx до петабайтного lustre-сховища. Все це дозволяє швидко навчати гігантські моделі. Для роботи пропонується фірмовий набір інструментів neuron sdk (той же, що і для aws inferentia), але є і підтримка популярних фреймворків на кшталт tensorflow або pytorch. Trn1 поки що знаходяться в попередньому доступі за запитом.

Якщо ви помітили помилку — виділіть її мишею і натисніть ctrl+enter. / можете написати краще? ми завжди раді авторам.