Arteris Interconnect Ip im Neureality Inference Server für generative KI- und große Sprachmodell-Anwendungen eingesetzt
Am 10. Oktober 2023 um 22:30 Uhr
Teilen
Arteris, Inc. gab bekannt, dass NeuReality die FlexNoC Interconnect IP von Arteris als Teil des NR1 netzwerkadressierbaren Inference Server-on-a-Chip einsetzt, um hochleistungsfähige, bahnbrechende Kosten- und Stromverbrauchsverbesserungen für maschinelle und Deep Learning-Berechnungen in seinen KI-Inferenzprodukten zu erzielen. Diese Integration ist in einem 8-hierarchischen NoC mit einer aggregierten Bandbreite von 4,5 TB/Sek. untergebracht und erfüllt die Anforderungen an niedrige Latenzzeiten für die Ausführung von KI-Anwendungen in großem Maßstab und zu geringeren Kosten. Der NeuReality Inferenzserver zielt auf generative KI, Large Language Models (LLMs) und andere KI-Workloads ab.
Der innovative NR1 Server-on-a-Chip von NeuReality ist die erste Network Addressable Processing Unit (NAPU), ein für Arbeitsabläufe optimiertes Hardwaregerät mit spezialisierten Verarbeitungseinheiten, nativen Netzwerk- und Virtualisierungsfunktionen. Sie bietet ein natives KI-over-Fabric-Netzwerk, einschließlich vollständiger KI-Pipeline-Offloads und hardwarebasierter KI-Hypervisor-Funktionen. Die Fähigkeit, CPUs, GPUs und sogar Deep-Learning-Beschleuniger auf mehrere NR1-Chips zu verlagern, macht es möglich, dass der Inferenzserver von NeuReality effektiv die bis zu 10-fache Leistung bei geringerem Stromverbrauch und zu einem Bruchteil der Kosten seines Inferenzservers liefert.
Teilen
Zum Originalartikel.
Rechtliche Hinweise
Rechtliche Hinweise
Kontaktieren Sie uns, wenn Sie eine Korrektur wünschen
Arteris, Inc. ist ein Anbieter von Halbleitersystem-IP, einschließlich Verbindungselementen und anderem geistigen Eigentum (zusammenfassend als System-IP bezeichnet) Technologie. Seine System-IP-Technologie verwaltet die On-Chip-Kommunikation und IP-Blöcke in System-on-Chip (SoC)-Halbleitern und Chipletsystemen. Das Unternehmen bietet Halbleiter-Interconnect-IP und SoC-Integrations-Automatisierungssoftware (SIA) an, um seine Zielmärkte zu bedienen, darunter Automotive, Enterprise Computing, Unterhaltungselektronik, drahtgebundene und drahtlose Kommunikation sowie industrielle Segmente. Das Halbleiter-IP-Produktportfolio umfasst nicht-kohärente NoC-IP mit FlexNoC und FlexWay, Cache-kohärente NoC-IP mit Ncore und Last-Level-Cache mit CodaCache. Die SIA-Technologie-Suite mit den Produkten Magillem und CSRCompiler deckt die wichtigsten Funktionen für die Automatisierung der SoC-Integration und die allgemeine Beschleunigung der SoC-Entwicklung ab. Das Konnektivitätsprodukt Magillem verkürzt und rationalisiert den SoC-Integrationsprozess.
ARTERIS, INC. 
