NVIDIA Jetson: Arkitektur, arbejde og dens applikationer

Prøv Vores Instrument Til At Fjerne Problemer





Den førende platform i verden som NVIDIA Jetson er en sekvens af indlejrede computerkort, der hovedsageligt bruges i autonome maskiner og andre indlejrede applikationer . Dette kort indeholder hovedsageligt Jetson-moduler, som er højtydende computere. Jetson er velegnet med lignende AI-software og en cloud-native workflow, der bruges på tværs af andre NVIDIA-platforme og giver strømeffektiv ydeevne for kunderne til at bygge softwarebaserede autonome maskiner. NVIDIA Jetson bruges til computervision-applikationer. Så denne artikel diskuterer en oversigt over NVIDIA Jetson – arbejde og dets applikationer.


Hvad er NVIDIA Jetson?

NVIDIA Jetson er en avanceret indlejringssystem board, der bruges til at skabe innovative AI-produkter på tværs af flere brancher. NVIDIA Jetson er en af ​​de førende hardwareplatforme, som er meget nyttig for teknologientusiaster og også studerende til at få praktisk erfaring gennem en række innovative AI-projekter. Dette board er et meget effektivt board til kunstig intelligens, som inkluderer modulære computere med lille formfaktor og højtydende kant. Derudover indeholder dette board også JetPack SDK, der bruges til softwareacceleration, samt et komplet økosystem til at hjælpe med at øge udviklingsproceduren for tilpassede AI-projekter.



  NVIDIA Jetson-modul
NVIDIA Jetson-modul

NVIDIA Jetson-arkitektur

Vi ved, at Nvidia Jetson-modulet fra Nvidia er en sekvens af indlejrede computerkort. Alle modellerne af Jetson TX1, TX2 & TK1 har en SoC- eller Tegra-processor fra Nvidia, der inkorporerer en ARM-arkitektur CPU. Her er Jetson et lavenergisystem, der hovedsageligt er designet til at accelerere maskinlæringsapplikationer.

NVIDIA Jetson Xavier NX-arkitekturen er vist nedenfor. Det er den mest avancerede og lille AI-supercomputer, der bruges til edge computing-enheder såvel som autonom robotik . Dette modul har kapacitet til at implementere serverklasseydelse inden for en solid formfaktor på 70x45 mm og giver også op til 21 TOPS af computer under 15W strøm, ellers op til 14 TOPS af computer under 10W.



  NVIDIA Jetson Xavier NX-arkitektur
NVIDIA Jetson Xavier NX-arkitektur

Ovenstående diagram indeholder en indbygget 384-kerne NVIDIA Volta GPU inklusive en 6-kernet NVIDIA Carmel ARMv8.2 64-bit CPU, 48 Tensor Cores, 8GB 128-bit LPDDR4x, 4K videokodere og dekodere, dual NVDLA (NVIDIA Deep Learning Accelerator) motorer, kamera til op til seks øjeblikkelige højopløsninger sensorstreams, dual Display Port eller HDMI 4K-skærme, PCIe Generation 3-udvidelse, USB 3.1 & GPIO'er med I2C, SPI, I2S, UART & CAN bus.

Specifikationerne for NVIDIA Jetson inkluderer følgende.

  PCBWay
  • Strøm er 10W eller 15W tilstande og 5V input.
  • CPU er 6-core NVIDIA Carmel 64-bit ARMv 8.2 ved 1400MHz.
  • GPU er 384-core NVIDIA Volta ved 1100MHz gennem 48 Tensor Cores.
  • DL er Dual NVDLA-motorer.
  • Hukommelsen er 8GB 128-bit LPDDR4x ved 1600MHz.
  • 16 GB eMMC 5.1 lagerplads.
  • Kameraet er 12x MIPI CSI-2 baner | 3×4 eller 6×2 kameraer.
  • Op til 6 kameraer (36 via virtuelle kanaler).
  • Termisk temperatur fra -25°C til 90°C.
  • Skærmen er DP 1.4 eller eDP 1.4 eller HDMI 2.0 a/b ved 4Kp60.
  • Ethernet er 10 eller 100 eller 1000 BASE-T Ethernet.
  • USB 3.1 og USB 2.0.

Dette modul understøttes af hele CUDA-X-softwarestakken af ​​NVIDIA og også JetPack SDK til AI-udvikling. Det kører meget populære maskinlæringsrammer og vanskelige DNN'er på flere højopløselige sensorstrømme på én gang, foruden realtidscomputersyn, grafik og multimedieapplikationer i et komplet Linux-miljø.

På nuværende tidspunkt begyndte udviklere at designe AI-applikationer til Jetson Xavier NX ved hjælp af Jetson AGX Xavier Developer Kit. Anvendelse af en enhedsmønsterpatch i nærheden af ​​JetPack vil få enheden til at fungere som en Jetson Xavier NX. Dette vil ændre antallet af GPU- og CPU-kerner, der kan opnås via software, og indstille clock-frekvenser samt spændinger for kerner på tværs af systemet.

Patchen er fuldstændig reversibel, som bruges til at tilnærme Jetson Xavier NX-ydelsen. Dette modul klassificerer standard strømtilstande på 10W & 15W, der opnår mellem 14 og 21 TOPS topydelse baseret på den aktive tilstand. nvpmodel-værktøjet bruges til at håndtere strømprofiler for at justere de højeste CLK-frekvenser for GPU, CPU, diverse SoC-ure og hukommelsescontroller sammen med de forskellige CPU-klynger.

Baseret på arbejdsbelastningen afbalancerer DVFS (Dynamic Voltage & Frequency Scaling) regulatoren frekvenserne på runtime op til deres højeste grænser som beskrevet af den aktive nvp-model, således at strømudnyttelsen reduceres ved tomgang og baseret på processordrift. nvpmodel-værktøjet hjælper med at lave og ændre nye strømtilstande baseret på TDP- og applikationskrav.

NVIDIA Jetson-modul bringer supercomputerens ydeevne til kanten inden for en lille formfaktor SOM (system-on-modul). Lige til 21 TOPS af accelereret databehandling sender hestekræfterne til at køre nuværende neurale netværk parallelt og behandle data fra forskellige højopløsningssensorer. Dette modul er ideelt til højtydende-baserede AI-systemer såsom medicinske instrumenter, kommercielle robotter, AIoT-indlejrede systemer, smarte kameraer, automatiseret optisk inspektion, højopløsningssensorer, smarte fabrikker osv.

Software

NVIDIA Jetson-modulet understøttes ganske enkelt gennem kombinerede softwarearkitekturer, så det vil gøre softwareudviklere meget nemmere. Denne kombinerede tilgang sparer simpelthen udviklerne for besværet med gentagen kodning, mens de forbedrer deres formationer på andre Jetson-moduler.

NVIDIA JetPack SDK er tilgængelig med et Linux OS, CUDA-X accelererede biblioteker og API'er til forskellige maskinlæringsfelter som computervision, deep learning osv. Det understøtter også maskinlæringsrammer som Caffe, TensorFlow, Keras og OpenCV computervision biblioteker.
NVIDIA Jetson tilbyder forskellige softwareværktøjer til sine moduler, som diskuteres nedenfor.

NVIDIA JetPack SDK

Jetson platform software-pakker som TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV og Visionworks er alle samlet oven på L4T gennem LTS Linux-kernen.

NVIDIA Jetson Linux driverpakke

Det giver Linux-kernen, NVIDIA-drivere, bootloader, eksempelfilsystem, blinkende hjælpeprogrammer og mange flere til platformen Jetson.

NVIDIA DeepStream SDK

Det er et sæt API'er og biblioteker til at hjælpe udviklere med at designe og arrangere stærke IVA-løsninger (intelligent video analytics) på Jetson-platformen. Det bruges til at bygge komplekse applikationer som kodning, billedoptagelse, afkodning, inferens med TensorRT osv.

NVIDIA Isaac SDK

Det er et sæt biblioteker, API'er, drivere og andre værktøjer, som vil tilføje AI til næste generations robotter til navigation, perception og manipulation. Så det hjælper med at skabe og implementere AI-drevet robotik.

NVIDIA Jetson-typer

NVIDIA Jetson-modulet leveres med hukommelse, GPU, CPU, højhastighedsgrænseflader, strømstyring osv. Disse moduler er tilgængelige i forskellige ydeevner, strømeffektivitet og variationer af formfaktorer for at gøre dem brugt på tværs af forskellige industrier. Der er forskellige NVIDIA Jetson-enheder tilgængelige, som diskuteres nedenfor.

NVIDIA Jetson Nano

NVIDIA Jetson Nano-modulet er velegnet til udviklere eller studerende og også til begyndere, fordi det hovedsageligt er designet til praktisk læring og undervisning. Størrelsen af ​​dette modul er lille, men dets strømeffektivitet og ydeevne er høj for at gøre det perfekt til at køre nuværende flere parallelle neurale netværk, AI-arbejdsbelastninger og databehandling fra højopløsningssensorer på én gang. Jetson Nano-modulet er således en meget populær kant-enhed, der bruges til at lave indlejrede AI-produkter & -løsninger.

  NVIDIA Jetson Nano
NVIDIA Jetson Nano

Dette modul er perfekt til AI-baserede computervision-applikationer, og det udfører AI-visionsopgaver såsom objektdetektering, billedsegmentering, billedklassificering osv. Dette modul er meget kompatibelt med open source computervisionssoftware og OpenCV-maskinlæringsbiblioteker.

NVIDIA Jetson TX2-serien

NVIDIA Jetson TX2 Series-modulet er designet i en kreditkortstørrelse. Funktionerne i dette modul inkluderer hovedsageligt en NVIDIA Pascal GPU, op til 8 GB hukommelse, 59,7 GB/s hukommelsesbåndbredde og standard hardwaregrænseflader. Dette modul yder op til 2,5 gange sammenlignet med NVIDIA Jetson Nano-modulet.

Dette modul kører meget effektivt dybe neurale netværk på edge-enheder for at opnå højere nøjagtighed. Modulerne, der er tilgængelige i serien, omfatter hovedsageligt Jetson TX2 4GB, Jetson TX2i, Jetson TX2 og Jetson TX2 NX. NVIDIA Jetson TX2 NX-modulet deler simpelthen pin- og formfaktorkompatibilitet gennem Jetson Xavier NX og Jetson Nano.

  NVIDIA Jetson TX2-serien
NVIDIA Jetson TX2-serien

De resterende tre moduler vil dele det originale Jetson TX2-moduls formfaktor. Brugen af ​​TX2-serien spænder ganske enkelt inden for forskellige industrier som landbrug, fremstilling, biovidenskab, detailhandel osv. Jetson TX2i-modulet fra de resterende moduler er mest velegnet til højtydende AI-enheder som medicinsk udstyr, maskinsynskameraer og industrirobotter, fordi af sit stærke design.

Dette modul er et meget hurtigt indlejret AI-computerapparat, der tilbyder høj energieffektivitet som 7,5 W, supercomputer-kapaciteter hovedsageligt til edge AI-enheder, og også forskellige hardwaregrænseflader, der nemt kan inkorporeres i forskellige produkter og formfaktorer.

NVIDIA Jetson Xavier NX

NVIDIA Jetson Xavier NX-modulet er meget lille sammenlignet med et kreditkort med høj ydeevne og strømeffektivitet. Dette er også kendt som den mindste AI-supercomputer til edge & embedded systemer i verden. Dette modul hjælper især med at køre komplette AI-systemer.

  Xavier NX
Xavier NX

Funktionerne i Jetson Xavier NX understøtter også cloud-native teknologier, så det er nemt for udviklere at opgradere og administrere AI-produkter. Dette modul understøtter alle populære AI-modeller og rammer. Så dette modul passer fuldstændig til højtydende AI-systemer som smarte kameraer, AI-drevne højopløsningsvisionssystemer, droner, kommercielle robotter eller medicinsk udstyr.

NVIDIA Jetson Xavier NX-modulet leverer 21 Tera Operations per Second eller TOPS til at køre en aktuel AI-arbejdsbelastning ved at forbruge 10W strøm. Formfaktoren for dette modul er mere kompakt sammenlignet med et kreditkort. Xavier NX-modulet kører forskellige neurale netværk på én gang og behandler data fra forskellige højopløsningssensorer. Denne type modul bruges til at designe applikationer til indlejrede & edge computing-enheder, der har brug for høj ydeevne, men med betydelige vægt-, størrelses- og strømbegrænsninger.

NVIDIA Jetson AGX Xavier-serien

NVIDIA Jetson AGX Xavier Series-modulet er hovedsageligt udviklet til næste generation af autonome intelligente maskiner. Dette modul leverer op til 32 TOPS- eller Tera-operationer pr. sekund af AI-ydelse, når der bruges så lidt som 10 watt. Softwareudvikleren har simpelthen lov til hurtigt at arrangere neurale netværk med et sæt AI-softwareværktøjer fra NVIDIA.

  AGX Xavier-serien
AGX Xavier-serien

Dette modul giver forskellige specifikationer og funktionelle sikkerhedsfunktioner, så udviklere skaber sikkerheds- eller industricertificerede produkter. Dette moduls høje ydeevne kan gøre dem egnede til adskillige autonome maskiner som logistik- og industrirobotter, fabrikssystemer og store droner.

Jetson Xavier NX Developer Kit

Jetson xavier nx-udviklersættet inkluderer et solidt strømbesparende Xavier NX-modul, der bruges til AI-drevne edge-enheder. Dette modul har nogle funktioner som cloud-native support og accelererer stakken af ​​NVIDIA-software på kun 10W med over 10 gange ydeevnen af ​​Jetson TX2. Dette udviklersæt bruges af producenter af intelligente maskiner, AI-startups og applikationsudviklere til at designe moderne produkter med kompakt, meget nøjagtig AI-inferens og strømbesparende formfaktor.

  NX Developer Kit
NX Developer Kit

Jetson AGX Xavier Industrial

Jetson AGX Xavier Industrial-modulet er en del af AGX Xavier-serien. Designet af dette modul er en pin-kompatibel formfaktor, der styrer de mest aktuelle AI-modeller i krævende applikationer. Dette modul giver udvidede vibrations-, stød-, temperaturspecifikationer, avancerede sikkerhedsfunktioner, op til 4 gange hukommelsen og 20 gange TX2i-modulets ydeevne.

  Xavier Industrial
Xavier Industrial

Dette modul er meget nyttigt for designere til at designe automatisering, robotteknologi og andre intelligente produkter. Derudover designer den også sikkerhedscertificerede og robuste produkter til at levere høj ydeevne til industrielle, AI-indlejrede funktions- og sikkerhedsapplikationer i et design af robust såvel som strømbesparende formfaktor.

Fordele

Det fordelene ved NVIDIA Jetson omfatte følgende.

  • NVIDIA Jetson er velegnet til studerende, individuelle udviklere og forskellige organisationer.
  • Jetson-platformen er meget populær, fordi den kommer med forskellige fordele som modulær fleksibilitet, samlet software og understøttelse af cloud-native teknologier.
  • Dette board indeholder et sæt moduler, der er meget nyttige til alt fra grundlæggende AI-applikationer til meget komplekse AI-drevne enheder.
  • Dette board er kraftdrevet gennem en samlet softwarearkitektur, der hjælper udviklerne fra den gentagne kodning. Når de har brug for AI/ML-kapacitet, kan de inkludere et relateret Jetson-modul til enheden, og det tager sig af de tunge løft.
  • NVIDIA Jetson-platformen understøtter simpelthen cloud-native teknologier og arbejdsgange som orkestrering og containerisering, hvilket giver udviklere mulighed for at udvikle hurtigt og udvide AI-produkter.
  • NVIDIA JetPack SDK er tilgængelig med et Linux OS, API'er og CUDA-X accelerationsbiblioteker til en række maskinlæringsdomæner som computervision og deep learning. Det giver også støtte til maskinlæringsrammer som Caffe og Keras, TensorFlow og OpenCV-biblioteker for computervision.

Ulemper

Det har meget få ulemper, mens man tager prisen i betragtning

  • NVIDIA Jetson nano-modulet er ikke tilgængeligt med wifi indeni.
  • NVIDIA Jetson nano-modul inkluderer kun to PWM-ben på kortet.

Ansøgninger

Programmerne af NVIDIA Jetson omfatter følgende.

  • NVIDIA Jetson-modulet tilbyder overlegne indlejringssystemer, der bruges til at lave AI-produkter til en række forskellige scenarier. Dette er et strømbesparende modul, der bruges til kunstig intelligens, og som inkluderer højtydende, modulære computere med lille formfaktor.
  • Nvidia Jetson-kort er hovedsageligt designet til brug i indlejrede systemer som droner, robotter og andre enheder, der har brug for kraftig behandling inden for en lille formfaktor. De almindelige anvendelser af Jetson-kort omfatter hovedsageligt medicinsk udstyr, autonome køretøjer, digital skiltning, AR/VR-headset, smart city-applikationer osv.
  • Dette modul understøtter forenede softwarearkitekturer for at gøre softwareudviklernes arbejde meget enkelt.
    NVIDIA Jetson-modulerne og -enhederne er optimerede edge-enheder, der bruges til at udvikle Edge AI-systemer.
  • NVIDIA Jetson Nano Developer Kit er en meget kraftfuld og lille computer, der kører adskillige neurale netværk parallelt til forskellige applikationer som objektgenkendelse, billedklassificering, talebehandling og segmentering.
  • NVIDIA Jetson Nano-modulet er perfekt til computervisionsapplikationer baseret på AI, og de udfører AI-visionsopgaver såsom billedsegmentering, billedklassificering, objektdetektering osv.
  • Nano-modulerne fra NVIDIA Jetson bringer utrolige nye muligheder til tusindvis af strømeffektive og små AI-systemer
  • NVIDIA Jetson Nano-modulet er kompatibelt med OpenCV maskinlæringsbiblioteker og open source computervisionssoftware.

Q). Hvad er strømforbruget for Jetson-moduler?

EN). Strømforbruget for Jetson-modulet varierer afhængigt af modellen og brugen. Jetson Xavier-modulet har f.eks. et typisk strømforbrug på omkring 15W til 30W, mens Jetson TX2 kan forbruge mellem 7W og 15W.

Q). Kan Jetson bruges til objektdetektering og sporing i realtid?

EN). Ja, Jetson Platforms kan håndtere syndetektion og sporing. Nano-modul er en højtydende GPU- med edge computing-platform, der hovedsageligt kan bruges til detektion, tælling og sporing.

Q). Hvilke typer sensorer kan Jetson kommunikere med?

EN). Synssensorer bruges til at forbinde Jetson med forskellige kameragrænseflader som USB, MIPI CSI og Ethernet. De kan også interface med lidar, ultralydssensorer og andre typer samt ved hjælp af de forskellige typer interface som I2C, SPI osv.

Q). Hvad er forskellen mellem Jetson og Raspberry Pi?

EN). Den største forskel mellem disse to boards er; NVIDIA Jetson blev udviklet til at håndtere høje krævende AI- og computervisionsopgaver, mens Raspberry Pi 4-kortet har lavt strømbaseret multimedie-GPU, der bruges til almen databehandling og undervisning. Jetson kan bruges til mere avancerede funktioner såsom hardware-accelereret videoafkodning og -kodning ved hjælp af dens kraftfulde GPU (Graphical Processing Unit) og CPU (Central Processing Unit).

Q). Kan Jetson bruges til autonome robotapplikationer?

EN). Morgendagens autonome robotteknologi og industri vil være kraftdrevet gennem NVIDIA Jetson for Intelligente Machines & Robotics.

Således er dette en oversigt over NVIDIA Jetson – fordele og dets anvendelser. Dette modul er den førende platform rundt om i verden, der bruges af udviklere til at lave avancerede AI-produkter i alle brancher. Disse moduler bruges også af studerende og også entusiaster til at få praktisk erfaring med AI-læring for at lave fantastiske projekter. Jetsons platform består hovedsageligt af strømbesparende, små udviklersæt og produktionsmoduler. Her er et spørgsmål til dig, hvad er NVIDIA?