Neural Network Data Fusion fyrir sjálfkeyrandi bíla

rás, skila netkerfin reiknuðu trausti sínu um getu NN til að greina hluti á tiltekinni mynd nákvæmlega. Til dæmis, ef myndin er mjög dökk mun RGB netið skila lágu öryggi. 2 DNN (Deep Neural Networks) keyra án eftirlits á sameinuðu gagnasafninu og leita að myndum þar sem annað DNN hefur lítið sjálfstraust og hitt hefur hátt stig. Rásir myndarinnar með háu öryggi eru síðan notaðar til að kenna NN fyrir rásir með lægri öryggi. Þetta ferli bætir verulega árangur beggja DNN með því að þjálfa þau við krefjandi aðstæður. Ein af niðurstöðunum er að RGB DNN sýna miklar framfarir í myrkri senum og beinni glampa.

C. Samrunamynd (R, G, B, IR) net

Notaðu 4D myndir (R, G, B, IR) til að ná sem bestum árangri fyrir kerfi sem innihalda bæði RGB og IR myndavélar. Uppgötvunarstig þessa DNN er greiningarstig samsetningar hinna 2 DNN sem getið er um í kafla B hér að ofan, en notar aðeins helming reiknitilfönganna. Þessi samsetning/samruni mun skila bestu árangri fyrir eitt kerfi.

Hins vegar verður að hafa í huga nokkra þætti þegar val á samrunakerfisaðferð. Með því að nota 2 mismunandi DNN (eins og sýnt er í kafla B) fær kerfið þann offramboðsstuð sem þarf til að tryggja öryggi sjálfstýrðra ökutækja (koma í veg fyrir bilun ef um lokun er að ræða, linsuóhreinindi, bilun í einum skynjara osfrv.). Einnig er hægt að stilla endurbætt RGB plús IR netið aðeins meira, svo að fjarlægja eina af myndavélunum (RGB eða IR) mun ekki hafa áhrif á DNN rásanna sem eftir eru.

A) RGB DNN lestir IR DNN. B) RGB DNN og IR DNN eru gagnkvæmt þjálfaðir. C) 4D mynd DNN

að lokum

RGB myndavélar verða líklega áfram aðalskynjararnir í sjálfkeyrandi bílum. Í sumum tilfellum verða RGB myndavélar óáreiðanlegar og þarfnast viðbótarskynjara. Þegar þú velur fylgiskynjara ætti að hafa eftirfarandi atriði í huga:

Afköst skynjara við umhverfisaðstæður (lýsing, veður o.s.frv.) sem hafa áhrif á afköst RGB myndavélarinnar

skynjara verð

Auðvelt að þjálfa gervigreind reiknirit og fulla gagnasamrunagetu

LWIR myndavélar uppfylla fullkomlega öll ofangreind atriði. QuadSight sjónkerfið nýtir nýjustu gervigreindargetu til að ná fram fullkomnum samruna gagna á fljótlegan og áreiðanlegan hátt til að gera fullkomlega sjálfstæða ökutæki að veruleika.

RGB sýnilegt ljós mynd (vinstri), LWIR mynd (miðja) og samruna RGB-IR mynd (hægri)