Bir vuruşan təqlid öyrənmə üçün OpenAI'nin yeni yanaşması, AI'nin gələcəyinə bir nəzər

Bir vuruşlu imitasiya öyrənmə Yan Duan, Marcin Andrychowicz, Bradly C. Stadie, Jonathan Ho, Jonas Schneider, Ilya Sutskever, Pieter Abbeel, Wojciech Zaremba

Mayın 16-da, OpenAI tədqiqatçıları, hazırkı AI inkişafının üç əsas probleminə dair həll yollarını araşdıran iki vacib sənədlə yanaşı, layihələrindən birinin videosunu paylaşdılar: meta öyrənmə, bir vuruşlu təlim və məlumatların avtomatlaşdırılması. Əvvəlki yazılarımda birdən-birə öyrənmənin maraqlı probleminə həsr olunmuş bir məqalə vəd etmişdim, buna görə də burada davam edir. Onların ecazkar işlərini izah edən yayımladığı videoya nəzər salmaqla başlaya bilərsiniz:

Bu videoda bir qolu olan fiziki robotların bir-birinin üstünə yığdığı kubları görürsən. Hal-hazırda sənaye robotlarının yerinə yetirə biləcəyi mürəkkəb tapşırıqları bilmək, tədqiqatçı nəyin baş verdiyini izah etməyə çalışmasaydı, bir çox hesabda bu çox çətin olur. Nəzarət olunan mühitdə tapşırıq sadədir, prosedur (sərt kodlu) yanaşmalar bu problemləri artıq həll etdi, perspektivli və inqilabi nəyin altındakı ümumi çərçivənin səs-küylü mühitdə çox, daha mürəkkəb və uyğunlaşma davranışlarını nə qədər genişləndirə biləcəyidir.

İnsanla daha yüksək heyvanlar arasındakı zehn fərqi, şübhəsiz ki, dərəcədir və növ deyil.
- Çarlz Darvin

Bənzətməyə görə, bu məqalə indiki mənimsənilmiş AI (fiziki sistemlərin süni intellekti) və 22-ci əsrin robotları arasındakı idrak sistemlərindəki fərqlərin miqyaslı və növlərdən biri olacağına dair güclü bir sübutdur. 2012-ci ildən ImageNet rəqabəti *, dərin bir öyrənmə tədqiqatı, bir neyron şəbəkəsi tərəfindən edilən paylanmış hesablama xarakterini dəyişdirmək üçün çox deyil, müəyyən bir işi öyrənmələri üçün şəbəkələrin qurulmasının yeni yollarını tapmaqla inkişaf edir. Neyron şəbəkə funksiyası bir quruluşdur, bu quruluş sabit kodlanmamışdır (əl ilə işlənməmişdir), lakin giriş və çıxışlar arasında əvvəlcə quruluş və əlaqələrini dəyişdirə bilən atom hesablama vahidlərinin nəticələridir. Şəbəkənin ümumi quruluşunu dəyişdirərək müəyyən bir funksiyanı öyrənir.

Bu yazıda, vəzifələri mücərrəd şəkildə təmsil etmək üçün bir agent yetişdirə bilən ümumi bir çərçivə qurdular və yalnız yeni bir tapşırıq nümayişindən (bir atış təqlidi öyrənmə) sonra bu biliyi yeni görünməmiş vəzifələrə köçürməyi öyrəndilər.

Tapşırıqlar

Dəqiq memarlıq tətbiqi fərqli olsa da, ümumi yanaşmanın performansını göstərmək üçün iki nümunə götürürlər.

Hissə çatır

Birinci nümunədə sistem bir təyyarədə rəngli hədəf mövqelərinin girişlərini və göstərilən hədəfə gedən simulyasiya edilmiş agentin tək bir video nümayişini alır.

Şəkil 2. Robot, 2 ölçülü qüvvə ilə idarə olunan bir nöqtə kütləsidir. Tapşırıqlar ailəsi hədəf nöqtəsinə çatmaqdır. İşaretçinin şəxsiyyəti tapşırıqdan tapşırıqa qədər fərqlənir və model nümayiş əsasında hansı hədəfi hədəf alacağını müəyyənləşdirməlidir. (solda) robotun təsviri; (orta) vəzifə narıncı qutuya çatmaqdır, (sağda) vəzifə yaşıl üçbucağa çatmaqdır.

Təlim zamanı sistem eyni tapşırığı (narıncıya çat), lakin başqa bir konfiqurasiyada, robot və hədəflər üçün fərqli başlanğıc mövqelərinə sahib olmalıdır. Sınaq zamanı agentin təlim edildiyi (narıncı rəngə) və ya əvvəllər görmədiyi vəzifəyə (məsələn, yaşıl rəngə) və ya hər ikisinə də test edilmiş olub olmadığı məlum deyil.

Təlim olunan siyasət yeni ssenarilər üzrə qiymətləndirilir və təlim zamanı görünməmiş yeni nümayiş trayektoriyaları ilə şərtlənir.

Agentin hədəf hədəfini bənzərsiz bir nümayişdən nəticə çıxartması və yenidən başqa bir konfiqurasiyadan başlamaq məcburiyyətində olduğu müəyyəndir. Bu, dəqiq motor ardıcıllığının sınaqdan əvvəl öyrənilə bilməyəcəyini və vəzifənin və motor planlaşdırmasının abstraksiyası (daha yüksək səviyyəli quruluşlu təmsil) ilə nəticələnməli olduğunu göstərir.

Blok yığma

İkinci nümunədə agent kubları (müxtəlif rənglərlə müəyyənləşdirilmiş) tək bir simulyasiya nümayişində göstərildiyi kimi eyni qaydada yığmağı öyrənməlidir. Bu simulyasiya edilmiş nümayiş, robotların motor və sensasiya aparatlarının xüsusiyyətlərinin modelləşdirildiyi 3D fizika mühərriki tərəfindən yaradılan bir sıra 2D görüntülərdir.

Bir vuruşlu siyasət. Bir çox vəzifəni həll etmək üçün vahid bir siyasət hazırlanmışdır. Üst vəzifə: {abc, def}, Aşağı vəzifə: {ab, cd, ef}

Hər iki misalda nümayişdə və həqiqi testdə kubların ilkin mövqeləri fərqlidir, hər tapşırıq başqa bir başlanğıc mövqedən başlayır. Robot nümayişin başlanğıc vəziyyətinə uyğun kubları əvəz etməyə çalışmır, başlatdığı yerdən kubu yığmaq üçün daha yüksək səviyyəli vəzifəni ötürür.

Domain randomizasiyasından istifadə edərək təlim

Hər iki halda da təlim zamanı istifadə olunan bütün şəkillər nümunələrin aşağıdakı cəhətlərini randomizə edəcəyi domen randomizasiyasından istifadə edərək simulyasiya yolu ilə əldə edilir:

Masadakı yayındırıcı obyektlərin sayı və forması Masadakı bütün obyektlərin mövqeyi və toxuması Masanın, döşəmənin, göy qutusunun və robotun toxumaları Kameranın mövqeyi, istiqaməti və görünmə sahəsi Səhnədəki işıqların sayı Vəzifə, istiqamət, və işıqların spesifik xüsusiyyətləri Şəkillərə əlavə olunan təsadüfi səs-küyün növü və miqdarı

Parçaya çatmaq üçün təlim dəsti

Tapşırıq ailələrinin getdikcə çətinləşən bir dəstini nəzərdən keçiririk, burada işarələrin sayı 2-dən 10-a qədər artır. Hər tapşırıq ailəsi üçün 10000 trayektoriya toplayırıq, burada işarələrin mövqeləri və nöqtə robotunun başlanğıc mövqeyi randomizə olunur. Nümayişləri səmərəli şəkildə yaratmaq üçün sərt kodlu bir mütəxəssis siyasətindən istifadə edirik. Hesablanmış hərəkətləri ətraf mühitə tətbiq etmədən pozaraq, traektoriyalara səs-küy əlavə edirik və neyron şəbəkə siyasətini öyrətmək üçün sadə davranış kloniyasından istifadə edirik

Blok yığma üçün təlim dəsti

Konkret olaraq, 140 təlim tapşırığı və 43 test tapşırığı topladıq, hər biri blokların fərqli bir tərtibatına sahibdir. Hər bir tapşırıqdakı blokların sayı 2 ilə 10 arasında dəyişə bilər. Təlim üçün hər tapşırıq üçün 1000 trayektoriya toplayırıq və qiymətləndirmə üçün istifadə ediləcək ayrıca traektoriyalar və ilkin konfiqurasiya dəstini saxlayırıq. Vəzifə çatan hissəcik kimi, səs-küyü traektoriya toplama prosesinə salırıq. Trayektoriyalar sərt kodlu bir siyasət istifadə edərək toplanır.

Uğurlu nümayişlər sərt kodlu bir siyasətdən istifadə edərək toplanır

Diqqət yetirin ki, düzgün trayektoriyalar prosedurlu "sərt kodlu" bir siyasət tərəfindən yaradılır. Hesab edirəm ki, sistem identifikasiyası və idarə olunmasının klassik üsullarına güvənirəm. Beləliklə, təlim və sınaq zamanı agentin iki girişi var: a) A konfiqurasiyasında bir nümayiş və b) başlanğıc konfiqurasiya B. Yalnız təlim zamanı öyrənmə alqoritmi də ideal bir cavab əldə edə bilər: B konfiqurasiyasından başlayaraq trayektoriya. problemi cavablandırır və öyrənmə zamanı agentin cavabı ilə müqayisə ediləcək - onu nəzarət olunan bir öyrənmə problemi halına gətirir.

Hər bir təlim tapşırığı üçün uğurlu nümayişlər toplusunun olmasını güman edirik.

Əgər aydın deyilsə, sonrakı hissədə müxtəlif növ öyrənmə paradiqmalarının fərqliliyinə keçəcəyəm.

Optimallaşdırma alqoritmi və zərər funksiyası

Nəzarət olunan öyrənmə, hər qərarda şəbəkənin etdiyi düzgün seçimi və səhv səhv anlayışını əldə edən təlim paradiqmalarına aiddir. Məsələn, itlər və pişiklər arasındakı təsnifat tapşırığında, təlim zamanı köpəklərin və pişiklərin şəkillərinin etiketi əvvəlcədən bilinir və səhvlər dərhal aşkarlanır. Bu mənada ümumiyyətlə agentdən aldığı girişlərdə əvvəllər bilinməyən bir quruluş tapmağı xahiş edildiyi nəzarətsiz öyrənmədən fərqlidir və pişik və itlərin etiketləri olmadan yalnız fərqli obyektlərin iki qrupunun olduğunu aşkar etməli olur. məlumatların daxilində olan məlumatlar. Gücləndirmənin öyrənilməsindən də bir çox məqsədə səbəb olan qərarın dəqiq ardıcıllığı bilinməyən real vaxt sisteminə tətbiq edildiyi öyrənilir, ancaq ardıcıllığın düzgün olub olmadığını yalnız son "mükafat" qərar verəcəkdir. İmitasiya təlimindən istifadə edərək, klassik möhkəmləndirmə öyrənmə problemini səhv məsafədən müşahidə olunan trayektoriyaya hesablanaraq nəzarət olunan öyrənmə probleminə çevirirlər.

Hər hansı bir nəzarət edilən təlim quraşdırma üçün olduğu kimi, tapşırıq, agentin nəzərdə tutulan davranışdan nə qədər uzaq olduğunu müəyyənləşdirmək məqsədi daşıyan zərər funksiyası ilə tamamilə müəyyən edilir. Bu funksiyanı təyin etmək tez-tez kritik bir addımdır, çünki optimallaşdırma alqoritmlərinin model parametrlərini necə yenilədiyini müəyyənləşdirir. Bu alqoritmlər hesablama müddəti baxımından vacibdir və ümumiyyətlə bir araya gələ bilməsi üçün bir çox cəlbediciliyi tələb edir. Həqiqətən çox yüksək ölçüdə funksiyanı minimuma endirəcək həllər parametr sahəsinin çox kiçik bir qabığında yerləşir, aralarındakı kiçik bir çəkic məsafəsi, bu kiçik domendən uzaqlaşan kimi həll yolları arasındakı məsafə sürətlə böyüyür. Çox inanılmaz Jennifer Chayes tərəfindən başqaları arasında görülən bu mövzuda çox maraqlı bir iş var, o, Talking Machines-in son bölümündə çox maraqlı bir müsahibədə mövzunu fırçalayır.

Siyasət şəbəkələri (bütün şəbəkə, hansı hərəkətin tətbiq olunacağından qərar verə bilmək üçün) təlim zamanı ilk dəfə uğurlu nümayiş trayektoriyasını işləyir. Bu hissə üçün iki yanaşmanı, klassik Davranış klonlanmasını (istifadə etdiklərindən tam əmin deyil) və DAGGER alqoritmlərini müqayisə edəcəklər. Bu, hərəkətlərin davamlı və ya diskret olmasına (hadisələrin ardıcıllıqla bölüşdürülməsinə əsaslanaraq) əsasən l2 və ya cross-entropiya itkisi ilə itki funksiyasının iterativ minimuma endirilməsinə imkan verəcəkdir. Bütün təcrübələr boyunca Adamaks alqoritmindən 0.001 öyrənmə sürəti ilə optimallaşdırmanı həyata keçirdilər.

Addım ölçüsü kiçik başlayır və eksponent olaraq çürüyür.

Alqoritm özü köçürməyə imkan vermir, məşq toplusunu necə qurduğunu və köçürməyə imkan verəcək zərər funksiyan.

Tapşırıqlarda iki növ ötürmə mövcuddur. Birinci növə "reallıq boşluğunu aradan qaldırmaq" deyilir, bu, simulyasiya edilmiş girişlər arasında təlimlərin təbii stimullara sınaqdan keçirilməsinə imkan verən öyrənmənin ümumiləşdirilməsidir. Simulyasiya məlumatları çox vaxt mükəmməl, real obyektin mürəkkəbliyində olmayan gerçək dünyanın yoxsulluğun yaxınlaşmasıdır. Gerçək dünyada kamera səhv və səs-küylü ola bilər, motor nəzarəti az dəqiq olacaq, rənglər dəyişəcək, toxumalar daha zəngin olacaq və s. Bu ilk köçürmə üçün "domen təsadüfi" olaraq adlandırdıqları bir metoddan istifadə etmələri üçün : girişlərə səs-küy əlavə etməklə şəbəkənin real dünyaya uyğun şəkildə ümumiləşdirməsinə imkan verəcək ümumi uyğun quruluşu öyrənə bilməsi. Məsələn, təlim nümunələri arasındakı kameranın bucağını dəyişdirəcək, toxumalarını dəyişdirəcək və ya traektoriyaların daha az mükəmməl olmasını təmin edəcəklər. Təlim zamanı səs-küy əlavə edərək möhkəmlik əlavə edirik.

Burada sınaqdan keçirilmiş ikinci ötürmə, başqa bir başlanğıc konfiqurasiyasında başlayan, lakin bənzər son hədəfi olan bir nümayiş əsasında əvvəllər görünməmiş konfiqurasiya və məqsəd dəstində müvafiq motor ardıcıllığı istehsal etmək qabiliyyətidir. Yenidən köçürmə təlim dəstini necə qurduğumuz və zərər funksiyasını modelləşdirdiyimizlə mümkün olacaq. Bənzər bir məqsədə çatmaq üçün eyni ilkin vəziyyətdən başlamayan təlim zamanı nümayişlər təqdim edərək, şəbəkənin mütləq mövqelərdən istifadə etmədən hədəfin daha yüksək səviyyədə təmsil olunmasını, habelə daha yüksək səviyyəli bir təmsil təqdim etməyi öyrənməyə imkan verirsiniz. sadə bir təqlid olmayan motor ardıcıllığı. Sadəlövh bir başlanğıc arxitekturası, quruluşu müvafiq şəkildə dəyişdirməyə imkan verir və bu öyrədilmiş quruluş son funksiyanı nəzərdə tutur.

Məqsədlər

Blok yığma paradiqması üçün öyrənmə agentlərinin görüşmələrini istədikləri bir neçə məhdudiyyət var idi.

Müxtəlif sayda blokları olan tapşırıq instansiyalarına müraciət etmək asan olmalıdır.
Təbii ki, eyni tapşırığın müxtəlif dəyişikliklərini ümumiləşdirməlidir. Məsələn, siyasət yalnız {abcd} tapşırığına öyrədilsə də {dcba} tapşırığını yaxşı yerinə yetirməlidir.
Dəyişən uzunluqdakı nümayişləri yerləşdirməlidir.

Bu tapşırıq üçün cavablandırmaq istədikləri bir neçə sual var idi.

Yetərli məlumatın oflayn olaraq toplana biləcəyini nəzərə alaraq davranış klonlaşması ilə təlim DAGGER ilə necə müqayisə olunur?
Bütün nümayişdə kondisioner, son konfiqurasiyada tapşırığı tam dəqiqləşdirmək üçün kifayət qədər məlumata sahib olmasına baxmayaraq, son istədiyiniz konfiqurasiyanı kondisionerlə necə müqayisə edir?
Bütün nümayişdə kondisioner, ən məlumatverici olan kiçik bir çərçivə olan traektoriyanın "anlıq görüntüsü" ndəki kondisionerlə necə müqayisə olunur?
Çərçivəmiz təlim zamanı heç görmədiyi vəzifələri uğurla ümumiləşdirə bilərmi? (++)
Metodun cari məhdudiyyətləri nələrdir?

Memarlıq

Parçaya çatma

Bu ilk nümunə üçün hamısı Uzun Qısamüddətli Yaddaş (LSTM) sinir şəbəkələrinə əsaslanan üç memarlığı müqayisə etdilər. Həmin şəbəkənin təsviri həm idrak, həm də hesablama elmlərində tamamilə maraqlı mövzular olan yaddaş və diqqət haqqında gələcək bir yazıda gedəcəkdir. Əslində LSTM əvvəlki yeni şəbəkə çıxışlarını (vaxtında) hər yeni bir vaxt nöqtəsində şəbəkənin giriş hissəsi kimi bəsləyir, keçmiş dövlətlərin bu günkü məlumatlarını (bu səbəbdən qısamüddətli yaddaş şəbəkələrinin adlarını) məlumatlandırmağa imkan verir. Zaman seriyası (Alexa, Siri və s.) İlə məşğul olan bir çox müasir texnologiyaların kökündə dayanırlar.

Burada o üç xüsusi şərtdən istifadə edirlər:

  1. Düz LSTM: motor hərəkətini yaradan çox qatlı qavrayışa qidalandırmaq üçün trayektoriya və hazırkı vəziyyətə qoşmağı öyrənir
  2. Diqqətlə LSTM: trayektoriyanın əlamətləri üzərində ölçülü bir nümayəndəlik istehsal edin
  3. Diqqətlə son vəziyyət: əvvəlki arxitekturaya bənzər əlamətlər üzərində çəki istehsal etmək üçün yalnız son vəziyyət hazırlığında istifadə edin

Blok yığma

Prinsipcə, ümumi bir neyron şəbəkəsi xəritələşdirməni nümayişdən və cari müşahidədən müvafiq fəaliyyətə qədər öyrənə bilsə də, müvafiq bir memarlıqdan istifadə etməyi vacib hesab etdik. Blok yığımını öyrənmək üçün memarlığımız bu sənədin əsas töhfələrindən biridir və inanırıq ki, daha mürəkkəb tapşırıqları birpilləli təqlid öyrənmək üçün hansı memarlığın görünə bilər.

Diqqət modulları

Məqalə, öyrənmək üçün istifadə olunan şəbəkələrin quruluşunu izah etməkdə məqalə nisbətən yüksək səviyyədə qalır. Arxitekturanın əsas tərkib hissəsi diqqəti cəlb edən moduldur, amma inanıram ki, bu mövzuda vacib rolu ətraflı şəkildə müəyyənləşdirən bir yazı tələb olunur. Davamlı diqqətin idrak elmi konsepsiyasına bənzərliklə, diqqət modulları məkan və zaman dəyişikliyi daxilində olan müvafiq məlumatları saxlamaq və yönəltmək üçün istifadə olunur. Vaxt və məkanda uzanan bir məlumat məzmunu ehtiva edən sabit ölçülü bir nəticə çıxarır. Güman etdiyim riyaziyyatın bir qolu olan topologiyaya bənzətməklə, gələcəkdə paylanmış nümayəndəlikləri necə başa düşdüyümüzü böyük bir məlumat verəcəkdir, bir diqqət şəbəkəsi məlumatın topoloji izomorfizmini, eyni əyrilik, fərqli forma almasını həyata keçirir. Qeyd edək ki, bu şəbəkə gözlənilməz və ya nadir hadisələrə diqqəti yönəldə bilən cəsarət detektoru rolunu oynamır, bu nevrologiyada diqqət anlayışı ilə əlaqəli bir funksiyadır.

Burada iki növ diqqət şəbəkəsindən istifadə edirlər: a) yaddaşda saxlanan məzmun (sorğu, kontekst və yaddaş vektorları) üzərində ölçülmüş bir cəm istehsal edən müvəqqəti diqqət şəbəkəsi və b) bloka nisbətən məlumatı bərpa edə bilən qonşuluq diqqət şəbəkəsi. agentin cari sorğusundan asılı olaraq mövqelər.

Müvəqqəti diqqət şəbəkəsi, c: kontekst vektoru, m: yaddaş vektoru, q: sorğu vektoru, v: öyrənilən vektor çəkisi. Çıxış yaddaş vektoru ilə eyni ölçüdədir. Bəzi yaddaş vektorunun kontekst və sorğu vektorlarına əsaslanaraq çıxışa daha çox təsir göstərməsinə imkan verən həmin vektorun xətti birləşməsidir.Eyni fikir, məkan məlumatları arasındakı rəqabət diqqət sistemi tərəfindən dinamik olaraq qorunur.

Siyasət şəbəkəsi

Tam şəbəkə üç fərqli alt şəbəkədən ibarətdir: nümayiş şəbəkəsi, kontekst şəbəkəsi və manipulyasiya şəbəkəsi.

Nümayiş şəbəkəsi giriş kimi bir nümayiş trayektoriyasını alır və siyasət tərəfindən istifadə ediləcək nümayişin tətbiqini istehsal edir. Bu bürüncün ölçüsü nümayişin uzunluğu və ətrafdakı blokların sayı kimi xətti şəkildə böyüyür.

Burada göstərildiyi kimi nümayiş şəbəkəsi müxtəlif mürəkkəblik və ölçüdə nümayişləri vəzifəni təmsil etmək üçün kontekst şəbəkəsi tərəfindən istifadə ediləcək ümumi bir formata sala bilir. Yəqin ümumiləşdirmə başlanır, nümayiş nümayişləri, nümayişlər zamanı görülən tam trayektoriya və küpün mütləq mövqeləri haqqında məlumatları tərk etməlidir.

Kontekst şəbəkəsinin quruluşuna nəzər yetirsək, çox yüksək səviyyədən olsa da, nümayişin mərkəzi mərkəzi modullarına daxil edilməsini bəsləyən nümayiş şəbəkəsi ilə interfeysi görürük. Bundan əlavə, əvvəlki hərəkətlərin (LSTM) və hazırkı vəziyyətin motor şəbəkəsinə göndərilən qlobal bir kontekstdə istehsal etmək üçün nümayiş etmə ilə birləşdirilmiş giriş kimi bəsləndiyini görürük.

Şəbəkələr funksiyasının təsviri, fikrimcə, sənədin ən vacib hissəsidir:

Kontekst şəbəkəsi bir sorğu vektorunu hazırkı vəziyyətin bir funksiyası kimi hesablamağa başlayır, bundan sonra nümayiş nümayişində müxtəlif vaxt addımlarında iştirak etmək üçün istifadə olunur. Eyni addım mərhələsindəki müxtəlif bloklardakı diqqət çəkiləri, hər addımda tək çəki əldə etmək üçün cəmlənir. Bu müvəqqəti diqqətin nəticəsi ətrafdakı blokların sayına mütənasib olan bir vektordur. Daha sonra hər bir blokun içərisindəki məlumatları yaymaq üçün qonşuluq diqqətini tətbiq edirik. Bu proses dəfələrlə təkrarlanır, vəziyyətin qaldırılmamış ağırlıqları olan LSTM hüceyrəsindən istifadə edildiyi.
Əvvəlki əməliyyatlar ardıcıllığı nümayişinin uzunluğundan asılı olmayan, lakin yenə də blokların sayından asılı olan bir quruluş istehsal edir. Daha sonra sabit ölçülü vektorlar istehsalına standart yumşaq diqqət tətbiq edirik, burada yaddaş tərkibi yalnız hər bir blokun mövqelərindən ibarətdir, bu da robotun vəziyyəti ilə birlikdə manipulyasiya şəbəkəsinə daxil olan məlumatları təşkil edir.
Intuitiv olaraq, mühitdəki cisimlərin sayı dəyişə bilsə də, manipulyasiya əməliyyatının hər mərhələsində müvafiq obyektlərin sayı azdır və ümumiyyətlə sabitdir. Xüsusilə blok yığma mühiti üçün robot yalnız seçməyə çalışdığı blokun mövqeyinə (mənbə bloku), üstəgəl yerləşdirməyə çalışdığı blokun vəziyyətinə diqqət yetirməlidir. hədəf bloku). Buna görə, düzgün təlim keçmiş bir şəbəkə hazırkı vəziyyətini nümayişdə müvafiq mərhələyə uyğunlaşdırmağı öyrənə bilər və fərqli bloklar üzərində yumşaq diqqət çəkisi şəklində ifadə edilən mənbəyi və hədəf bloklarının şəxsiyyətlərini nəticə çıxartmaq üçün istifadə olunur. manipulyasiya şəbəkəsinə keçir.

Təsvirlərini başa çatdırmaları, AI tədqiqatlarının ekspert sistem yanaşmasından bir tədris sistemi yanaşmasına keçidinin mükəmməl bir nümunəsidir və eyni zamanda beynin aşağıda necə inkişaf etdiyini müzakirə edir.

Təlimdə bu təfsiri tətbiq etməsək də, təcrübə analizimiz öyrənilmiş siyasətin daxili qaydada necə işlədiyini bu təfsirini dəstəkləyir.

Bunun necə işlədiyini bilmirlər! Müəyyən hesablama aparmağı və faydalı hesab etdiyimiz müəyyən məlumatları saxlaya bilən bir quruluş qururlar və bunun üçün bütün quruluşu öyrənəcəyinə ümid edərək bir təlim dəsti verin! Yüksəliş üzərində bir növ Süni İntellekt araşdırma voodoo, bir sənət, evristik axtarışları doğru istiqamətə yönəltmək üçün bir yol var. Və görünür ki, bu sehrbazların bir çoxu indi openAI üçün çalışır.

Öz sözləri ilə manipulyasiya şəbəkəsi ən sadə quruluşdur, kontekstə bəslənmədən çox qatlı qavrayışa qədər bir motor hərəkəti istehsal olunur.

Nəticələr

Nəticələr çox vaxt xüsusilə maraq doğurmayan bir hissədir, xüsusən də qəribə parlaq texniki sənədlər üçün. Sürətlə gedəcəyəm, çünki bu yanaşma işləyir, sərt kodlu mütəxəssis siyasətinə bənzər bir dəqiqliklə yerinə yetirir və bu xüsusi prosedur yanaşmaların əksinə, çox sayda vəzifə üçün ümumiləşdirilir.

Parçaya çatma

Blok yığma

Bu təcrübələrdə fərqli şərtləri də sınadılar. DAGGER istifadə edərək nümayiş olunan trayektoriyanı səciyyələndirməklə üç fərqli giriş vəziyyətini müqayisə etdilər: tam traektoriyalar, traektoriyanın görüntüsü və ya yalnız son vəziyyətdən istifadə. Davranış klonlaşdırma alqoritmini nümayişin tam traektoriyası ilə müqayisə etdilər.

Sistemin kub şəxsiyyəti üzərində ümumiləşdirmə qabiliyyətinə dair güclü bir dəlil

Müzakirə

Keçən aylarda OpenAI tərəfindən edilən sürətli templə inkişafları oxuyaraq, gördükləri işlər haqqında danışmaq və işlərinə inandığım şeylər və bütövlükdə Aİ sahəsindəki irəliləyişlər barədə düşüncələrimi bölüşmək üçün artan bir istək hiss edirəm. bioloji beyinlər işləyir. Xüsusilə insanlar arasında görünən paylaşılan bilişsel funksiyaların, bir tapşırığın necə yerinə yetirilməsini bilən ortaq bir quruluşa görə çox olmadığı, əksinə eyni mühitlə üzləşən nisbətən oxşar sadəlövh quruluşların nəticəsidir. oxşar vəzifələri yerinə yetirməyi öyrənin. Yalnız ətraf mühitə uyğunlaşmaq üçün bir neçə parametr dəyişdirərək, yerli olaraq vəzifəni yerinə yetirə bilən bir quruluş deyil, müəyyən bir mühit səbəbiylə müəyyən bir vəzifəni öyrənə bilən funksiyasız bir quruluşun nəticəsidir.

Konfiqurasiyaya qarşı tapşırıqlar: zahirən özbaşına tərif

Etiraf etməliyəm ki, nə üçün fərqli vəzifələr barədə danışmağı seçdiklərini başa düşmürəm. Blok yığma təcrübəsində bir tapşırıq, blokların bir-birinə nisbətən mövqeyini ifadə edən sətirlər toplusu olaraq təyin edilir, dəstdəki elementlərin sayı yığılmaların sayını və simvolların sayını tənzimləmək lazım olan blok sayını təyin edir. . Bundan sonra bir vəzifə yığının mütləq mövqeyindən asılı olmayaraq bloklarda yığılmalardır.

Bəzi bloklar masada ola bilər, ancaq tapşırıq hissəsi deyil

Nisbi mövqeyi və yığınların sayını ayrı bir tapşırıq üçün meyar olaraq təyin etmək seçimi ixtiyari görünür. Həqiqətən, blokların mütləq başlanğıc mövqelərinə (konfiqurasiya adlandırdıqları şeylərə) əsaslanan müxtəlif vəzifələr haqqında danışmağın da mənası ola bilər. Hesab edirəm ki, problemin ortaq mahiyyəti onlara aydındır, lakin aydınlıq üçün detallara girməməyi üstün tuturlar. Siyasət öyrənməsini iki növ ümumiləşdirmə şəklində, daha sonra etdikləri kimi qurmağın daha mənası var:

Diqqət yetirin ki, ümumiləşdirmə çox səviyyələrdə qiymətləndirilir: öyrənilmiş siyasət yalnız yeni konfiqurasiyaya və göründüyü vəzifələrin yeni nümayişlərinə ümumiləşdirilməməlidir, həm də yeni vəzifələrə ümumiləşdirilməlidir.

Yalnız "tapşırıqları" "yığma sifariş" ilə əvəz edin. Tapşırığı düzgün öyrənmək o deməkdir ki, agent küplərin mövqeyini (konfiqurasiyasını), eyni zamanda şəxsiyyətlərini (tapşırığını), yığımların (tapşırığın) sayını və nümayişin trayektoriyasını (qısa şəkildə təqdim olunur) mücərrəd edə bilən bir bağlama öyrənir. təklif) müvafiq motor cavabı hazırlamaq üçün.

Bu ümumiləşdirmələr bir-birinə zidd görünür, necə olur ki, eyni şəbəkə kubun ilkin konfiqurasiyasını və ya kimliyini mücərrədləşdirə bilər və hələ də motor cavabı üçün mütləq mövqeyini bərpa edə bilər?

Bu, öyrənmə zamanı fərqli kooperativ alt şəbəkələrə ehtiyacı izah edir, müxtəlif girişlər alır və bu kontekst şəbəkəsində vəzifələrin mücərrəd bir şəkildə aşağı düşmə əmrindən əvvəl kublar mütləq mövqelər kimi aşağı sifariş məlumatları verildiyini izah edir.

Tapşırıq və konfiqurasiyanın bu fərqliliyini şərh edə biləcəyinizi düşünə bilərsiniz, ancaq bunun müxtəlif obyektlərdə oynama zamanı eyni abstraksiya prosesinin olduğunu başa düşmək vacibdir (və bu aşağıdakı bölmə üçün açılır).

Darslıqsız bir təhsil yoxdur

Transfer təhsili, in-vilik və ya in-vivo olsun, bəlkə də ən maraqlı biliş anlayışıdır, bu həm AI tədqiqatçıları, həm də nevrologlar üçün çox isti bir mövzudur və bu, doktorluq dissertasiyamın mövzusu olur. Diqqət yetirin ki, maşın öyrənmədən əvvəl bir çox sahələrdə yaxından əlaqəli anlayışlar araşdırılıb və bu mücərrəd və həmişə qismən müəyyən edilmiş konsepsiyanın bir çox adı var. Filosoflar, antropoloqlar və sosioloqlar buna (Post-) Strukturizm (Klod Levi-Strauss, Mişel Fuuko) kimi müraciət edə bilərlər, Dilçi Syntagma və yuvalı ağac quruluşları (Noam Chomsky) haqqında danışacaq, Riyaziyyatçılar yəqin ki, Homeomorfizm və ya İnvariants və Təhsil haqqında düşünəcəklər tədqiqatçılar və ya nevrologlar buna Struktur öyrənmə kimi müraciət edə bilərlər. Müəllif təhsili və meta öyrənmə kimi maşın təhsili sahəsində əlaqəli konsepsiyanı görə bilərsiniz. Müəllifdən asılı olaraq köçürmə təhsili və ya köçürmə təlimini yerinə yetirmək üçün istifadə olunan təlim paradiqması aid edilə bilər. Dərin neyron şəbəkələri haqqında danışarkən bu fərqlər qaranlıqdır, çünki əslində bir neyron şəbəkəsi, müəyyən bir problemi (nümayəndəliyin öyrənilməsi) öz quruluşunu (meta-öyrənmə) dəyişdirərək öyrənmə sistemini dəyişdirən səs-küylü bir mühitdə tətbiq etməyi öyrənir.

AI tədqiqatçıları və Koqnitiv Elm adamı tez-tez köçürmə öyrənməsinin çox konkret tərifinə malikdir, bu, sistemin ümumi bir quruluş quruluşunu bölüşən başqa bir tapşırıq yerinə yetirmək üçün müəyyən bir vəzifədə əldə etdiyi biliklərdən istifadə etməsinə imkan verən prosesdir. Bilişsel elm, iki vəzifənin necə fərqli göründüyündən asılı olaraq yaxın və uzaq köçürmə anlayışına malikdir. Ancaq daha mücərrəd bir baxımdan, səs-küylü və mürəkkəb bir mühitdə bütün öyrənmə köçürmə öyrənmə formasıdır və çox yaxın və çox uzaq köçürmə arasındakı fərq yalnız paylaşılan məlumat məsələsidir - yenə təbiətdən asılı olmayan bir məsələdir.

Nəzarət olunan mühitdə reallığın sərt kodlu diskretizasiyasını qurmaq üçün əvvəlcədən səy göstərilir, lakin əslində bu diskretizasiya, köçürmə öyrənməsinin nə dərəcədə proseduralı olduğunu göstərir, reallıqda tapılan sonsuz bir sıra ümumi bir örtük quruluşu içərisində birləşdirir. Əslində Transfer Learning birbaşa və ya təlim agentlərinin dünyanın modellərini yaratmaq üçün invariantlardan istifadə etdiyi prosesə aiddir. Bənzərlikləri, təkrarları və dəyişmələri istifadə edərək, getdikcə mücərrəd və daxilolma aralığında quruluş verəcək bir quruluş meydana gətirən bir prosesdir. Ümumiyyətlə, riyaziyyatda həm ittifaq, həm də kəsişmələr üçün imkan verdiyi kimi informasiya qruplarını idarə etdiyimiz əsas əməliyyatları yaratmağa imkan verir. Şəxsiyyətlərə imkan verir, obyektləri təsnifləşdirmək qabiliyyətimizi izah edir. Josh Tenembaum mənimlə həqiqətən danışan bir nümunə verir: təsəvvür edin ki, iki yaşlı uşağa ilk dəfə at tanımağı öyrədirsən, ona müxtəlif atların bir neçə şəkilini göstərsən, sonra başqa bir atın şəklini göstərsən və bir evin şəklini çəkin və hansının at olduğunu söyləyin. Uşaq bu vəzifəni çox asanlıqla yerinə yetirəcək, lakin hələ də kompüter bu qədər az giriş (bir atışlı təlim) ilə bacara bilmədiyi bir şeydir.

Uşaq bunu necə etdi?

Heyvanların tanınması uşaqlarda öyrənildi və obyektləri müvafiq hissələrə, xəzin rəng aralığına, boyun ölçüsünə, ümumi formaya və s. Ayıra bilmə qabiliyyətimizə aiddir. Bu qabiliyyət həm də sizə qapını açmağa imkan verən şeydir. əvvəllər heç görməmisiniz, hər hansı bir vəziyyəti ümumiləşdirən bir motor ardıcıllığı (domen ümumiləşdirilməsi) öyrənmisiniz. Dünyanı asanlaşdıran izahlı modellər qurmaq üçün istifadə etdiyiniz şey, əvvəlcə məşhur İsveçrə saatında bir Cuckoo-un qəfil görünməsi ilə təəccüblənə bilərsiniz, ancaq ikinci görünüşdən sonra bunu gözləyəcəksiniz. Dözümlülük tapmaq neyron şəbəkəsinin necə öyrəndiyini və bu modellərin şüursuz şəkildə qurulduğunu göstərir. Bir nümunə, riyaziyyat və nömrələr haqqında eşitmədən əvvəl fizika haqqında intuitiv olaraq necə öyrəndiyimizi göstərmək olar.

Məsələn, mikroavravitada doğulmuş bir uşağın yerin cazibə qüvvəsinə uyğunlaşacağını və cisimlərin düşdükdə yerə düşəcəyini intuitiv şəkildə öyrənə biləcəyini soruşa bilərsiniz.

Körpələrin və heyvanların əksəriyyətinin modellərini şüursuz bir şəkildə yenidən nəzərdən keçirəcəklərini fərz edə bilərik, məsələn, bir itin ayağına corab qoyduqda və yeni məlumatlara uyğunlaşmaq üçün müəyyən vaxt tələb olunur.

Ancaq gənc bir uşaq üçün şüurlu bir dindirmə və intuitiv modelinə yenidən baxılması maraq, dil, rəmzlər və inanclar vasitəsi ilə baş verəcəkdir. Şüurlu şəkildə sorğu-sual etmək və modellərimizi dəyişdirmək qabiliyyətimiz heyrətamizdir və sidenote olaraq insanlar prosesi şifahi şəkildə ifadə edə bilən yeganə növ ola bilər, amma digər növlər oxşar şüurlu dəyişiklikləri edə bilər.

İnversiya zamanın məcburi mülkiyyətidir, əgər hər şey həmişə yeni və heç bir şəkildə proqnozlaşdırılmazsa, hər şeyin həmişə yeni və gözlənilməz olduğu bu unikal dəyişməz qalacaqdır. Bir dünyanı invarsiz təsəvvür etmək qeyri-mümkündür, çünki istinad ediləcək bir dünya ola bilməzdi, invarsiz həyat olmaz və beynimiz faydasız olardı. Həyat yalnız hadisələrin proqnozlaşdırılan təkrarlanması, səbəb və nəticələrin təkrarlanması, enerjinin orqanizmə təkrar dövriyyəsi ilə işləyən bir maşındır. Həyatın bu zəruri dövrlərdən istifadəsini yaxşılaşdırmaq üçün beynimiz əsas vasitədir. Bu, proqnozu dinamik olaraq tapa bilən və dünya ilə daha yaxşı qarşılıqlı əlaqə yaratmaq üçün istifadə edə bilən bir proqnozlaşdırma maşınıdır.

Həyatın seçdiyi bu üsul quruluşdakı cüzi dəyişikliklərə qarşı olduqca möhkəmdir. Dünyanın, ətraf mühitin statistik xüsusiyyətləri eyni olaraq qalır, ancaq onunla qarşılaşan neyron quruluşu müalicə üçün inkişaf etdirdiyi müvafiq məlumatları daxil edə biləcəyi qədər dəyişə bilər. Bu, beynimizin niyə fərddən fərdi, hətta ibtidai kortekslərə bu qədər fərqli ola biləcəyini və eyni funksiyaları bölüşdüyünü izah edir.

Sinir sistemləri uyğunlaşır, davranışı müvafiq yollarla dəyişdirmək üçün təkamül və yavaş genetik mutasiyalara ehtiyac duymur. C. Elegans-da olanlar kimi sadə bir sinir sistemi, fitri daxili koordinator və xarici sensor rolunu oynayır: yemək hiss edin və ona doğru hərəkət edin, ağrılardan qaçın, çoxalın. O sadə sistemlər əvvəlcə sərt idi və kiçik səs-küylü dünyamızı mümkün qədər kiçik bir dəstə (solda yemək, istilik aşağıda və s.) Ayırd etmək üçün həddindən artıq yaxınlaşdı. Hərəkət və həssas qabiliyyətlərimiz sinir sistemimizi proqnozlaşdırma imkanlarımızla əl-ələ olaraq inkişaf etmişdir. Sensorlarımız daha dəqiqləşdikcə sinir sistemi yavaş-yavaş məlumat saxlamaq və təcrübədən öyrənmək üçün quruluşunu dəyişdirə bildi. Əvvəlcə qoxu növləri və ya yüngül naxışlar kimi müəyyən növ girişləri tanımağı öyrənə bildi və getdikcə daha mürəkkəb mühərrik sistemini idarə etmək üçün sınaq və səhvlərdən öyrənə bildi. Diqqət yetirin ki, dünya o qədər mürəkkəbdir ki, beynimiz fitri prosedur yanaşmasına deyil, bir öyrənmə paradiqmasına doğru inkişaf etmişdir. Hesablama baxımından bu, mükəmməl məna kəsb edir, sadə bir Go oyunu kainatdakı atomların sayından (10⁸⁰) daha böyük bir dövlət kosmosuna (2.10¹⁷⁰) sahibdir və orqanizm daha mürəkkəbləşdikcə bütün mümkün kodları yaxınlaşdırmağa çalışır. kombinator partlayış səbəbiylə sürətlə əlçatmaz hala gələ biləcəyini bildirir.

Bəzi insanlar beynimizin elə bir şəkildə qurulduğuna inana bilər ki, onun inkişaf edəcəyi məkanı, DNT-nin bir yerində bir üz meydana gətirən bir genin və ya səs səslərinin müvəqqəti quruluşunun olmasıdır. yuxarı sözlər. Bu fitri bilik bir yerdə doğuş zamanı kodlandığına inana bilərlər. Digərləri, orta məktəbdə oxuduğum dövrdə fəlsəfə müəllimi kimi, varlığın mahiyyətdən üstün olduğuna və beynimizin tamamilə və yalnız orqanizmlə dünyanın qarşılaşması ilə müəyyən olunduğuna inana bilər. Reallıq əlbəttə ki, daha mürəkkəbdir və bu günə qədər öyrənilən əksər telensefalik sistemlər üçün beyin həyata keçirəcəyi funksiyanı kodlaşdırmır, ancaq daxilindəki məlumatlardan asılı olaraq öyrənəcəkdir. Giriş müvafiq məlumatlarda çox zəifdirsə, həmin strukturda öyrənmə qabiliyyətinin son istifadə tarixi ola bilər (məsələn, Amblyopiya). Doğma quruluş son funksiyanı kodlaşdırmırsa, beynin özünəməxsus bir quruluşu var. Bu quruluş fərdlər arasında qorunur və eyni növdən olan şəxslər ümumi funksiyaları və sürücülükləri bölüşürlər. DNT yerində müəyyən bir quruluş qurur, son funksiyasını qeyri-adi şəkildə yerinə yetirə bilməyən bir quruluş, ancaq fərdi təcrübəyə əsaslanaraq xüsusi işlərin mürəkkəbliyini öyrənə bilən bir quruluşdur. Təkamülün beynin bədənin digər hissələrindən, eləcə də menen və onu xarici dünyadan qoruyan sərt sümük qabığından təcrid etdiyi yüksək effektiv bir qan-beyin maneəsinin meydana gəlməsinə səbəb olması təəccüblü deyil, çünki digər orqanlardan fərqli olaraq. quruluş genomda kodlanmış, öyrədilmiş beynin quruluşu qeyri-sabit saxlanılan bir modeldən bərpa edilə bilməz. Maraqlısı budur ki, getdikcə daha mürəkkəb tapşırıqları yerinə yetirən getdikcə daha da dərinləşən dərin şəbəkələrin inkişafı ilə bənzətmə nəticəsində yaranan eyni öyrənmə mexanizmlərini görürük.

Kompozisiya quruluşlarını görmək çətindir, amma hər yerdə

Sidenote olaraq qəribədir ki, hətta müəlliflər hədəfə çatmaq üçün ilk vəzifələrinin kompozisiya quruluşu olduğunu qəbul etmirlər.

Tapşırıqlara çatan hissəcik ümumiləşdirmənin çətinliyini sadə bir ssenaridə nümayiş etdirir. Bununla birlikdə, tapşırıqlar yeni vəzifələrin ümumiləşdirilməsini qiymətləndirməyi çətinləşdirən bir kompozisiya quruluşu vermir.

Quruluş, həqiqətən, blok yığımından daha aşağı səviyyədədir və eksperimental manipulyasiya üçün asanlıqla əldə olunmasa da, tapşırıq həqiqətən paylaşılan bir quruluşdan ibarətdir. Dünyanı bir təyyarəyə yaxınlaşdıran bir kompozisiya quruluşu, kub şəxsiyyətinin (rənginin) tərcümədə qorunması və A blokundan - təsadüfi bir başlanğıc mövqeyində - (Xa1, Ya1) mövqeyində (Xb1, Yb2) B blokunu tutmasıdır. ) A blokundan (Xa2, Ya2) B mövqeyinə (Xb2, Yb2) keçməkdən daha yüksək eyni tərkibli bir quruluşun bir hissəsidir.

Şəbəkələr arasındakı interfeyslər

Müxtəlif abstraksiya səviyyələrində girişləri müalicə edə bilən neyron şəbəkələrin qurulması, interfeyslərə ehtiyac duyduğuna inanıram ki, tapmaq üçün çox qalıb. Bu interfeyslər çox sayda ola bilər. Bunlara, məsələn, məqalədə göstərildiyi kimi iki şəbəkə arasında ortaq bir dil kimi baxıla bilər, bir diqqət sistemi (nümayiş şəbəkəsi) ilə silahlanmış aşağı bir şəbəkə bir nümayişi başqa bir şəbəkənin (kontekst şəbəkəsi) nümayəndəliyində tərcümə edə bilər nümayişin uzunluğu və ya ilkin konfiqurasiyasından asılı olmayaraq hərəkətə yönəltmək.

Bu dilin səthi burada ölçüdə sabitlənmiş bir təyyarədir, lakin şəbəkə arasında əlaqəni inkişaf etdirə biləcək mümkün dəyişiklikləri təsəvvür edə bilərsiniz. Məsələn, səthin ölçüsü dinamik olaraq böyüyə və ya böyüdülə bilər, öyrənmə zamanı şəbəkələr qarşılıqlı təsir göstərir, beləliklə dil mürəkkəbliyini sıxışdırır və uzadır. Məsələn, geribildirim vasitəsilə daha dinamik qarşılıqlı təsəvvür edə bilərik. İkinci şəbəkənin giriş və çıxışına əsaslanaraq birinci şəbəkənin girişini modulyasiya etməyi öyrənən paralel bir şəbəkə kimi mövcud olan şəbəkələr arasındakı əlaqəni hamarlaşdırmağı öyrənəcək fasilitator şəbəkələrinin mövcudluğunu təsəvvür edə bilərdik. Daha çox ixtisaslaşmış şəbəkələrə tonik (yavaş dəyişən) axını rolunu oynayan mürəkkəb kontekst şəbəkələrini təsəvvür edə bilərik ... Maraqlı gələcək tədqiqat sahəsi!

Uğursuzluq halları yeni modulların ola biləcək rollarına işarə edir

Səhvlərin tez-tez motor səhvlərindən qaynaqlandığını və işin mürəkkəbliyi ilə səhvlərin sayının artdığını qeyd etmək lazımdır.

Motor funksiyası yalnız hədəflərin sayını artırmaqla pisləşməməlidir, bu çoxalma şəbəkəsinin motor şəbəkəsi ilə danışmağı öyrənməsinin çox mücərrəd olduğuna dair güclü bir sübutdur. Qəribədir, çünki sınaqları kontekst şəbəkəsi və motor şəbəkəsi arasındakı interfeysin nisbətən konkret olduğunu (robotun mövqeyi, hədəfin mövqeyi) göstərir.

Mümkün bir həll ola bilər, çünki bu modul bir arxitekturadır, müxtəlif zərər funksiyaları və ya hər bir işin spesifik aspektini təmsil edən modul itkisi funksiyalarından istifadə etmək. Nümayişin sığortalanması və kontekst şəbəkəsinin motor əmrini pisləşdirmədən mücərrəd qala bilməsi üçün beyin mühərrikindən öncəki sahələrə ekvivalent kömək olardı. Premotor bölgələr ən yaxşı motor əmrini seçmək üçün hədəfə (mücərrəd şəbəkələrdən) və sensor girişlərə əsaslanaraq obyektləri daha yaxşı lokallaşdırmaq üçün lazımdır. Görünən kontekst şəbəkəsi həm nümayişin daha yüksək səviyyədə qurulmasına, həm də hazırkı kontekstdə motor hərəkətləri hazırlamağa çalışır. Əvvəlcədən işləyən şəbəkənin rolu motor sistemi ilə ünsiyyət qurmağı məqsədyönlü və uyğunlaşma tərzində öyrənmək, həm motorot öyrənmə və həm də sürətli uyğunlaşma üçün həm ön, həm də beyincik funksiyalarını birləşdirməkdir.

Moravec'in paradoksu olan maraqlı bir nəzəriyyə var ki, bu da hesablama vergisi verəcək, lakin sensor girişləri və motor sistemlərinin çıxışlarını müalicə etməkdən daha yüksək səviyyəli idrak olmayacağını proqnozlaşdırır. Bu, həqiqətən, motor fəaliyyətini idarə etmək üçün beyincikimizdə olan çox sayda neyronun (beynimizin qalan hissəsindən daha çox) hesabına səbəb ola bilər. Bu paradoks, öz biliklərimizi nəzarətsiz səs-küylü mühitlərdə mürəkkəb tapşırıq yerinə yetirmək üçün bir maşına əlavə edə biləcəyimizə inandığımız bir dövrdə (80-ci illər) tərtib edilmişdir. Əlbətdə bu paradoks, maşının bir şəkildə dünyanı ayrı-ayrı dövlətlər qrupunda təmsil edə bilməsi baxımından daha yüksək səviyyəli funksiyanı qurmaqdan daha asan olar. Ancaq inanıram ki, hər ikisi də son dərəcə vergi verəcəkdir və şəbəkələr arasındakı interfeysdə istifadə olunan daxili nümayəndəlik öz şüurlu nümayəndəliklərimizə bənzər bir şeydən uzaq olacaqdır.

Nəticə

Problemin müəyyən bir müalicəsinə cavabdeh olan müxtəlif neyron şəbəkələrini birləşdirərək, bu məqalə ümumiləşdirməyə ehtiyacı olan bir tapşırıq yaratmaqla və domen randomizasiyası, yaddaşa və nişanlara sahib bir neyron şəbəkəsi ilə uyğun bir təhsil mühitinin yaradılması ilə göstərir. diqqət sistemi sadə çoxalma xaricində ümumiləşdirməyi öyrənə bilər. Məlumat üzərində vizual bir axınla yalnız bir dəfə nümayiş etdirilən daha yüksək bir sifariş məqsədini öyrənməyi öyrənə bilər və bu hədəfi fərqli bir kontekstdə çoxalda bilən müvafiq hərəkətləri bərpa etmək üçün ümumiləşdirilmiş məkanda hesablama aparır.

Gələcəkdə, kompleks tapşırıqları ümumiləşdirməyi öyrənə bilən, lakin daha önəmlisi, yeni mühitlərdə, girişlərin əvvəlcədən işlənməsi və ya sərt kodlanmış metodlardan daha az etibarla bu cür tapşırıqların bir neçəsini yerinə yetirə bilən atom bina blokları üzərində qurulan artan mürəkkəbliyi görəcəyik. yaddaş yaddaşı. Yaddaş yaddaşı bir yaddaş şəbəkəsi boyunca paylanmış nümayəndəliklər ilə əvəz ediləcək, diqqət sistemləri real vaxt diqqət şəbəkələrində tsiklik fəaliyyətlə əvəz olunacaq. Güclü bir seriyalı texnologiyanı (Turing maşınları) qurulmuş sistemdə paylanmış hesablama artan etibarımıza necə uyğunlaşdıracağımıza dair sual qalır.