A mesterséges intelligencia nem követi a tudományos haladás logikáját
Az MT-ben sokszor írtunk már olyan kutatókról és szakemberekről, akik a gépi tanulási rendszereket „fekete dobozoknak” (1) hirdetik még azok számára is, akik ezeket építik. Ez megnehezíti az eredmények értékelését és a kialakuló algoritmusok újrafelhasználását.
A neurális hálózatok – az a technika, amely intelligens konvertáló robotokat és zseniális szöveggenerátorokat biztosít számunkra, amelyek akár költészetet is alkothatnak – továbbra is felfoghatatlan rejtély marad a külső szemlélő számára.
Egyre nagyobbak és bonyolultabbak, hatalmas adatkészleteket kezelnek, és hatalmas számítási tömböket használnak. Ez költségessé és néha lehetetlenné teszi a kapott modellek replikációját és elemzését más kutatók számára, kivéve a nagy, hatalmas költségvetésű központokat.
Sok tudós tisztában van ezzel a problémával. Köztük van Joel Pino (2), a NeurIPS, a reprodukálhatósággal foglalkozó első számú konferencia elnöke. A vezetése alatt álló szakértők egy "reprodukálhatósági ellenőrzőlistát" szeretnének létrehozni.
Pino szerint az ötlet az, hogy ösztönözzék a kutatókat, hogy ajánljanak fel másoknak egy ütemtervet, hogy újraalkossák és felhasználhassák a már elvégzett munkát. Elcsodálkozhatsz egy új szöveggenerátor ékesszólásán vagy egy videojáték-robot emberfeletti ügyességén, de még a legjobb szakértőknek sincs fogalmuk, hogyan működnek ezek a csodák. Ezért az AI-modellek reprodukálása nemcsak az új kutatási célok és kutatási irányok meghatározásához fontos, hanem pusztán gyakorlati útmutatóként is szolgál a használathoz.
Mások próbálják megoldani ezt a problémát. A Google kutatói "modellkártyákat" ajánlottak fel, hogy részletesen leírják a rendszerek tesztelésének módját, beleértve az esetleges hibákra utaló eredményeket is. Az Allen Institute for Artificial Intelligence (AI2) kutatói publikáltak egy tanulmányt, amelynek célja a Pinot reprodukálhatósági ellenőrzőlistájának kiterjesztése a kísérleti folyamat más lépéseire is. „Mutasd a munkádat” – sürgetik.
Néha az alapvető információk hiányoznak, mert a kutatási projekt tulajdonosa, különösen a vállalatnál dolgozó laboratóriumok. Gyakrabban azonban a változó és egyre bonyolultabb kutatási módszerek leírására való képtelenség jele. A neurális hálózatok nagyon összetett terület. A legjobb eredmény eléréséhez gyakran több ezer „gomb és gomb” finomhangolása szükséges, amit egyesek „fekete mágiának” neveznek. Az optimális modell kiválasztása gyakran nagyszámú kísérlettel jár. A mágia nagyon drága lesz.
Például amikor a Facebook megpróbálta megismételni a DeepMind Alphabet által fejlesztett AlphaGo rendszer munkáját, a feladat rendkívül nehéznek bizonyult. A hatalmas számítási követelmények, a több ezer eszközön sok napon keresztül végzett kísérletek milliói, valamint a kód hiánya „nagyon nehézzé, ha nem lehetetlenné tették a rendszer újraalkotását, tesztelését, fejlesztését és bővítését” a Facebook alkalmazottai szerint.
A probléma speciálisnak tűnik. Ha azonban tovább gondoljuk, az eredmények és a funkciók egy-egy kutatócsoport közötti reprodukálhatósági problémáinak jelensége aláássa a tudomány és a kutatási folyamatok működésének minden általunk ismert logikáját. Rendszerint a korábbi kutatások eredményei alapul szolgálhatnak további kutatásokhoz, amelyek ösztönzik a tudás, a technológia fejlődését és az általános haladást.
