Абонирай се
Gamezone България
  • Начало
  • IT Новини
  • Игри
  • Хардуер
  • Контакт
  • Абонамент
No Result
View All Result
  • Начало
  • IT Новини
  • Игри
  • Хардуер
  • Контакт
  • Абонамент
No Result
View All Result
Gamezone България

Google представи нов тип изкуствен интелект с един трилион параметри

Gamezone by Gamezone
January 14, 2021
in IT Новини
0
Home IT Новини
Share on FacebookShare on Twitter

Специалистите на Google разработиха и тестваха нови методи, даващи възможност за създаване и обучаване на езикови модели с над 1,5 трилиона параметри. По този начин се е получил най-мощния към днешен ден изкуствен интелект, работещ четири пъти по-бързо в сравнение с предишния рекордьор на компанията Т5-XXL. Експерименталният нов модел на Google почти десетократно превъзхожда по потенциал и скорост на обучение изкуствения интелект GPT-3 на Open AI.

Параметрите са най-важният елемент в алгоритмите за машинно обучение, особено когато става дума за езикови модели. Колкото е по-голям броят на параметрите, толкова по-добре се справя изкуственият интелект с генерирането и разбирането на текста. Така например, GPT-3, които е един от най-големите езикови модели с използване на алгоритми с елементи на изкуствен интелект, има 175 милиарда параметри, като това му позволява да прави аналогии, да създава нови рецепти, да пише стихове и да програмира.

Мащабното обучение е един от най-ефективните начини за създаването на мощни езикови ИИ модели. Опростената архитектура, подкрепена с големи бази данни и голям брой параметри, превъзхожда по-сложните алгоритми. Но обучението на тези модели е изключително труден процес, който отнема много ресурси. Това е и причината експертите на Google да разработят метода Switch Transformer, при който се използва само подклас на теглото на модела – това са параметрите, които само трансформират входните данни на ИИ модела.

Switch Transformer се базира на работата на различни допълнителни ИИ експерти, които са също модели от подобен тип, специализирани върху изпълняването на точно определени задачи и са част от по-големия модел. Новата технология, която се използва при този подход, се базира на хардуерно умножение на плътни матрици – математически операции, широко използвани в ИИ езиковите модели. В режим на тренировка, изчисленията се разпределят върху няколко модула, като се използва автоматично управление на паметта и изчислителното натоварване на всеки модул.

По време на експеримента специалистите на Google са обучили няколко различни ИИ модела с помощта на тензорен процесор върху база данни от 750 GB, текстове на която са взети от Reddit, Wikipedia и други източници. Една от основните задачи е да се вмъкнат липсващите 15% от думите във фразите. В сравнение с по-малкия Switch-XXL, при новия ИИ модел не се наблюдава характерната „нестабилност на обучението“, въпреки че този изкуствен интелект при тестовете е постигнал по-малко точки – 87,7 в сравнение с 98,6. Разработчиците обясняват този ефект с непрозрачното съотношение между качеството на настройката, изчислителните изисквания и броя параметри. Сега предстои настройката на новия модел.

Но Switch Transformer демонстрира седем пъти по-висока скорост на предварителното обучение при използването на едни и същи изчислителни ресурси. В тестовете за превеждане на текст между над 100 различни езика, има четирикратно увеличение на скоростта в сравнение с предишния модел.

Share408Tweet255Pin92Scan
Previous Post

World of Warships – истинско военноморско приключение

Next Post

Telegram блокира десетки канали призоваващи към насилие и омраза

Related Posts

Може ли наистина Google да спре работа в Австралия?

Може ли наистина Google да спре работа в Австралия?

January 23, 2021
Сайтът на Европейския парламент е обвинен в нарушаване на правилата за поверителност

Сайтът на Европейския парламент е обвинен в нарушаване на правилата за поверителност

January 23, 2021
Върховният лидер на Иран призова за отмъщение срещу Тръмп в Twitter

Върховният лидер на Иран призова за отмъщение срещу Тръмп в Twitter

January 23, 2021
SpaceX води дело срещу компания от Тексас за парцел

SpaceX води дело срещу компания от Тексас за парцел

January 23, 2021
Експерт по информационна сигурност създаде сайт с информация за уязвимостите в компютърните вируси

Експерт по информационна сигурност създаде сайт с информация за уязвимостите в компютърните вируси

January 23, 2021
Революционният електромобил Trinity ще даде възможност на VW да се конкурира с Tesla

Революционният електромобил Trinity ще даде възможност на VW да се конкурира с Tesla

January 23, 2021
Next Post
Telegram блокира десетки канали призоваващи към насилие и омраза

Telegram блокира десетки канали призоваващи към насилие и омраза

LG обяви представянето на webOS 6.0

LG обяви представянето на webOS 6.0

Leave a Reply Cancel reply

Your email address will not be published. Required fields are marked *

  • Trending
  • Comments
  • Latest
IBM Q Network: Организациите си сътрудничат за квантовите цели

IBM Q Network: Организациите си сътрудничат за квантовите цели

April 5, 2019
Автопилотът на Tesla вече може да се престроява без потвърждението на водача

Автопилотът на Tesla вече може да се престроява без потвърждението на водача

April 5, 2019
Процесорите AMD Zen 2 работят в бюджетните дъна ASUS A320

Процесорите AMD Zen 2 работят в бюджетните дъна ASUS A320

June 26, 2019
Легендарните транзисторни усилватели, променили отношението на аудиофилите

Легендарните транзисторни усилватели, променили отношението на аудиофилите

July 26, 2018
Официален анонс на видеокартата GeForce RTX 3060 Ti

Официален анонс на видеокартата GeForce RTX 3060 Ti

December 1, 2020
Може ли наистина Google да спре работа в Австралия?

Може ли наистина Google да спре работа в Австралия?

January 23, 2021
Сайтът на Европейския парламент е обвинен в нарушаване на правилата за поверителност

Сайтът на Европейския парламент е обвинен в нарушаване на правилата за поверителност

January 23, 2021
Върховният лидер на Иран призова за отмъщение срещу Тръмп в Twitter

Върховният лидер на Иран призова за отмъщение срещу Тръмп в Twitter

January 23, 2021
SpaceX води дело срещу компания от Тексас за парцел

SpaceX води дело срещу компания от Тексас за парцел

January 23, 2021
Експерт по информационна сигурност създаде сайт с информация за уязвимостите в компютърните вируси

Експерт по информационна сигурност създаде сайт с информация за уязвимостите в компютърните вируси

January 23, 2021

Популярни статии

    За Нас

    Добре дошли в Gamezone България! Тук ще намерите информация за новите компютърни игри. Ще ви запознаем с техните разработчици, с мнения на геймъри, както и с пикантни истории около създаването им.

    Популярни тагове

    Adata review Sponsored ssd XPG

    Скорошни новини

    Може ли наистина Google да спре работа в Австралия?

    Може ли наистина Google да спре работа в Австралия?

    January 23, 2021
    Сайтът на Европейския парламент е обвинен в нарушаване на правилата за поверителност

    Сайтът на Европейския парламент е обвинен в нарушаване на правилата за поверителност

    January 23, 2021
    • Контакт (Contact)

    © 2018 Gamezone - Гейминг новини и ревюта от Gamezone България.

    No Result
    View All Result
    • Начало
    • IT Новини
    • Игри
    • Хардуер
    • Контакт
    • Абонамент

    © 2018 Gamezone - Гейминг новини и ревюта от Gamezone България.

    Login to your account below

    Forgotten Password?

    Fill the forms bellow to register

    All fields are required. Log In

    Retrieve your password

    Please enter your username or email address to reset your password.

    Log In