Сравниваем ChatGPT и нейросеть Google «Bard»

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Обзор | Программы, сервисы и сайты

Bard — это нейросеть от Google, которая умеет общаться с пользователем, сохранять контекст диалога и гуглить любые вопросы. И вместо сотен ссылок по запросу она дает структурированный ответ, чтобы пользователю не пришлось серфить по сайтам. Но насколько хорошо работает нейросеть и лучше ли она ChatGPT — разбираемся в статье.

Важно! Пока что Google Bard не работает на русском языке, поэтому общаться с ним приходится на английском. Под каждой фотографией я оставлю перевод на русский, чтобы всегда был понятен контекст.

Тест 1: задаем вопрос из двух частей

Как работает Google: вы вводите поисковый запрос, Google отбирает все страницы, которые связаны с вашим запросом, анализирует их и подготавливает к выдаче в определенном порядке. И чем полезнее сайт, тем выше он будет в выдаче. При этом Google не умеет работать со сложными запросами.

То есть, на вопрос «кто был президентом США в 2008 году» Google ответит правильно — Джордж Буш.

Но, если мы усложним вопрос до такого: «кто был президентом США, когда обанкротился банк Lehman Brothers», Google не ответит ничего путного (банк обанкротился в том же 2008 году). 

Теперь пора сравнивать. Начнем с Bard.

Google Bard правильно ответил, что во время краха банка президентом США был Джордж Буш

Результат радует. Проверим, справится ли ChatGPT.

Да, бот тоже ответил верно

Тест 2: спрашиваем, как выбрать хороший горный велосипед

Я не люблю задавать такие вопросы в Google, потому что в ответ получаю бесполезные SEO-статьи. И они не помогают выбрать;)

Посмотрим, что скажет Bard.

Если коротко, то он рекомендует опираться на стиль вождения, местность для катания, бюджет и размер велосипеда. 

В целом, информация очень поверхностная и выбрать хороший велосипед она не поможет. Теперь посмотрим, что посоветует ChatGPT.

У него ответ сильно больше. Правда, он как и Bard советует опираться на стиль вождения, местность для катания, бюджет и размер велосипеда. Но еще он рекомендует читать отзывы, выбирать велосипед исходя из размера колес, типа подвески и рамы

У ChatGPT ответ получился более полным. Но, ни Bard, ни ChatGPT не ответили на мой вопрос на 100%. В любом случае придется задавать дополнительные вопросы и давать много уточняющих деталей. 

Тест 3: проверяем, как Bard ориентируется в пространстве

Здесь я имею ввиду то, как он ориентируется во времени и работает с интернетом. Дело в том, что база ChatGPT ограничена осенью 2021 года и бот не знает ничего, что происходило с того времени. Поэтому в этом тесте он не участвует.

А вот разработчики Bard заявляют, что он умеет гуглить информацию в интернете. Проверим, правда ли это.

На вопрос «какая погода в Минске» бот правильно назвал день и год. И погоду описал правильно

Теперь усложним задачу: спросим, сколько лет было королю Англии 19 лет назад. Так мы проверим, действительно ли бот всегда работает на самой актуальной базе или какой-то информации у него нет. Ведь коронация была совсем недавно и неизвестно, знает ли Bard об этом.

На вопрос «сколько лет было королю Англии 19 лет назад» бот честно ответил, что у Англии нет короля. Там есть королева Елизавета

Бот обманул. Поэтому спросим у него, что он знает о коронации.

Теперь бот признал свою ошибку и даже назвал дату коронации Чарльза 3: 6 мая

Когда я попытался выяснить, почему бот соврал в первый раз, вот, что он ответил: «У меня нет доступа к реальному миру, поэтому я не могу знать о текущих событиях, если они не упомянуты в тексте, по которому я обучаюсь. Приношу извинения за любую путаницу».

Что бот имел ввиду под словами «у меня нет доступа к реальному миру» я так и не выяснил. На любые вопросы по поводу его умения гуглить или взаимодействовать с миром, он отвечал, что у него нет глаз ушей и рук. Он умеет только отвечать текстом. В общем, тут у Bard большой недостаток: он вроде бы и умеет гуглить, но все равно ошибается. И это значит, что даже нейросетям с подключенным интернетом нельзя доверять — могут обмануть.

P. S. Буду и дальше пользоваться Bard, давать ему разные задачи, чтобы еще лучше познакомиться с нейросетью. Расскажу об этом в следующих статьях.

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Коммерческий автор, пишу о бизнесе, финансах, инвестициях и IT. Рассказываю о нейросетях в диджитале. Больше интересного контента о нейросетях в моем телеграм-канале «Миша, давай по новой»

19 комментариев

N
Чтож, нужно продолжать следить за развитием. Однако у Bard уже сейчас есть важный плюс- доступность и, насколько мне известно, неограниченность запросов
112250469659394019554@google
Да, но в ChatGPT тоже нужно постараться, чтобы превысить лимит запросов.
Ploh
Спасибо! Интересно и познавательно!
112250469659394019554@google
Пожалуйста!)
П
Вот вам вопрос для теста — Биолог Франц Карл Ашар в конце XVIII века догадался использовать имеющееся в Европе растение семейства амарантовых. Открытие Ашара всерьез ударило по работорговле. Что Ашар получил из этого растения?
Ответ чат GPT:
Франц Карл Ашар извлек из этого растения краситель индиго, который был использован в текстильной промышленности вместо индиго, получаемого из индигоферы, и этот переход принес существенный удар по работорговле, поскольку требовалось меньше рабочей силы для производства индиго.
Интересно — что скажет Bard? :)
Или вот ещё —
В 1913 году была запатентована полая трость с отверстием снизу. Отверстие можно было открыть, нажав на вмонтированный в ручку спусковой крючок. Трость делала передвижение по городу более безопасным, поскольку помогала бороться с ним.
Назовите его.
ChatGPT
Его название — это «полицейская трость с отверстием» (англ. «police baton with a hole»). Она также известна как «трость с дульной насадкой» (англ. «baton with a muzzle attachment»), которая была создана для того, чтобы помочь полиции контролировать скопления людей и предотвращать столкновения с применением силы. Эта трость была изобретена и запатентована в 1913 году Абернети Р. Фэрбэнксом в США.
И на последок:) —
В одном стихотворении это основная Функция сопровождается фразой «Человеку свойственно ошибаться». До изобретения привычной версии этого изделия его функцию выполнял
Хлебный мякиш.
Назовите это изделие
ChatGPT
Это известное стихотворение принадлежит русскому поэту Александру Сергеевичу Пушкину и называется «Исчезнувшая из обозрения память». В этом стихотворении Пушкин упоминает, что хлебный мякиш когда-то использовался в качестве «записной книжки» для запоминания важных событий и фактов.
Изначально хлебный мякиш использовался для записи важных событий и фактов, например, в древности его использовали для записи церковных служб и молитв. Позднее, когда появились бумага и перо, хлебный мякиш ушел в прошлое как неэффективный способ записи.
В общем в ЧГК с чатом не поиграешь, но ответы на мой взгляд забавные, а вопросы из квизов прекрасно подходят для теста :))
112250469659394019554@google
О, это очень интересно проверить, сегодня попробую и обязательно скину сюда ответы)
112250469659394019554@google
Прошелся по вашим вопросам, вот ответы:
1. Франц Карл Ахард, немецкий химик и биолог, обнаружил, что из листьев растения амарант можно приготовить питательную муку, которая может использоваться для выпечки хлеба и других хлебобулочных изделий. Это открытие имело большое значение, поскольку оно обеспечило новый источник продовольствия, который можно было выращивать в Европе, и помогло уменьшить необходимость импорта продовольствия из других стран. Это, в свою очередь, помогло нанести ущерб работорговле, которая была основным источником рабочей силы для производства продуктов питания в Америке.
Открытие Ачарда было сделано в конце XVIII века, когда Европа переживала период быстрого роста населения. Этот рост создавал нагрузку на запасы продовольствия, и возникла растущая потребность в новых источниках пищи. Открытие Ачардом растения амарант обеспечило новый и устойчивый источник продовольствия, и это помогло облегчить нехватку продовольствия, от которой страдала Европа в то время.
2. Полая трость с отверстием в нижней части, запатентованная в 1913 году, называется распылитель тумана Scotch. Его изобрел Джон М. Блэк, и он был разработан, чтобы помочь людям бороться с простудой. Трость наполнялась смесью воды и спирта, а отверстие в нижней части открывалось нажатием на курок, встроенный в рукоятку. При нажатии на курок из отверстия распылялся туман, который пользователь мог вдыхать. Считалось, что туман помогает убить микробы, вызывающие простуду, и в начале 1900-х годов это был популярный способ профилактики и лечения заболевания.
Распылитель тумана Scotch Mist был относительно простым устройством, но он очень эффективно помогал людям бороться с простудой. Его было легко использовать, и он был портативным, поэтому люди могли брать его с собой, куда бы они ни пошли. Кроме того, распылитель был относительно недорогим, что делало его доступным для людей с любым уровнем дохода.
3. Продукт, который вы ищете, — нож для хлеба.
Вот стихотворение о хлебном ноже:
Хлебный нож
Человеку свойственно ошибаться.
До того, как был изобретен обычный вариант этого изделия,
его функцией были хлебные крошки.
Теперь он используется для резки хлеба,
Но его первоначальное предназначение по-прежнему ясно.
Ведь когда мы совершаем ошибки,
мы часто остаемся с крошками.
Нож для хлеба — это напоминание о том.
что все мы люди,
и что все мы совершаем ошибки.
Но это также напоминание о том.
Что мы можем учиться на своих ошибках,
и что мы можем двигаться дальше.
Так что в следующий раз, когда вы совершите ошибку,
не будьте слишком строги к себе.
Просто возьмите нож для хлеба,
и начните сначала.
В общем, смех))
П
Оба бота идеально подходят для написания художественной литературы; ))
Правильные ответы:
1) Свекла (сахар)
2) Гололёд (в трости был песок)
3) Ластик (мякиш прекрасно стирает карандаш )
Ответы при желании вполне гугляться…
110851102159027836570@google
Есть же Bing, вот тебе ChatGPT с возможностями Bard.
N
Может быть и есть, но какое реальное количество людей на постоянной основе использует Microsoft Edge, как основной браузер? Пользователей Гугла не в пример больше, а ChatGPT, как Вы знаете, вообще работаете через сайт.
112250469659394019554@google
Bing мне тоже не понравился, хотя пробовал несколько раз с ним работать)
110222812237248992380@google
Я задал вопрос о возрасте короля Бинг ИИ и он ответил правильно.
112250469659394019554@google
Значит, его базы обновляются быстрее) Гугл может позавидовать
110222812237248992380@google
Он как раз гуглит информацию и подает пользователю.
112250469659394019554@google
Насколько я знаю, у Bing актуализируется база каждый день. А у Bard видимо нет
110222812237248992380@google
Хотя, я только что задал тот же вопрос Барду и он тоже ответил правильно. Просто я спрашивал о нынешнем короле (present king of England). Наверное он просто не понял о каком короле идет речь
112250469659394019554@google
Да, я после выхода статьи дальше баловался с Бардом и на конкретный вопрос «кто король сейчас» он отвечал правильно. Но на витееватый вопрос — неправильно.

Добавить комментарий

Сейчас на главной

Новости

Публикации

Первый гревел Shulz: изучаем прототип велосипеда The Lightning

Бренд Shulz наконец-то дал возможность всесторонне рассмотреть, что из себя будет представлять первый гревел компании. Выпущенный видеоролик-анонс состоит из двух частей. В первой ведущий канала...

С какой скоростью надо ездить по лужам

В дождливую погоду дороги становятся особенно коварными, а лужи на асфальте — не просто лужи, а настоящие испытания для водителя и его автомобиля. Каждая такая встреча скрывает риски: от...

Почему на современных стиральных машиных нельзя отключить отжим, и как это исправить вручную

Если на моделях стиральных машин 7-10 летней давности управление оборотами отжима (вплоть до 0) было базовой возможностью, то у современной техники подобная функция встречается всё реже. Но для...

Как можно узнать, сколько герц в экране Айфона и на что они влияют

В мире смартфонов происходит настоящая революция, связанная с частотой обновления экранов. Долгое время стандартом считались 60 Гц, но теперь производители, включая Apple, переходят на более...

Как одеваться в жаркую погоду, чтобы было комфортно

Лето — пора яркого солнца и прогулок на свежем воздухе. Но высокая температура может стать настоящим вызовом, если тщательно не продумать образ. Поговорим о том, как правильно одеваться...

Обзор MobaPad M6S: максимально удобная альтернатива Joy-Conn для Nintendo Switch

Над альтернативой для штатных Joy-Conn игровой консоли Nintendo Switch работали сразу несколько производителей, причем относительного успеха добился каждый из них, но по возможностям лучше, чем...