Сравниваем ChatGPT и нейросеть Google «Bard»
Bard — это нейросеть от Google, которая умеет общаться с пользователем, сохранять контекст диалога и гуглить любые вопросы. И вместо сотен ссылок по запросу она дает структурированный ответ, чтобы пользователю не пришлось серфить по сайтам. Но насколько хорошо работает нейросеть и лучше ли она ChatGPT — разбираемся в статье.
Важно! Пока что Google Bard не работает на русском языке, поэтому общаться с ним приходится на английском. Под каждой фотографией я оставлю перевод на русский, чтобы всегда был понятен контекст.
Тест 1: задаем вопрос из двух частей
Как работает Google: вы вводите поисковый запрос, Google отбирает все страницы, которые связаны с вашим запросом, анализирует их и подготавливает к выдаче в определенном порядке. И чем полезнее сайт, тем выше он будет в выдаче. При этом Google не умеет работать со сложными запросами.
То есть, на вопрос «кто был президентом США в 2008 году» Google ответит правильно — Джордж Буш.
Но, если мы усложним вопрос до такого: «кто был президентом США, когда обанкротился банк Lehman Brothers», Google не ответит ничего путного (банк обанкротился в том же 2008 году).
Теперь пора сравнивать. Начнем с Bard.
Google Bard правильно ответил, что во время краха банка президентом США был Джордж Буш
Результат радует. Проверим, справится ли ChatGPT.
Да, бот тоже ответил верно
Тест 2: спрашиваем, как выбрать хороший горный велосипед
Я не люблю задавать такие вопросы в Google, потому что в ответ получаю бесполезные SEO-статьи. И они не помогают выбрать;)
Посмотрим, что скажет Bard.
Если коротко, то он рекомендует опираться на стиль вождения, местность для катания, бюджет и размер велосипеда.
В целом, информация очень поверхностная и выбрать хороший велосипед она не поможет. Теперь посмотрим, что посоветует ChatGPT.
У него ответ сильно больше. Правда, он как и Bard советует опираться на стиль вождения, местность для катания, бюджет и размер велосипеда. Но еще он рекомендует читать отзывы, выбирать велосипед исходя из размера колес, типа подвески и рамы
У ChatGPT ответ получился более полным. Но, ни Bard, ни ChatGPT не ответили на мой вопрос на 100%. В любом случае придется задавать дополнительные вопросы и давать много уточняющих деталей.
Тест 3: проверяем, как Bard ориентируется в пространстве
Здесь я имею ввиду то, как он ориентируется во времени и работает с интернетом. Дело в том, что база ChatGPT ограничена осенью 2021 года и бот не знает ничего, что происходило с того времени. Поэтому в этом тесте он не участвует.
А вот разработчики Bard заявляют, что он умеет гуглить информацию в интернете. Проверим, правда ли это.
На вопрос «какая погода в Минске» бот правильно назвал день и год. И погоду описал правильно
Теперь усложним задачу: спросим, сколько лет было королю Англии 19 лет назад. Так мы проверим, действительно ли бот всегда работает на самой актуальной базе или какой-то информации у него нет. Ведь коронация была совсем недавно и неизвестно, знает ли Bard об этом.
На вопрос «сколько лет было королю Англии 19 лет назад» бот честно ответил, что у Англии нет короля. Там есть королева Елизавета
Бот обманул. Поэтому спросим у него, что он знает о коронации.
Теперь бот признал свою ошибку и даже назвал дату коронации Чарльза 3: 6 мая
Когда я попытался выяснить, почему бот соврал в первый раз, вот, что он ответил: «У меня нет доступа к реальному миру, поэтому я не могу знать о текущих событиях, если они не упомянуты в тексте, по которому я обучаюсь. Приношу извинения за любую путаницу».
Что бот имел ввиду под словами «у меня нет доступа к реальному миру» я так и не выяснил. На любые вопросы по поводу его умения гуглить или взаимодействовать с миром, он отвечал, что у него нет глаз ушей и рук. Он умеет только отвечать текстом. В общем, тут у Bard большой недостаток: он вроде бы и умеет гуглить, но все равно ошибается. И это значит, что даже нейросетям с подключенным интернетом нельзя доверять — могут обмануть.
P. S. Буду и дальше пользоваться Bard, давать ему разные задачи, чтобы еще лучше познакомиться с нейросетью. Расскажу об этом в следующих статьях.