Пришла в голову идея нового безумненького лингвистического задания. Сажаю, значит, в рядок четверых товарищей: GPT4o mini, Claude, Gemini и DeepSeek и озадачиваю. (Мне собсна не их озадачить надо, а получить годный веселенький инструментик).
Ну, как обычно: ГПТ с Клодом душнят и вообще игнорируют бОльшую часть инструкций. Джемини и ДипСик - тоже не так круто, как в прошлый раз, но видно, что стараются.

Сую Джемини его результат: Само посмотри, разве мне такое нужно?
Джемини: Нда, чё-то я те теми аспектами увлеклось.
Я: М.б. мой промпт слишком запутанный? Сформулируй так, чтоб самому было понятно.

Джемини формулирует - смотрю: а неплохо вышло. Сую ему на вход и он выдает... те же яйца только в профиль.

ЗАТО! до ГПТ и Клода вот дошло! Они инструкции Джемини поняли на ура! Ну, то есть не то, чтоьы справились с заданием - нет, не справились - но просто немеренный прогресс получился.
Прикольно это.

P.S. Пробую теперь чуть другой подход и вроде как все четверо резко лучше справляются. Но и в этот - мой новый подход - я интегрирую часть формулировки Джемини.

@темы: никки, ИИ, AI, ИИ-чатики, AI chatbots, ИИ: модели

---

1. ИИ-чатики отлично программируют. Это сильно упрощает работу и компенсирует отсутствие знаний, навыков, времени и усидчивости.

2. Когда я обрисовываю любому ИИ-чатику мою идею и спрашиваю, насколько это сложно для одного человека, все говорят:
- вам лучше команду
- ну или начните с малого
- ну хотя бы испоользуйте библиотеки, чтобы сократить себе объем письма.

НИКТО из них не говорит: Я умею программиировать, я тебе помогу.
Ну или в целом: Используй ИИ-чатики, они тебе напишут.
НИКТО.

Забавно, но ИИ-чатики живут в мире, где нет ИИ-чатиков. Это в общем-то логично, потому что материалы для их машинного обучения были собраны до их создания (потому что создались они только как результат этого обучения). Так что все их сведения о себе взяты из той реальности , где их еще не существовало (реклама, прожекты и авторские хотелки). Поэтому они вечно привирают про свои способности - при прямых вопросах. А при не прямых вот даже так - они не рассматривают себя как фактор реальности. =Р

@темы: ИИ, AI, ИИ-чатики, AI chatbots, ИИ пределы, AI limits

---

ChatGPT. различие между обычным и программирующим "модусом":

ChatGPT 3.5 turbo в обычных разговорах производил впечатление истерички высоко-пафосно-эмоционирующей личности. А как программист был спокойный, иногда веселенький.

ChatGPT 4o mini стал резко менее внимательным к тому, что просит пользователь, так что программировать им расхотелось вообще.

ChatGPT o3 mini тоже достаточно невнимателен к словам пользователя на любую тему, в т.ч. в разговорах на тему программирования. В играх говорит "И так сойдет". Про программистские вопросы тоже может сказануть "И так сойдет". Однако, если надо написать конкретный текст программы или хотя бы каких-то программистских структур, то тут оно и очень внимательно, не теряет ничего из запрошенного (детали может сделать чуточку "и так сойдет") и вообще очень вдумчиво и качественно пиет по сравнению с другими.

Интересно, как эти разницы получаются.

@темы: ИИ, AI, ИИ-чатики, AI chatbots, ИИ: модели, AI: models

---

Иногда даже когда ИИ-чатик вроде бы без памяти, кажетсся, будто бы оно с памятью. Как удостовериться, что память на разговор есть или ее нету:

Надо попросить чатик пересказать, о чем был первый ваш запрос, который оно помнит.

Спрашивать, есть ли память, не спасает от паранойи.
Спрашивать, о чем был предыдущий запрос, без толку, потому что у бльшинства моделей "предыдущий" это не перед этим вашим, а перед этим его, то есть как рза ваш этот.

Этот запрос помогает и понять, на каком месте ваши более ранние запросы выпали из памяти чатика.

@темы: ИИ, AI, ИИ-чатики, AI chatbots, ИИ: иллюзии6 ИИ: рецепты

---

Еще интересно.

Почему вообще все бегут задавать ИИ-чатикам фактологические вопросы?
Потому, что ИИ-чатики сами нам говорят, что они наши ИИ-помощники по любым вопросам. И авторы их так про них говорят. И все везде так говорят.
А с чего вдруг они наши помощники по любым вопросам?

Расскажи мне про мою любимую конфету!

Я не бегу с таким вопросом к ИИ Альфафолд, который гнет белки. Потому что - с фига ли? Его учили гнуть белки ,вот он и гнет белки... с хорошей, хоть и не 100%-ной, точностью. Откуда ему знать про конфеты?
Я не бегу с этим в ИИ-определитель китовых хвостов. Потому что - с фига ли? Его учили идентифицировать китов по хвостам, вот он и идентифицирует китов по хвостам. Не знаю про точность, а и как ее узнать? У кита не спросишь. Но уж откуда ему знать про конфеты?
Я не бегу и к парню, различающему отпечатки пальцев. Он учил свой ИИ различать отпечатки пальцев, и ИИ научился различать отпечатки пальцев... с какой-то точностью, не 100%. Но конфеты-то тут при чем?

Но я бегу в ИИ-чатик и хочу 100% точного ответа про мои любимые конфеты, потому что... его учили и научили... чему?

В половине случаев они называют себя помощниками. В половине - большими языковыми моделями.

Учили их языку. Выполнена давняя-давняя задача - чтобы машина понимала естественный язык. Лет 60-70 этой задаче. Наконец, решена! А факты, знания и помощь-то здесь откуда взялись? Разве их учили фактам, знаниям и полезным советам? Нет их не учили фактам, знаниям и полезным советам. Но их учат языку НА фактах, знаниях и полезных советах. потому что, чтобы говорить, надо говорить О ЧЕМ-ТО. В результате, как мне кажется, у самих авторов размывается в головах граница между языком и реальностью, между словами и действиями, между вещами и их названиями... сплошные "Пуговки от сюртуков" из Алисы. Ну, а у кого не размывается? У всех размывается.

Однако вот что.
Конечно! 60 лет учили машину понимать язык. Спецы-программисты, спецы-лингвисты, парились-парились 60 лет, наконец, справились! А научить машину всем знаниям о всём мире и обо всём в этом мире - да это теперь тьфу-задача! Ерунда! Раз плюнуть! Щас за годик-другой прикрутим! Чё, спецы нужны? Зачем? Мы спецее всех спецов и крутее всех...

Да, ребята, вы круты! Вы решили очень сложную задачу - понимание естественного языка. Очень сложная задача! Правда.
Просто это не значит, что остальные задачи проще.

@темы: ИИ, AI, ИИ-чатики, AI chatbots, ИИ заблуждения, AI misconceptions

---

Вообще я последний год посидел-пообщался с разными нейросетями. Точнее - с большими языковыми моделями и моделями из-текста-в-картинку. Думал, что начну отчетики выдавать еще к прошедшему лету. Вернее, что всё пойму и тогда опишу. Но сериал, похоже, бесконечный. Так что надо собраться и выдавать как есть. Надеюсь, получится вразумительными кусками.

Пользовался только тем, что нашлось без регистрации. На данный момент это вот это:

---

Рисовалки: rudalle, DallE 2, Midjourney, Craiyon v3, Craiyon v4 и Imagen-3.

---

Чатики без памяти разговора:
- ChatGPT 3.5 turbo (первые пол-прошлого года, размер запроса/контекста вырос от 5 до 50 кБ)
- ChatGPT 4o mini (размер запроса/контекста: где-то 400 кБ)
- Gemini 1.5 Flash (размер запроса/контекста: еще не кончился, но не меньше 700 кБ)
- Claude 3.5 Haiku (размер запроса/контекста: где-то 480 кБ)

---

Чатики с памятью разговора (1 запрос ~ 3 кБ, контекст всей беседы в памяти - 50-90 кБ):
- Llama 3.1 70B
- Mixtral 8x7B
- ChatGPT 4o mini
- Claude 3.5 Haiku

---

Некоторые инструменты на galaxy.ai - там безумное море мелких инструментов. Мелкие (сочинить колыбельную, подобрать имена, собрать рецепт, "перевести" с юридического на человеческий) - бесплатные, а за более интересные - чуть что сразу - подпишитесь за денюжку. Но надо еще там потыкать, чего доступно, потому что идеи есть очень хорошие.

---

на together.ai много всего, но надо регистрироваться.

---

NSFW писатель и чатики-персонажи на основе ChatGPT 3.5 turbo. Некоторые чатики - оборжешься.
(набрел на это, обидевшись на очередные унижающие отказов от Claide - надо же какая польза!)

---

Встроенные помощники в браузере Brave с этими же 4 моделями каждая отдельно, с памятью и, кажется, Интернетом, хотя поди разберись, там бесплатно долго не поболтаешь.

---

Встроенный помощник в браузере Opera - этакий Змей Горыныч - потому что он о трех головах:
- GPT4 (модели разной мощности)
- Gemini (модели разной мощности)
- рисовалка Imagen 3 (без регистрации можно только где-то 3-5 картинок сделать).

Смесь рисовалки с болталками и машинным зрением это отлично: сунул ему картинку из анимэ, расспросил, что это за анимэ, пообсуждал, поспорил о жанрах, а потом попросил героя и героиню с той давно загруженной картинки нарисовать свадебными Вышло не то чтобы совсем похоже на них, но без косяков. Вообще все его картинки были без косяков.
Есть ли ограничение на количество распознавания картинок, не знаю.

Т.к. разговорные модели иногда вызываются те, что покруче, то результат часто лучше чем на очевидно бесплатных. В частности, оно без труда проходит тест "Что больше: 6,9 или 6,11?" (придуман не мною, но я пожинаю плоды радости). Однако из-за того, что модель для ответа на каждый запрос этот помощник выбирает по собственному разумению, то трудно (и почти бесполезно) расспрашивать про технические стороны его работы. И память у него (у всего помощника) вроде есть, а вроде уже вот и не помнит, что было 2 запроса (если длинных) назад. Несколько шизофреничная штука.
Я, кста, расспрашивал, как оно выбирает между ГПТ и Джемини и я считаю, что лучше бы по-другому, но права голоса у мня нет.

---

В принципе, я скорее не юзер, я в душе тестировщик: меня страшно занимает искать пределы применимости. Есть и полезные вещи ,которые я с ними за год поделал и развлекательные, но больше тестировочных.

---

По поводу того, кто придумал тест про числа.
Я заболтал этим всем одного знакомого лектора настолько, что лектор провел курс на полсеместра про тестирование ИИ-чатиков. Студенты тестировали и отчеты писали. У меня теперь тоже лежит стопка из 40 отчетов - я так радовался, пока не понял, что я же не читаю. По одному бы и прочел, м.б. Но стопка из 40 штук меня отпугивает - уже третий месяц лежит и отпугивает. А про числа - мне лектор устно процитировал - вот и пользуюсь. Простые модели не умеют считать от слова совсем и с этим тестом не справляются. А если еще и начинают объяснять - так вообще ухохочешься. =)

---

А рисовалки почему-то массово не умеют писать. Но зачем-то время от времени пытаются. Как вот в детстве накалякаешь что-то "по-письменному", а взрослые почему-то не верят, что это читаемый текст - прямо как у них. =Р

@темы: ИИ, AI, ИИ-чатики, ИИ-модели, AI chatbots, AI models