В ногу со временем: Нейросети и ИИ

[+Ra Sha 122]

Ремарка:

Форум называется "Обсуждение актуальных тем" и вопрос развивающегося machine learning решил развить именно тут, а не на "бизнес и финансы" или "тех. форум". 

--------------

 

Пару слов для чего эта тема.

В поиске по форуму я нашел несколько тем, в том числе эту:
Нейросети и искусственный интеллект - Экономика и Бизнес - Baku365.com от пользователя @Haisenberg

 

В подобных топиках в основном сухая выжимка и нет практических советов. Думаю, можно из этой темы выжать больше пользы для общества. Я не программист и вообще и близко не в сфере IT. Я не дизайнер и даже не дата аналитик, которых уже пруд пруди, так что я не смогу объяснить для чего правило третей, какие есть функции, параметры и аргументы в Python, или как взломать Пентагон. Но я в процессе постоянного изучения, как становится модным говорить ИИ-инструментов. 

 

Если англичане предпочитают не замечать слона в комнате, то Азербайджан как всегда спит у слона на ушах. Хочу помочь окружающему себя обществу не заплыть жиром и применить закон Архимеда. Хотя мне бы самому не помешало скинуть пару десятков кило. Ну да ладно. Я постараюсь постепенно раскрывать как работать с разными нейросетками. Покажу результаты с примерами. Расскажу в каких сферах можно применять эти результаты и, конечно, расскажу как делать из всего этого бабки. Как те, которые сидят у подъезда, только зеленые и в кармане.

 

Для начала...

ИИ не равно нейросеть. Универсальный ИИ как показывается в фильмах - пока что недостижимая цель для человека. Недостижимая в рамках сегодняшних совокупных возможностей научных достижений. Нейросеть же, это огромный свод статистики. Т.е. это тот самый инструмент о котором мечтали лет 20 назад вроде "я скажу компьютеру и он сделает это за меня". Сделает это компьютер на основе тех данных, которые я изначально ему предоставлю. На основе тех алгоритмов (способов обработки информации), что я ему задам. Т.е. слово "креативность" не применимо к нейросетям. Нейросети это своего рода способ вывода определенной информации по запросу на основе статистических данных. Т.е. нейросеть это огромный генератор стереотипных представлений человека в тех или иных процессах. Весьма примитивно я пояснил что такое нейросеть, но постарался так, чтобы люди не в теме, но интересующиеся могли бы тоже понять. Иногда в тексте можете увидеть "генеративная сетка/нейросетка/ИИ" и т.д. Слово генеративная может иметь смысл порой, т.к. есть нейросети не генерирующие ничего.

 

Для примера об "ии-стереотипности". Можете ввести в любую генеративную нейросеть изображений "ребенок болеющий аутизмом" и обнаружите, что в подавляющем большинстве случаев это будет белый мальчик. Не девочка. Не пингвин, не абориген, а белый мальчик. Т.е., еще раз, нейросеть - это статистический свод данных с соответствующим результатом. 

12 геренаций, а результат один:

 

Но это не значит, что все, хана результатам. Нет. Просто надо уметь давать задание нейросети и обходить такие стереотипы, если встречаетесь с ними. Нейросеть - инструмент, можете вертеть им как хотите. 

 

В общем, можете спокойно использовать "ИИ-инструмент" в своем лексиконе, но следует понимать разницу. 

 

Сразу же поясню почему количество конкурентов расширяется день ото дня, даже если база одна. И почему имеет смысл узнавать новые нейросети. Например, есть множество генераторов картинок, база которых Stable Diffusion. Из текста выше можно сделать вывод, что качество конечного результата зависит от 3 вещей: 1 - качество запроса (промпт); 2 - качество базы данных; 3 - качество модели (алгоритм). На самом деле, тут столько параметров, что голова в котел превратится если их перечислить и вдаваться в подробности. Я объясняю общепонятным языком. Итого может оказаться так, что у одной компании программисты настроили модели лучше чем у другой компании. Вот и получаем разные стили, разное качество на выходе. Как пример: Night Cafe и Leonardo AI не уступающий Midjourney. В чем-то Leonardo AI лучше Midjourney, лучше понимает нативный язык, например. Но у Midjourney свой dataset (база) не относящаяся к базе SD (Stable Diffusion). 

 

К слову, некоторые сайты предлагают возможность натренировать свою модель. Самый простое применение этого - загружаете сотни своих фотографий и дальше уже генерируете нужное вам изображение. Так можно сделать профессиональную фотографию для паспорта или для сиви или еще куда-нибудь. 

 

Последнее общее вступление.

Нейросетки уже существуют давно. Не вдаваясь в историю, скажу что реальное инструментальное применение на уровне обычных людей началось еще в 2010-ых годах. Когда начали массово появляться инструменты разпознавания лиц и предметов. Но, "появились" не значит, что внезапно из ничего. Многие компании начали применять новые технологии и внедрять их уже в существующие инструменты - сжатие данных, генерация данных, автоматический перевод текстов, разпознавание речи и т.д.. На деле база для появления нейросетей долго шла к этому моменту. Нейросети - логическая эволюция расширения информации и расширения вычислительных возможностей. 

 

Бум по нейросеткам начал происходить в 2022 году, когда вышли генеративные модели вроде DALLE-2, Midjourney, ChatGPT, Stable Diffusion. Распространение началось уже к концу 2022 года. И это действительно был бум. Например, ChatGPT собрал 100 миллионов пользователей всего за сколько-то дней или недель, не помню уже. 2023 год отметился и продолжает бурным ростом различных ИИ-инструментов. И теперь это все перешагивает на новый уровень. Мой личный прогноз таков, что года через 2-3 уже большинство крупных компаний мира внедрят генеративные ИИ в свои софты (программы). И к такому повороту надо быть готовым. Но я сейчас не строю прогноз, это отдельная тема. 

 

Сейчас нейросети постепенно перешагивают порог из "развлечение и энтузиазм" в "инструмент помогающий людям жить и работать". Нейросети уже не только про генерацию изображений и текста, но уже про помощь людям с различного рода нехватками - зрения, слуха и т.д. Так что стоит знать что это и о чем.

 

И да. Важное. На рынке сейчас полным-полно инструментов называющих себя AI assistant/copilot. Но далеко не все из них являются нейросетями. Вполне возможно, что в процессе повествования в данном топике я предоставлю ссылки на инструменты не являющиеся нейросетками, хотя и позиционирующие себя таким образом. Людям в принципе все равно как это называть, главное что хочет человек - автоматизированный и безошибочный процесс. 

 

---------------------

Еще одна ремарка:

 

Я категорически приветствую дополнения к теме по теме. Я не позиционирую себя как единоличный автор знающий всё и вся. Наоборот, я учусь и есть много-много людей намного более "глубже" в теме в сравнении со мной. Возможно кто-то пожелает меня исправить, дополнить что-то, добавить новые идеи. Рассказывайте как вы используете нейросети и как извлекаете выгоду. Будет интересно почитать. Конечно же, желательно, предоставлять информацию в удобочитаемом виде и образовательном ключе, а не разрозненную информацию вроде "вот вам ссылка на 100500 нейросетей" - пользуйтесь. Можно создать отдельный тред для обсуждения, а тут только нужная инфа без воды и обсуждений. Ну, это уже как пожелаете. При желании можно тему и запинить.

 

Я сам НЕ собираюсь добавлять что-то новое ежедневно или еще с какой-либо периодичностью или с какой-либо систематичностью данных. Буду добавлять информацию по мере возможностей и желания. Я писал этот пост несколько часов, и постоянно так не смогу. А так, я постараюсь отвечать на вопросы, если они возникнут, поделюсь всем что сам знаю. Эта информация должна быть бесплатной и доступной, хоть многие на западном интернете и продают такие курсы по 500 бакинских. И вполне возможно, что некоторые юзеры даже тут не захотят чтобы вообще этот тред развивался, т.к. посчитают что такие темы лезут им в карман.

 

P.S.: Т.к. у меня нет спец. знаний по экономическим наукам и по программированию, я нейросетки связанные с этими тематиками буду обходить стороной. Но вы можете их сами сюда вставлять и писать о них и рассказывать.

 

--------------------

Общая библиотека:

 

Тут поставлю ссылки на библиотеки, просто для общего интереса. Фактически по многим инструментам я буду проходиться подробнее в дальнейших постах.

 

AI Library (phygital.plus)

 

Futurepedia - The Largest AI Tools Directory | Home

 

Future Tools - Find The Exact AI Tool For Your Needs

 

--------------------

Новостной блок:

Т.к. это первое сообщение в теме, то помещу сюда "новостной блок" - просто ссылки, где вы можете черпать новости об изменениях на данном рынке.

 

1. Artificial Intelligence (reddit.com) в частности читайте "AI — weekly megathread!" - это самый первый закрепленный комментарий, обновляется раз в неделю.
2. Новости на ютубе - https://youtu.be/0yItkzabnVk?si=IPEXVjKfOVNsFk4f - это ссылка на последнее видео, а так он тоже раз в неделю делает обзор на новости и мира ИИ. Обычно ролик нызвается The AI News You Missed
3. Телеграмм канал "Бэкдор" - https://t.me/whackdoor - завалит вашу телегу инфой, часто интересной и своевременной.
4. https://youtu.be/jASl7HWTva8?si=XmmLgYz125aoOLsb - есть еще эта, что-то пыхтит, старается, можно смотреть, хотя у нее часто инфа пережеванная другим блогерами. Зато на русском, если кто не знает английского. Да, в будущем я расскажу как можно смотреть любое видео на любом языке не зная язык. 

 

Больше пока не знаю. Первые три наиболее актуальные новости выдают. 

 

 

[+Ra Sha Topic Author 122]

ЛЕСГО НИГГА Начнем...

 

Так как из трех упомянутых параметров мы как пользователи чаще всего можем влиять только на один - "качество запроса", другими словами на наш промпт, то с ним и будем учиться работать. Промпт - это наш запрос генеративному ИИ(нейросетке) на нативном(обычном) языке что этот ИИ должен сделать в ответ на наш промпт. Кстати, я без понятия как верно писать промпт или промт. Слово не русское, так что пишите как вам удобно. Но это становится термином в рамках использования ИИ-инструментов. Конечно, алгоритмы взаимодействия человека с цифрой улучшаются ежедневно, и все стремится к тому, чтобы нейросети понимали нас без особых хитростей, но пока без этого никак. Настолько, что возникает новое направление - prompt engineering. Prompt engineering - Wikipedia 

 

Первая нейросеть с которой я начну пускай будет ChatGPT и похожие на него. Это так называемые языковые модели. Я помню на заре рунета в начале 2000ых были популярны всякие чат-боты. Очень примитивные и вообще ни на что не годные. Так вот эти самые языковые модели и есть те самые чат-боты, только намного круче. Настолько, что копирайтеры сейчас серьезно опасаются за свои рабочие места. Хотя на мой взгляд это излишне. Просто следует идти в ногу со временем, а не пребывать в стагнации. Итак, наиболее хорошо настроенные модели:

 

1. ChatGPT - openai.com/chatgpt
2. Microsoft Bing Copilot - Необходим браузер Microsoft Edge + поисковик Bing.
3. Google Bard - bard.google.com
4. Claude 2 - claude.ai
5. ChatSonic - writesonic.com/chat
6. Jasper AI - jasper.ai
7. Copy AI - copy.ai
8. Yandex GPT - yandex.ru/project/alice/yagpt - необходим браузер Яндекса.

Есть еще другие языковые нейросети в том числе, например, языковая модель от Meta AI. Но я что-то пока без понятия как ею воспользоваться, возможно она не в общем доступе еще. Но все перечислять особо смысла пока что не вижу. Сразу отмету те, которыми я не пользуюсь, но вы можете попробовать. Итого останется 3 наиболее популяризированные:

1. ChatGPT
2. Microsoft Bing Copilot
3. Google Bard
4. Да, четвертый пункт, который я хотел бы добавить к трем предыдущим это новый perplexity.ai. Я им пока не пользовался, но судя по отзывам он во многом очень хорош для некоторых задач. Подробнее дальше. 

Если вам жалко платить мамедом или ширваном за буржуйские новинки, то будьте готовы, что у ChatGPT есть две действующие версии. Это 3.5 и 4-ая версия. 3.5 - бесплатная. 4 - за 20 зеленых конфети в месяц. Основная проблема ChatGPT последнего времени - он тупеет. Невообразимо тупеет. И я постоянно сижу и злюсь на него. Причем обе и платная и бесплатная, но 3.5 особенно заметно. Тут можно прикрепить пару теорий заговоров о том, почему он отупел, но это не так важно. Факт в том, что любая фактологическая информация от него требует проверки, если важна точность. И вот здесь я отмечу perplexity.ai. Я не помню когда этот ресурс стал чат-ботом, возможно до совсем недавнего времени, вроде месяц-или два назад. До этого он позиционировал себя альтернатива гугловскому поисковику где выдаваемая информация основана на фактах, научных статьях и т.д. Строго по фактам в общем. Каков чатбот этого ресурса я пока не знаю, но учитывая с чего он вырос - результаты должны быть качественными. 

 

Microsoft Bing Chat - это чатбот от майкрософт основанный на ChatGPT 4-ой версии настроенный в основном под поисковую систему Bing, также от майкрософт. Бесплатный. Понимает русский. Т.е. в идеале он лучше ChatGPT 3.5... Наивные. Не лучше он. Он также тупеет, т.к. в его основе ChatGPT 4. Но, учитывая что его результаты выдаются в основном с поиска по интернету, то проверить его результаты гораздо легче, т.к. он выдает ссылки. Чтоб вы поняли взаимосвязь Microsoft и ChatGPT, отмечу, что ChatGPT создается компанией OpenAI, весьма одаренными ребятами. Но кушать им тоже хочется. По итогу среди прочих инвесторов Microsoft инвестировала больше 10 миллиардов долларов в этот проект. Отсюда и влияние. И все же как платный ChatGPT 4 лучше ChatGPT 3.5, так и Microsoft Bing Chat лучше ChatGPT 3.5. Правда не во всем. Напомню, что это все же поисковый бот. 

 

Google Bard - гугловская языковая модель. Да, гугл немного поздно очухался, и даже потерял немного в стоимости своих акций благодаря встраиванию ChatGPT в поисковик Bing, но все же предоставил миру свою модель. Бесплатную. С поиском в интернете. На самом деле у гугла есть своя виртуальная лаборатория прикладных ИИ-инструментов, которые постоянно развиваются, так что это вопрос времени когда Майкрософт вновь отойдет на второй план в вопросах нейросетей. В общем эта языковая модель не так уж и плоха, где-то она лучше ChatGPT, где-то сбоит и выдает неурядицу. Остальные ИИ-инструменты от гугла найдете на Google's latest experiments in Labs.

 

Небольшой итог по общей инфе о языковых моделях. Они не знают всего. Помните, что они также статистический свод данных. Они просто, скажем так, предсказывают согласно статистическим данным какое должно быть следующее слово. И важен наш запрос ему. Промпт решает все. Покажу все это на примерах дальше. 

 

Перейдем к работе с этими языковыми нейросетками.

 

Принципы работы хоть с гугловским чатботом, хоть с майкрософтсктосроыва..язык сломаешь, хоть с оригинальным ChatGPT один и тот же. Поэтому все объединю под эгидой именно этого чатбота. Так же я не буду отдельно выделять ChatGPT 4-ой версии исходя из 2 причин. Первая причина - это ты. Во-первых я им не пользуюсь, он платный. Во-вторых умные люди создали приличное количество плагинов (дополнений) к ChatGPT, которые нужно тестить и потом уже писать отзывы тут. Я этого не делаю, потому что он платный...где-то я это уже писал, кажется. Единственное, что скажу - миксуйте разные модели. У всех ответ будет различаться. 

 

Более того на один и тот же запрос одна и та же модель может выдавать разные результаты. В порядке убывания частотности до определенной степени. Например, вероятность того, что слово "штепсель" стоит после слова "молочный" очень низка, если нет соответствующего контекста. Зато слово "продукт" очень вероятное после слова "молочный". Поэтому на запрос от юзера к ChatGPT "сгенерируй мне 100500 словосочетаний где первое слово это молочный", на 100500ый раз возможно ChatGPT и сгенерирует "молочный штепсель", хотя вероятность крайне низка, ну прям реально крайне низка, т.к. статистически ChatGPT это считает ничтожным, ибо в тех данных на которых он был обучен даже если и встречалось словосочетание "молочный штепсель", то может раз или два из миллиардов и миллиардов словосочетаний. Т.е. ChatGPT не понимает смысла, но он понимает что такое статистическая вероятность. Так это все и работает. Про соответствующие ограничения такого способа работы напишу ниже.

Вспоминаем что такое промпт - наше умение дать задание ИИ. Вспоминаем также, что можно делать свои модели, вернее сказать подмодели, где в заданной(уже имеющейся) модели (языковой) мы задаем ей свою подмодель поведения. Другими словами мы задаем роль. И это самая важная часть. Для хороших результатов необходимо задавать роль. 

 

Быстрый пример. 

 

Мой запрос БЕЗ роли:

Quote

Сгенерируй мне короткий рассказ про умную собаку в стиле Стивена Кинга. Рассказ должен состоять минимум из 150, максимум из 160 символов.

Ответ БЕЗ роли:

Quote

Ночью, тихий лай пробудил город. Собака Сэм смотрела на ночное небо. Человеки не понимали — она видела нечто далекое, темное, приближающееся.

Эм...так себе.

 
Теперь я задаю роль в новом чате:

 

 

Что это показывает.... Что он буквально вошел в роль и мое ограничение в 160 символов посчиталось не столь важным запросом. Да, такое можно увидеть почти во всех нейросетях - генерация текста, изображений, видео и т.д. Неважно. Каждое слово подвергается оценке и задается "вес". Т.е. то, насколько данный запрос влияет на результат. В данном случае ограничение в символах посчиталось неважным. Но, это не значит "неподчинение". Продолжение беседы выдает нужный результат.

 

Как я говорил, чатГПТ тупеет и таких грубых грамматических ошибок он раньше не делал. Но итого с промптом где ему задается роль он справляется лучше чем без роли. 

 

Про "вес" запроса, я потом как-нибудь расскажу. Это наиболее очевидно и важно для учета при работе с моделями text-to-image (генерация изображений).  

 

Теперь про ограничения что я указал выше, касательно особенностей как генерируется ответ у таких языковых моделей. Им чрезвычайно сложно создать рифмы, например. Можете хоть 100 раз генерировать запрос по типу "сгенерируй мне стишок в стиле Пушкина с перекрестной рифмовкой" и в 99% вы не увидите рифм вообще. Языковая модель генерирует текст поэтапно, и генерируя первое слово она еще сама не знает чем закончится стишок. Пример:

 

 

Ну, да. Расслабь это рифма на слово "буйный". Все верно, амиго.

 

И точно также языковая модель вас не поймет в плане созвучности чего-либо. Со временем это изменится, конечно, но на сегодняшний день это так.

Выводы напишу следующим сообщением, чтобы выделить важное.
 

[+Ra Sha Topic Author 122]

Итак, эффективный промпт для языковых моделей включает:

1 - Задание роли
2 - Приведение примеров
3 - Объяснение примеров
4 - Объяснить контекст, т.е. цель для чего нужна генерация
5 - Позволить языковой модели задать вам уточняющие вопросы
6 - Определить формат подачи (стиль написания, длину текста, способ вывода - таблица и т.д.)
7 - Использовать "волшебные слова", вроде "давай вместе проанализируем" или "подумаем шаг за шагом"

 

 

Получение более четкой инфы возможно с использованием следующих техник:

 

1 - ограничить количество символов или запрет на определенные слова/темы
2 - попросить выдать информацию в виде таблицы, если это уместно, можете указать количество столбцов/строк
3 - желательно делать запрос на английском и ждать результат на английском языке

 

 

Готовые роли можно отыскать в интернете. Либо.... попросить ChatGPT помочь вам составить промпт для того, чтобы в дальнейшем вы этот промпт использовали чтобы ChatGPT выдавал нужные результаты. Я обернулся посмотреть не обернулась ли она посмотреть не обернулся ли я. Это проще, кстати.

 

 

Недавно в бесплатной версии появилась новая фича - инструкции. Я пока ею не пользовался и пока не собираюсь исследовать. Но если кто-то пользовался - поделитесь. И вроде вышло их приложение, не знаю на какой телефонной ОС и не знаю ее доступность в Азербайджане. Проверьте сами. Там вроде можно и голосовой ввод делать. Ну прям персональный ментор и ассистент и кто угодно.

 

 

Так..Теперь результаты. Что можно делать с языковыми нейросетками? Уууу...

1. 1Выучить наконец английский, чтобы иметь доступ к первоисточнику 21 века. Просто задайте ChatGPT роль ментора и наставника обучающего английскому языку начиная, например с уровня beginner, intermediate и т.д.
2. Выучить французский, ведь это все же языковая модель...Языковая. Модель. Шутки за 300.
3. Генерировать тексты для различных целей - написать деловое письмо, написать сопроводительное письмо, написать резюме и т.д.
4. Написать курсовую, диссертацию, лабораторную, научную статью, объяснительную и т.д.
5. Узнать 101 способ как бесплатно без регистрации без смс скрыть налоги от государства и еще 200 идей организации детского утренника, и вообще любые идеи по любому поводу
6. Объяснить себе как ребенку/взрослому/специалисту любую тематику любой сложности
7. Написать сценарий для home video, написать сценарий для ролика на ютуб/фейсбук/тикток и т.д.
8. Написать книгу. Да, вполне возможно. На 31 страницу совместно с ChatGPT и создал книжку о том как сознание человека заперто в теле андроида и борется с роботом за право управлять телом. 
9. Для генераций идей для заработка
10. Для маркетинга и продаж
11. Для инвестиций
12. Для подготовки к собеседованиям
13. Создать собственные курсы.
14. Изучить программирование и вообще все что связано с программированием вплоть до написания кода для сайта. Сразу скажу результат будет не особо, т.к. есть нейросетки получше, заточенные под эти задачи. 
15. Переводить тексты любой сложности и если необходимо адаптации этого текста под любой стиль изложения, можно хоть под барыгу косить.
16. Составлять бесконечные рецепты еды. Составлять планы питания и планы диет с учетом ограничений и пожеланий
17. Да хоть рюмку опрокинуть с ChatGPT, если задавать ему роль закадычного друга или гиканутого психолога. 

Можно очень долго перечислять.

Из чего делать бабки, наконец?
Пока что напишу не привлекая другие нейросетки. Чисто на языковой модели.

 

1. Сделать себе сайт и писать статьи, раскручиваться, набирать читателей.
2. Делать то же самое только в соц. сетях, да хоть тут. Читатели = деньги.
3. Создать курсы или короткие инструкции. Любые. Вышивание. Как выучить язык суахили. Как собрать бомбу из лего конструктора. Как втихую избавиться от шумных соседей. 
4. Написать книгу в любом стиле для любой аудитории.
5. Написать детскую книжку. Да, это пишу отдельно, т.к. на этом люди уже приличные миллионы подняли.
6. Создать всякие брошюры типа "сборник идей" или "сборник рецептов". 
7. Писать сценарии для всевозможных вечеринок, собраний, видео, кино, чего-угодно. Сценарии, одним словом.
8. Писать статьи на заказ для всяких онлайн-медиа и газет...но это уже не актуально, разве что в Африке где не знают про нейросети....Можно попытать счастья и на местную аудиторию. И да, ChatGPT знает азербайджанский.
9. Продавать планы питания, диеты и т.д.

 

По поводу реальности этих способов.... Просто приведу пример насколько все возможно и лишь в ваших руках. В начале января этого года, когда всего пару месяцев как ChatGPT вывалили в общий доступ, на Amazon и Ebay появились книги о том как работать с ChatGPT. Книги про ChatGPT...сгенерированные на самом ChatGPT...Бумажные версии... Что???? И.... их покупали!! Когда все и так уже было доступно в интернете. 

 

Поэтому все перечисленные способы очень реальные и проверенные. Люди в прямом смысли становятся миллионерами. 

 

Повторюсь, это способы не миксованные с другими видами нейросетей. Когда буду рассказывать про новую нейросеть или вид нейросетей буду делиться идеями о путях заработка с ними. Там просто море возможностей. 

[+Ra Sha Topic Author 122]

На пока что все... 

Что-то слишком длинные сообщения получились. Кажется так читать неудобно.