(UA) IT/Tech Ukrainians in Canada

[t55955565]

Это reinforcement bias, да

[t401676858]

Это лечат примесями шума в промт

[t401676858]

Хм есть другое типа модель со временем увеличивает вес правильных ответов и потом ответы становиться очень однобокими практически одно и тоже повторяет

[t55955565]

Мало того, если еще какой-то топик поднять, то вообще будет detail blending

[t55955565]

Я именно про длинный чат

[t55955565]

Может начаться hallucinating

[t401676858]

Нет так он же говорит чат длинный а не все в один промт впаять

[t55955565]

И тк мы идем дальше, то теряется многое

[t55955565]

Оно как бы все время делает саммари, не хранит все.

[t55955565]

Ну юзер уже только промптами))

[t401676858]

А с overflow что обычно делают

[t401676858]

А если юзер то шума подмешать

[t55955565]

It depends, ну вот если ты не юзер, а именно инженер, то надо подкрутить randomness например, много факторов

[t401676858]

Длинный чат во первых reinforcement bias а в придачу еще window overflow

[t401676858]

Начать новый чат где сказать первым сообщением что мол вот есть такое самари и нужно теперь то и то доделать придумать

[t401676858]

Составить свое саммари и обнулить контекст

[t55955565]

Да, типа того. Я обычно на другой стороне процесса, и не все юзеры такие умные, увы)

[t401676858]

Контролировать вот это самари или стейт на стороне юзера и каждый раз как бы новый чат чтоб контекст оверфло не возникал

[t401676858]

Спасибо конечно ну можно же lang chain поставить между юзер и моделью

[t180762743]

А ще краще по tty спілкуватися