(UA) IT/Tech Ukrainians in Canada
-
Щас начну разбор украинского правительства:)
-
www.linkedin.com/in/lbaklan буду радий новим знайомством ;)
-
Кстати думаю после окончания войны, будут открыты миграционные пути. Украине нужно еще 10-20 млн как минимум
-
Границы откроют-программы закроют.
-
А хтось колись думав про кешування відповідей аі? Ну типу є helpбот яКий може генерувати відповіді на основі документації - але якщо велика кількість користувачів його заспамлять - це виллється в непоганий такий рахунок за юзання апішки якогось чатужпт. При тому 80% питаннь +- ті самі але різне формулювання
-
Або просто маленьку локальну нейронку поставити і нехай вона вирішує де одне і теж саме запитання, а де інше))
-
Split the G!
-
query -> vectore storage + cosine similarity -> якщо є топ3 відповіді то відправити вже відповіді все в ллм і щоб ллм обрала найбіль релевантну відповідь одну - якщо немає релевантної то напряму відправляти в ллм запити і віддавати на фронт + кеш в редіс + векторизація в векторному в векторному векторизувати збережені в редісі питання-відповіді теоретично має допомогти навіть якщо дока це 100 сторінок а4 та відповіді десь так то будь-який inmemory векторсторадж підійде але зроби щоб можна було с диска індекси грузити вже збереженних відповідей бо при кожному рестарті ембеддити одне й теж не ок *просто як варіант*
