(UA) IT/Tech Ukrainians in Canada
-
А хтось колись думав про кешування відповідей аі? Ну типу є helpбот яКий може генерувати відповіді на основі документації - але якщо велика кількість користувачів його заспамлять - це виллється в непоганий такий рахунок за юзання апішки якогось чатужпт. При тому 80% питаннь +- ті самі але різне формулювання
-
Або просто маленьку локальну нейронку поставити і нехай вона вирішує де одне і теж саме запитання, а де інше))
-
Split the G!
-
query -> vectore storage + cosine similarity -> якщо є топ3 відповіді то відправити вже відповіді все в ллм і щоб ллм обрала найбіль релевантну відповідь одну - якщо немає релевантної то напряму відправляти в ллм запити і віддавати на фронт + кеш в редіс + векторизація в векторному в векторному векторизувати збережені в редісі питання-відповіді теоретично має допомогти навіть якщо дока це 100 сторінок а4 та відповіді десь так то будь-який inmemory векторсторадж підійде але зроби щоб можна було с диска індекси грузити вже збереженних відповідей бо при кожному рестарті ембеддити одне й теж не ок *просто як варіант*
-
Трошки закупився з зп, але не більше
-
Дякую що поділились таблицею ) . www.linkedin.com/in/anastasiia-boiko-kalymon . Я на разі тут новенька в Канаді буду рада будь-яким порадам щодо пошуку роботи , та новим знайомствам. . Територіально поки в Монреалі , але якщо в когось в компанії набирають QA тестувальників , то буду рада глянути всі варіанти)
-
І я в темі www.linkedin.com/in/volodymyr-mazurchak