«Давайте просто развернём свою LLM на 1Т параметров»: как выглядит self-hosted AI после первого миллиона запросов
Сергей Нотевский, Битрикс24
Грабли self-hosted AI на опыте Битрикс24: контекст, vLLM, GPU-пулы, evals, качество, стоимость и миллионы запросов в месяц. Чек-лист решений и метрик для оценки готовности к своим моделям.
Презентация




