 Michael Yang
|
e40145a39d
lint
|
hace 7 meses |
 Daniel Hiltgen
|
34b9db5afc
Request and model concurrency
|
hace 9 meses |
 Daniel Hiltgen
|
de2fbdec99
Merge pull request #1819 from dhiltgen/multi_variant
|
hace 1 año |
|
Daniel Hiltgen
|
39928a42e8
Always dynamically load the llm server library
|
hace 1 año |
 Fabian Preiß
|
3bc8b9832b
fix gpu_test.go Error (same type) uint64->uint32 (#1921)
|
hace 1 año |
 Jeffrey Morgan
|
c336693f07
calculate overhead based number of gpu devices (#1875)
|
hace 1 año |
|
Daniel Hiltgen
|
a2ad952440
Fix windows system memory lookup
|
hace 1 año |
|
Daniel Hiltgen
|
d966b730ac
Switch windows build to fully dynamic
|
hace 1 año |
|
Daniel Hiltgen
|
35934b2e05
Adapted rocm support to cgo based llama.cpp
|
hace 1 año |
