Chu
@trf
OpenAI 还是有排面，生态支持的都很好。发布前 NVIDIA、vllm、ollama 等等都适配好了。 20b 版本本地特别快，5090 bs=1 有 250 t/s，3090 都有90t/s。
0 reply
0 recast
0 reaction