请问模型推理的速度怎么计算,每秒钟多少个tokens。情景:某个大模型(如:baichuan2-7b)部署后,怎样计算它的每秒钟多少个tokens推理速度
· Sign up or log in to comment