Dockerfile

# 使用基础镜像 ollama/ollama:latest
FROM ollama/ollama:latest

# 执行 apt 更新和安装 python3 和 pip3
RUN apt update && apt install -y python3 && apt install -y python3-pip

# 安装 litellm 和 litellm[proxy]，指定豆瓣镜像源
RUN pip3 install litellm
RUN pip3 install 'litellm[proxy]'

RUN sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
RUN sudo chmod +x /usr/bin/ollama

#ENV SERVER_ROOT_PATH="/api"

# 设置启动命令(踩坑记录：CMD无法覆盖ollama/ollama镜像的ENTRYPOINT,导致一致报错，改用ENTRYPOINT就可以解决)
# CMD ["litellm", "--model", "ollama/deepseek-llm:67b-chat"]
# 设置ENTRYPOINT
ENTRYPOINT ["litellm", "--model", "ollama/llama2"]