关于最大预测长度
#3
by
RoadToNowhere
- opened
config.json中的"max_position_embeddings": 10000是否意味着 lookback_length + forecast_length <= 10000 ？
由于Sundial使用了RoPE，max_position_embeddings=10000意味着该模型的最大上下文长度（context length）为10000个token，参考模型patch token长度(16)换算为相应时间点数为160k