File size: 5,116 Bytes
229b6a9
de8c3ef
726d69a
 
 
b91b421
bbc4271
726d69a
de8c3ef
4e38eae
b91b421
 
 
726d69a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
b91b421
 
 
 
726d69a
 
 
 
 
 
 
 
b91b421
 
726d69a
 
 
 
 
 
 
 
 
 
e5eb877
 
726d69a
 
 
 
 
de8c3ef
726d69a
 
 
 
 
 
 
de8c3ef
726d69a
 
 
 
2d15c29
726d69a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
de8c3ef
726d69a
 
de8c3ef
b91b421
 
 
 
 
 
 
 
 
 
 
 
 
 
bbc4271
726d69a
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
import gradio as gr
import torch
import numpy as np
from PIL import Image
from utils_spike import load_vidar_dat  # 假设您有这个函数
import os

# 设置设备
DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu'

import torch
import numpy as np

def compute_motion_map(spike, tau_f, tau_s, U_c, theta, sampling_rate=40000):
    """
    使用 STP 动力学从脉冲数据计算运动图。
    
    参数:
        spike: 形状为 (T, H, W) 的脉冲数据张量(0 或 1)
        tau_f: 易化时间常数(毫秒)
        tau_s: 恢复时间常数(毫秒)
        U_c: 易化参数(0 到 1)
        theta: 运动检测阈值
        sampling_rate: 脉冲数据的采样率(赫兹),默认为 40000 Hz
    
    返回:
        motion_map: 形状为 (H, W) 的 numpy 数组,表示二值运动图
    """
    # 如果 spike 是 numpy 数组,转换为 tensor
    if isinstance(spike, np.ndarray):
        spike = torch.from_numpy(spike).float().to(DEVICE)
    else:
        spike = spike.float().to(DEVICE)
    
    # 时间步长(秒)
    delta_t = 1 / sampling_rate  # 例如 1/40000 秒
    # 将时间常数从毫秒转换为秒
    tau_f = tau_f / 1000  # 毫秒 -> 秒
    tau_s = tau_s / 1000  # 毫秒 -> 秒
    
    # 在循环外计算指数衰减因子
    exp_f = torch.exp(torch.tensor(-delta_t / tau_f, device=DEVICE))
    exp_s = torch.exp(torch.tensor(-delta_t / tau_s, device=DEVICE))
    
    T, H, W = spike.shape
    # 初始化 STP 变量 R(资源)和 u(利用率)
    R = torch.ones((T, H, W), device=DEVICE)  # R 初始为 1
    u = U_c * torch.ones((T, H, W), device=DEVICE)  # u 初始为 U_c
    
    # 计算随时间变化的 STP 动力学
    for n in range(1, T):
        # 脉冲间指数衰减
        u_decay = u[n-1] * exp_f
        R_decay = 1 + (R[n-1] - 1) * exp_s
        
        # 当前时间步的脉冲更新
        spike_n = spike[n]
        u[n] = u_decay + spike_n * U_c * (1 - u_decay)  # 易化更新
        R[n] = R_decay * (1 - spike_n * u[n])  # 资源消耗
    
    # 在中心时间步计算运动掩码
    central_index = T // 2
    R_diff = torch.abs(R[central_index] - R[central_index - 1])
    M = (R_diff >= theta).float()  # 二值掩码:运动区域为 1
    print(M.max())
    print(M.min())
    # 转换为图像格式 (0-255)
    motion_map = (M * 255).cpu().numpy().astype(np.uint8)
    return motion_map

# Gradio 接口
with gr.Blocks() as demo:
    # 标题和描述
    gr.Markdown("# 运动图预测")
    gr.Markdown(
        "上传包含脉冲数据的 `.dat` 文件,并调整超参数以预测运动物体的运动图。"
    )
    
    # 输入和输出布局
    with gr.Row():
        input_dat = gr.File(label="输入 Dat 文件")
        output_motion_map = gr.Image(label="运动图")
    
    # 超参数滑块
    with gr.Row():
        tau_f = gr.Slider(
            minimum=10, maximum=1000, value=100, step=10,
            label="τ_f (ms): 易化时间常数"
        )
        tau_s = gr.Slider(
            minimum=10, maximum=1000, value=100, step=10,
            label="τ_s (ms): 恢复时间常数"
        )
        U_c = gr.Slider(
            minimum=0.1, maximum=0.9, value=0.5, step=0.05,
            label="U_c: 易化参数"
        )
        theta = gr.Slider(
            minimum=0.01, maximum=0.5, value=0.1, step=0.01,
            label="θ: 运动检测阈值"
        )
    
    # 提交按钮
    submit = gr.Button(value="提交")
    
    def on_submit(dat_path, tau_f, tau_s, U_c, theta):
        """
        处理上传的 dat 文件并返回运动图。
        
        参数:
            dat_path: 上传的 .dat 文件路径
            tau_f, tau_s, U_c, theta: 滑块中的超参数
        
        返回:
            运动图的 PIL 图像
        """
        # 加载脉冲数据(假设从参考代码中获取固定大小)
        spike = load_vidar_dat(dat_path, width=400, height=250)
        # 计算运动图
        motion_map = compute_motion_map(spike, tau_f, tau_s, U_c, theta)
        # 转换为 PIL 图像以供 Gradio 使用
        return Image.fromarray(motion_map)
    
    # 连接提交按钮到函数
    submit.click(
        fn=on_submit,
        inputs=[input_dat, tau_f, tau_s, U_c, theta],
        outputs=[output_motion_map]
    )
    example_dir = "assets/examples"  # 示例文件目录   
    if os.path.exists(example_dir): 
        example_files = sorted(os.listdir(example_dir))      
        example_files = [os.path.join(example_dir, filename) for filename in example_files if filename.endswith(".dat")]    
    else:         
        example_files = []   
        # 添加 gr.Examples 组件    
    examples = gr.Examples(       
        examples=example_files,    
        inputs=[input_dat],  # 选中示例时自动填入 input_dat     
        outputs=[output_motion_map],  # 输出运动图     
        fn=on_submit,  # 调用 on_submit 函数      
        cache_examples=False  # 禁用缓存,确保加载最新文件    
    )  

if __name__ == "__main__":
    demo.queue().launch()