Hugging Face's logo

Spaces:
qgyd2021
/
cc_denoise
Running

App Files Community
cc_denoise
File size: 3,201 Bytes 
1af34cd
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
 
---
title: NX Denoise
emoji: 🐢
colorFrom: purple
colorTo: blue
sdk: docker
pinned: false
license: apache-2.0
---

Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
## NX Denoise


### datasets

```text

AISHELL (15G)
https://openslr.trmal.net/resources/33/

AISHELL-3 (19G)
http://www.openslr.org/93/

DNS3
https://github.com/microsoft/DNS-Challenge/blob/master/download-dns-challenge-3.sh
噪音数据来源于 DEMAND, FreeSound, AudioSet. 

MS-SNSD
https://github.com/microsoft/MS-SNSD
噪音数据来源于 DEMAND, FreeSound. 

MUSAN
https://www.openslr.org/17/
其中包含 music, noise, speech. 
music 是一些纯音乐, noise 包含 free-sound, sound-bible, sound-bible部分也许可以做为补充部分. 
总的来说, 有用的不部不多, 可能噪音数据仍然需要自己收集为主, 更加可靠. 

CHiME-4
https://www.chimechallenge.org/challenges/chime4/download.html

freesound
https://freesound.org/

AudioSet
https://research.google.com/audioset/index.html
```


### ### 创建训练容器

```text
在容器中训练模型，需要能够从容器中访问到 GPU，参考：
https://hub.docker.com/r/ollama/ollama

docker run -itd \
--name nx_denoise \
--network host \
--gpus all \
--privileged \
--ipc=host \
-v /data/tianxing/HuggingDatasets/nx_noise/data:/data/tianxing/HuggingDatasets/nx_noise/data \
-v /data/tianxing/PycharmProjects/nx_denoise:/data/tianxing/PycharmProjects/nx_denoise \
python:3.12


查看GPU
nvidia-smi
watch -n 1 -d nvidia-smi


```

```text
在容器中访问 GPU

参考：
https://blog.csdn.net/footless_bird/article/details/136291344
步骤：
# 安装 
yum install -y nvidia-container-toolkit

# 编辑文件 /etc/docker/daemon.json
cat /etc/docker/daemon.json
{
    "data-root": "/data/lib/docker",
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    },
    "registry-mirrors": [
        "https://docker.m.daocloud.io", 
        "https://dockerproxy.com", 
        "https://docker.mirrors.ustc.edu.cn", 
        "https://docker.nju.edu.cn"
    ]
}

# 重启 docker
systemctl restart docker
systemctl daemon-reload

# 测试容器内能否访问 GPU. 
docker run --gpus all python:3.12-slim nvidia-smi

# 通过这种方式启动容器, 在容器中, 可以查看到 GPU. 但是容器中没有 GPU驱动 nvidia-smi 不工作. 
docker run -it --privileged python:3.12-slim /bin/bash
apt update
apt install -y pciutils
lspci | grep -i nvidia
#00:08.0 3D controller: NVIDIA Corporation TU104GL [Tesla T4] (rev a1)

# 网上看的是这种启动容器的方式, 但是进去后仍然是 nvidia-smi 不工作.
docker run \
--device /dev/nvidia0:/dev/nvidia0 \
--device /dev/nvidiactl:/dev/nvidiactl \
--device /dev/nvidia-uvm:/dev/nvidia-uvm \
-v /usr/local/nvidia:/usr/local/nvidia \
-it --privileged python:3.12-slim /bin/bash


# 这种方式进入容器, nvidia-smi 可以工作. 应该关键是 --gpus all 参数. 
docker run -itd --gpus all --name open_unsloth python:3.12-slim /bin/bash
docker run -itd --gpus all --name Qwen2-7B-Instruct python:3.12-slim /bin/bash

```