hxger commited on
Commit
32fd9a9
·
verified ·
1 Parent(s): 3ba1470

Upload 4 files

Browse files
Files changed (2) hide show
  1. launch.sh +3 -3
  2. sync_data.sh +29 -5
launch.sh CHANGED
@@ -8,11 +8,11 @@ DATASET_ID=$(printenv DATASET_ID)
8
  SYNC_INTERVAL=$(printenv SYNC_INTERVAL)
9
 
10
  # 如果没有设置用户名和密码,使用默认值
11
- if [[ -z "${USERNAME}" ]]; then
12
  USERNAME="admin"
13
  fi
14
 
15
- if [[ -z "${PASSWORD}" ]]; then
16
  PASSWORD="password"
17
  fi
18
 
@@ -43,7 +43,7 @@ echo "配置文件内容:"
43
  cat ${BASE}/config/config.yaml
44
 
45
  # 启动数据同步服务(如果提供了必要的环境变量)
46
- if [[ ! -z "${HF_TOKEN}" ]] && [[ ! -z "${DATASET_ID}" ]]; then
47
  echo "启动数据同步服务..."
48
  nohup ${BASE}/sync_data.sh > ${BASE}/sync_data.log 2>&1 &
49
  echo "数据同步服务已在后台启动"
 
8
  SYNC_INTERVAL=$(printenv SYNC_INTERVAL)
9
 
10
  # 如果没有设置用户名和密码,使用默认值
11
+ if [ -z "${USERNAME}" ]; then
12
  USERNAME="admin"
13
  fi
14
 
15
+ if [ -z "${PASSWORD}" ]; then
16
  PASSWORD="password"
17
  fi
18
 
 
43
  cat ${BASE}/config/config.yaml
44
 
45
  # 启动数据同步服务(如果提供了必要的环境变量)
46
+ if [ ! -z "${HF_TOKEN}" ] && [ ! -z "${DATASET_ID}" ]; then
47
  echo "启动数据同步服务..."
48
  nohup ${BASE}/sync_data.sh > ${BASE}/sync_data.log 2>&1 &
49
  echo "数据同步服务已在后台启动"
sync_data.sh CHANGED
@@ -83,30 +83,54 @@ else
83
  log_info "HuggingFace API连接测试成功"
84
  fi
85
 
 
 
 
86
  # 测试数据集权限
87
  log_info "正在测试Dataset权限..."
88
  python3 -c "
89
  from huggingface_hub import HfApi
90
  try:
91
  api = HfApi(token='$HF_TOKEN')
92
- # 尝试创建一个测试文件
 
 
 
 
 
 
 
 
93
  api.upload_file(
94
- path_or_fileobj='$TEMP_DIR/test_file' if not open('$TEMP_DIR/test_file', 'w').write('test') else '$TEMP_DIR/test_file',
95
- path_in_repo='test_file_' + '$(date +%s)',
96
  repo_id='$DATASET_ID',
97
  repo_type='dataset'
98
  )
99
  print('成功上传测试文件到Dataset')
 
 
 
 
 
 
 
 
 
 
100
  except Exception as e:
101
- print(f'上传测试文件到Dataset失败: {str(e)}')
102
  exit(1)
103
  "
104
  if [ $? -ne 0 ]; then
105
  log_error "Dataset权限测试失败,请检查DATASET_ID是否正确且有写入权限"
106
  else
107
- log_info "Dataset权限测试成功"
108
  fi
109
 
 
 
 
110
  # 上传备份
111
  upload_backup() {
112
  file_path="$1"
 
83
  log_info "HuggingFace API连接测试成功"
84
  fi
85
 
86
+ # 生成唯一的测试文件名
87
+ TEST_FILE_NAME="test_file_$(date +%s)"
88
+
89
  # 测试数据集权限
90
  log_info "正在测试Dataset权限..."
91
  python3 -c "
92
  from huggingface_hub import HfApi
93
  try:
94
  api = HfApi(token='$HF_TOKEN')
95
+
96
+ # 创建本地测试文件
97
+ with open('$TEMP_DIR/test_file', 'w') as f:
98
+ f.write('test')
99
+
100
+ # 上传测试文件
101
+ test_file_name = '$TEST_FILE_NAME'
102
+ print(f'正在上传测试文件: {test_file_name}')
103
+
104
  api.upload_file(
105
+ path_or_fileobj='$TEMP_DIR/test_file',
106
+ path_in_repo=test_file_name,
107
  repo_id='$DATASET_ID',
108
  repo_type='dataset'
109
  )
110
  print('成功上传测试文件到Dataset')
111
+
112
+ # 删除已上传的测试文件
113
+ print('正在删除测试文件...')
114
+ api.delete_file(
115
+ path_in_repo=test_file_name,
116
+ repo_id='$DATASET_ID',
117
+ repo_type='dataset'
118
+ )
119
+ print('已成功删除测试文件')
120
+
121
  except Exception as e:
122
+ print(f'Dataset权限测试失败: {str(e)}')
123
  exit(1)
124
  "
125
  if [ $? -ne 0 ]; then
126
  log_error "Dataset权限测试失败,请检查DATASET_ID是否正确且有写入权限"
127
  else
128
+ log_info "Dataset权限测试成功,测试文件已清理"
129
  fi
130
 
131
+ # 确保本地测试文件被删除
132
+ rm -f "$TEMP_DIR/test_file"
133
+
134
  # 上传备份
135
  upload_backup() {
136
  file_path="$1"