Bio_ClinicalBERT-finetuned-medicalcondition

Este modelo é uma versão ajustada finamente do emilyalsentzer/Bio_ClinicalBERT no conjunto de dados None. Ele alcança os seguintes resultados no conjunto de avaliação:

• Perda: 0.7201
• Pontuação F1: 0.8254

Descrição do Modelo

Mais informações são necessárias.

Usos Pretendidos e Limitações

Mais informações são necessárias.

Dados de Treinamento e Avaliação

Mais informações são necessárias.

Procedimento de Treinamento

Hiperparâmetros de Treinamento

Os seguintes hiperparâmetros foram usados durante o treinamento:

• Taxa de Aprendizado: 2e-05
• Tamanho do Lote de Treinamento: 64
• Tamanho do Lote de Avaliação: 64
• Semente: 42
• Otimizador: Adam com betas=(0.9,0.999) e epsilon=1e-08
• Tipo de Agendador de Taxa de Aprendizado: linear
• Número de Épocas: 10
• Treinamento de Precisão Mista: AMP Nativo

Resultados do Treinamento

Perda de Treinamento	Época	Passo	Perda de Validação	Pontuação F1
0.8002	1.0	1772	0.6327	0.7759
0.5933	2.0	3544	0.5906	0.7934
0.5015	3.0	5316	0.5768	0.8033
0.4265	4.0	7088	0.5792	0.8099
0.3698	5.0	8860	0.6030	0.8109
0.3229	6.0	10632	0.6366	0.8167
0.2907	7.0	12404	0.6671	0.8198
0.2649	8.0	14176	0.6850	0.8237
0.2477	9.0	15948	0.7072	0.8247
0.2348	10.0	17720	0.7201	0.8254

Versões do Framework

• Transformers 4.25.1
• Pytorch 1.13.1+cu116
• Datasets 2.8.0
• Tokenizers 0.13.2