Uploaded model
- Developed by: ikedachin
- License: apache-2.0
- Finetuned from model : llm-jp/llm-jp-3-13b
This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.
2024年の9月、10月のニュース情報をもとにしたデータセットを使って継続事前学習をしたモデル。
使用したデータ
ikedachin/CC-news-2024-October-cleaned-1204
kajuma/CC-news-2024-July-October-cleanedを元に、9月、10月のニュースのみを抜き出したデータセット。
想定トークン数は1024とし、効率よく学習するために約1000tokensに調整済み（使用tokenizerはllm-jp/llm-jp-3-13b）
Inference Providers
NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API:
The model has no pipeline_tag.