diff --git "a/notebooks/train.ipynb" "b/notebooks/train.ipynb" new file mode 100644--- /dev/null +++ "b/notebooks/train.ipynb" @@ -0,0 +1,21222 @@ +{ + "cells": [ + { + "cell_type": "code", + "execution_count": 2, + "metadata": {}, + "outputs": [], + "source": [ + "import sys\n", + "sys.path.append('../')" + ] + }, + { + "cell_type": "code", + "execution_count": 3, + "metadata": {}, + "outputs": [ + { + "name": "stderr", + "output_type": "stream", + "text": [ + "c:\\Users\\hiroga\\miniconda3\\envs\\chiikawa-yonezu\\Lib\\site-packages\\tqdm\\auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html\n", + " from .autonotebook import tqdm as notebook_tqdm\n" + ] + } + ], + "source": [ + "import datetime\n", + "from pprint import pprint\n", + "from typing import List\n", + "\n", + "import matplotlib.pyplot as plt\n", + "import pandas as pd\n", + "import torch\n", + "from safetensors.torch import save_file\n", + "from torch.utils.data import DataLoader, Dataset\n", + "from transformers import BertTokenizer\n", + "\n", + "from utils.ClassifierModel import ClassifierModel" + ] + }, + { + "cell_type": "code", + "execution_count": 4, + "metadata": {}, + "outputs": [], + "source": [ + "class TextDataset(Dataset):\n", + " def __init__(self, csv_file, tokenizer, max_len=20):\n", + " self.dataframe = pd.read_csv(csv_file)\n", + " self.tokenizer = tokenizer\n", + " self.max_len = max_len\n", + "\n", + " def __len__(self):\n", + " return len(self.dataframe)\n", + "\n", + " def __getitem__(self, idx):\n", + " text = self.dataframe.iloc[idx, 0]\n", + " label = 0 if self.dataframe.iloc[idx, 1] == 'ちいかわ' else 1\n", + " inputs = self.tokenizer.encode_plus(\n", + " text,\n", + " add_special_tokens=True,\n", + " max_length=self.max_len,\n", + " pad_to_max_length=True,\n", + " return_attention_mask=True,\n", + " return_tensors='pt'\n", + " )\n", + " input_ids = inputs['input_ids'].flatten()\n", + " attention_mask = inputs['attention_mask'].flatten()\n", + " return input_ids, attention_mask, label" + ] + }, + { + "cell_type": "code", + "execution_count": 5, + "metadata": {}, + "outputs": [], + "source": [ + "def labels_to_nihongos(labels: List[int]) -> List[str]:\n", + " return ['ちいかわ' if label == 0 else '米津玄師' for label in labels]\n", + "\n", + "def outputs_to_nihongos(outputs: torch.Tensor) -> List[str]:\n", + " return ['ちいかわ' if output[0] > output[1] else '米津玄師' for output in outputs]" + ] + }, + { + "cell_type": "code", + "execution_count": 6, + "metadata": {}, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "'device: cuda'\n" + ] + } + ], + "source": [ + "is_cuda = torch.cuda.is_available()\n", + "device = torch.device('cuda' if is_cuda else 'cpu')\n", + "pprint(f'device: {device}')" + ] + }, + { + "cell_type": "code", + "execution_count": 7, + "metadata": {}, + "outputs": [], + "source": [ + "def to_device(device, *args):\n", + " return [x.to(device) for x in args]" + ] + }, + { + "cell_type": "code", + "execution_count": 8, + "metadata": {}, + "outputs": [ + { + "name": "stderr", + "output_type": "stream", + "text": [ + "The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization. \n", + "The tokenizer class you load from this checkpoint is 'BertJapaneseTokenizer'. \n", + "The class this function is called from is 'BertTokenizer'.\n" + ] + } + ], + "source": [ + "tokenizer = BertTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')\n", + "train_dataset = TextDataset('../data/data_preprocessed_train.csv', tokenizer, 20)\n", + "train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)\n", + "test_dataset = TextDataset('../data/data_preprocessed_test.csv', tokenizer, 20)\n", + "test_loader = DataLoader(test_dataset, batch_size=32, shuffle=True)" + ] + }, + { + "cell_type": "code", + "execution_count": 9, + "metadata": {}, + "outputs": [ + { + "name": "stderr", + "output_type": "stream", + "text": [ + "Truncation was not explicitly activated but `max_length` is provided a specific value, please use `truncation=True` to explicitly truncate examples to max length. Defaulting to 'longest_first' truncation strategy. If you encode pairs of sequences (GLUE-style) with the tokenizer you can select this strategy more precisely by providing a specific strategy to `truncation`.\n", + "c:\\Users\\hiroga\\miniconda3\\envs\\chiikawa-yonezu\\Lib\\site-packages\\transformers\\tokenization_utils_base.py:2618: FutureWarning: The `pad_to_max_length` argument is deprecated and will be removed in a future version, use `padding=True` or `padding='longest'` to pad to the longest sequence in the batch, or use `padding='max_length'` to pad to a max length. In this case, you can give a specific length with `max_length` (e.g. `max_length=45`) or leave max_length to None to pad to the maximal input size of the model (e.g. 512 for Bert).\n", + " warnings.warn(\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5309, 0.2766], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4974, 0.3998], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5252, 0.6260], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5027, 0.2697], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.8222, 0.2970], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7569, 0.4962], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6752, 0.3011], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.8031, 0.4092], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7455, 0.3404], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5437, 0.3977], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.8326083421707153'\n", + "[('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4583, 0.1022], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3605, -0.0706], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2594, -0.0459], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5064, 0.1257], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0970, -0.1891], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3382, -0.1376], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3102, -0.1301], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3388, -0.1824], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5141, 0.0720], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 袖 が 触 ���てしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5358, -0.0987], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6671, 0.0302], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3021, 0.0189], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2990, -0.1474], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1442, -0.0709], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4380, -0.0260], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1346, -0.1152], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6467, 0.0505], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4615, 0.2854], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5125, 0.1535], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4675, -0.0594], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5155, 0.3407], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4871, 0.2391], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5426, -0.1026], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0808, 0.2762], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6797, 0.0265], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4186, 0.2310], device='cuda:0'),\n", + " '��津玄師'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2648, -0.1545], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5843, 0.1255], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4959, 0.0658], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3103, 0.0404], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1986, -0.0473], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3427, -0.1389], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4363, 0.1316], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3149, 0.1279], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3030, 0.0562], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6262, -0.1481], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3149, 0.1279], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4271, -0.1199], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5090, -0.2106], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4180, 0.1484], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.7932360470294952'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2500, -0.2816], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4823, 0.0729], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1271, -0.2155], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1144, 0.2501], device='cuda:0', grad_fn=),\n", + " '米津玄��'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6041, -0.1898], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3045, -0.1472], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2406, -0.0403], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4131, -0.0987], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4782, 0.2372], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4794, 0.4789], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.719761073589325'\n", + "[('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1426, -0.1100], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3364, 0.1616], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0659, -0.3729], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1847, -0.3365], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1686, -0.2162], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3969, -0.1972], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4821, -0.3015], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0431, -0.4448], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1584, -0.3174], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4856, -0.1987], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1431, -0.0439], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2098, -0.2213], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3735, -0.0269], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3785, 0.0124], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0949, -0.0949], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3174, -0.1466], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3565, 0.2202], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1038, -0.2501], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1072, -0.1981], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1431, -0.0439], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2673, -0.2656], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1936, -0.1218], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2952, -0.1422], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1936, -0.1800], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1236, -0.0477], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1686, -0.1315], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2941, 0.1180], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4199, -0.2721], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5040, -0.1330], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄���',\n", + " tensor([-0.3201, -0.1392], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1097, -0.3096], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2880, 0.2872], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2707, -0.0173], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1345, -0.3058], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4047, -0.0540], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2678, -0.1751], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2605, -0.1142], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0676, -0.1311], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2160, 0.1643], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0384, -0.3246], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.711557611823082'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3428, -0.0544], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0961, -0.2093], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2330, -0.1155], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1355, -0.1016], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2728, -0.3248], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1152, -0.1287], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4666, -0.3897], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0624, -0.3621], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0283, -0.1966], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0280, -0.3539], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.7116575241088867'\n", + "[('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0795, -0.3580], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1514, -0.3501], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0500, -0.5567], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0257, -0.5111], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0436, -0.2979], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1024, -0.2565], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1108, -0.3314], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3244, -0.3287], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1148, -0.5551], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0194, -0.1028], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0174, -0.2422], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1843, -0.4098], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0916, -0.4268], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1312, -0.2692], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1139, -0.0223], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1818, -0.6697], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1245, -0.3696], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2400, -0.5610], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0501, -0.4828], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2919, -0.3924], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1776, -0.5421], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1457, -0.2824], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0955, -0.5713], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2734, -0.5230], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2757, -0.1983], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0669, -0.5485], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2069, -0.4529], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0586, -0.2456], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1205, -0.4064], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0292, -0.2027], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2827, -0.5009], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0278, -0.4419], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0586, -0.2456], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1205, -0.4744], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0929, -0.3711], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0242, -0.5598], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0665, -0.1959], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0506, -0.3856], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1799, -0.1863], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0383, -0.4102], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.6440193504095078'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0768, -0.3874], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0779, -0.4447], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2908, -0.2407], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1943, -0.3707], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0827, -0.4530], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0699, -0.2343], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0525, -0.2937], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0163, -0.6930], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3159, -0.3718], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0801, -0.2989], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.7005507946014404'\n", + "[('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0369, -0.3422], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1286, -0.3076], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0272, -0.5338], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1203, -0.2386], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0126, -0.0391], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2131, -0.2809], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きっと 僕 らはふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1062, -0.4103], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2079, -0.3937], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2012, -0.4162], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0157, -0.4622], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0297, -0.4490], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2596, -0.3344], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0387, -0.5146], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2427, -0.3449], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2654, -0.3691], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0518, -0.2008], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0733, -0.4738], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0706, -0.1170], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0602, -0.0620], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2178, -0.4736], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1505, -0.2869], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0242, -0.2112], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0703, -0.1661], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0242, -0.2112], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0355, -0.3786], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1219, -0.2586], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1058, -0.0690], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0491, 0.0002], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1548, -0.4486], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0556, -0.4656], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2458, -0.1843], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2669, -0.4528], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5140, -0.1328], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1684, -0.3823], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2300, -0.4017], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2487, -0.3765], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0242, -0.2112], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2010, -0.1943], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2263, -0.3289], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1971, -0.0187], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.6389140337705612'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0147, -0.3010], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0646, -0.1955], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0657, -0.4233], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1606, -0.4282], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0551, -0.2974], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1337, -0.3671], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3150, -0.2679], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1987, -0.4514], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([0.0417, 0.0178], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1443, -0.1550], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.6795885562896729'\n", + "[('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4158, -0.3806], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0852, -0.3289], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0021, -0.5046], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0914, -0.2281], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1502, -0.2087], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0093, -0.3632], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.1702, 0.0252], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0096, -0.1774], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1463, -0.4188], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1690, -0.0906], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1307, -0.1318], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2816, -0.2125], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2744, -0.2526], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1572, -0.2163], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1661, -0.3812], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1995, -0.2323], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4669, -0.1863], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3068, -0.3184], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3994, -0.2376], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0415, -0.0508], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0382, -0.3382], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3293, -0.3053], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2698, -0.4216], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1853, 0.0490], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2309, -0.2119], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0096, -0.1774], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0264, -0.3929], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0692, -0.2034], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2037, -0.2550], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3299, -0.3898], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3082, -0.1218], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0985, -0.3684], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0946, -0.1832], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1221, -0.1826], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3156, -0.3296], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1109, -0.3531], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1744, -0.2618], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1291, -0.0457], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2209, 0.0052], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3096, -0.2845], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.6395807862281799'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1701, -0.0453], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1405, -0.1372], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0987, -0.2035], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0092, -0.1275], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0394, -0.1896], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1152, -0.4054], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2438, -0.0780], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0118, -0.2012], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0194, -0.1071], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0718, -0.3225], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.6405192017555237'\n", + "[('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3733, -0.2799], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2223, -0.3590], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1250, -0.6067], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0513, -0.3798], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0906, -0.2776], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1881, -0.4436], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2395, -0.4893], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1630, -0.4982], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1481, -0.5884], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0241, -0.2806], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2024, -0.3459], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0826, -0.5291], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0906, -0.2776], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2862, -0.3189], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3432, -0.1309], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0874, -0.2873], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0387, -0.3202], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2549, -0.1257], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2451, -0.3895], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1568, -0.4448], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0096, -0.4237], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0159, -0.5170], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0158, -0.0646], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3591, -0.3253], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0887, -0.3700], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1275, -0.6033], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1654, -0.2612], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2244, -0.4943], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1881, -0.6761], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0805, -0.6996], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0357, -0.2837], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0056, -0.1692], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0676, -0.4869], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1308, -0.5696], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0906, -0.2776], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0392, -0.4461], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2726, -0.4876], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0880, -0.3494], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0977, -0.5057], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0906, -0.2776], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.6140540093183517'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1455, -0.2555], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0996, -0.1164], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1831, -0.2570], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1457, -0.4136], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1140, -0.4134], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2906, -0.0682], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0486, -0.2234], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1458, -0.3156], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0265, -0.3882], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1879, -0.2528], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.6412622928619385'\n", + "[('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2572, -0.5032], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3317, -0.3879], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0317, -0.4323], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2144, -0.4869], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2169, -0.5378], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4469, -0.2063], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1360, -0.6239], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2382, -0.4532], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0905, -0.3031], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0912, -0.5978], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1149, -0.2491], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1091, -0.3762], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3594, -0.2776], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1296, -0.1584], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1171, -0.1912], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1403, -0.2549], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3483, -0.0324], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4044, -0.3920], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4358, -0.2485], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1302, -0.4654], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2511, -0.4662], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6412, -0.0057], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0357, -0.3053], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0266, -0.4731], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0252, -0.2571], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0630, -0.2500], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2408, -0.2736], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1075, -0.4229], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1411, -0.3879], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1439, -0.0718], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0630, -0.2500], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0325, -0.5003], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1358, -0.2388], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0961, -0.5364], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1643, -0.2093], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1851, -0.3219], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0446, -0.0963], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0448, -0.3501], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0359, -0.4495], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0519, -0.3445], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.6080934852361679'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3292, -0.2447], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2833, -0.1684], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7366, -0.0041], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0174, -0.3416], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1721, -0.3096], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2257, -0.3587], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2009, -0.2380], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1737, -0.1663], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1466, -0.2410], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3869, -0.3678], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.6946306228637695'\n", + "[('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1126, -0.1874], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1461, -0.0532], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3763, -0.0548], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5844, -0.0501], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7100, 0.0568], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.1471, 0.0817], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5317, 0.0725], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0895, -0.1936], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5335, 0.0066], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1463, -0.2940], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3940, -0.0434], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9036, 0.2568], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2518, 0.1147], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0784, -0.0652], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1476, -0.3880], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4714, -0.1603], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7123, -0.0713], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1553, -0.0317], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4179, -0.1855], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1190, -0.0153], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3694, -0.0053], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2540, -0.0084], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1553, -0.0317], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1728, 0.1211], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0586, -0.1912], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1482, -0.0644], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1553, -0.0317], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3607, -0.1245], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6564, -0.0356], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5097, 0.1435], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3196, 0.0113], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0161, -0.3947], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3128, -0.0622], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1556, -0.0431], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5581, -0.0670], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1912, -0.1141], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3394, 0.2031], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1553, -0.0317], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0868, 0.2968], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1039, -0.3840], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.6701547801494598'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3052, -0.0930], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5540, 0.0850], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2532, -0.2560], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4509, 0.1499], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6136, 0.2552], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0724, -0.2521], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1624, -0.2007], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2366, -0.1841], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3205, -0.0237], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1252, -0.2515], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.6318597793579102'\n", + "[('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1431, -0.1616], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1995, 0.1506], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6178, -0.0665], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3018, -0.0397], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4388, -0.1553], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0809, -0.2522], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([0.0052, 0.2048], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6283, 0.0321], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0722, -0.1148], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1455, -0.3185], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3980, -0.2036], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3409, 0.0813], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1885, 0.1876], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1549, -0.2040], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4380, 0.0718], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1264, -0.3414], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2782, -0.2071], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3537, -0.1102], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3775, -0.1777], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0796, -0.1684], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0089, -0.4978], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6148, 0.1408], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1231, -0.3234], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0722, -0.1148], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0918, -0.2008], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0886, -0.1214], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4430, 0.0077], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0056, -0.1954], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1739, 0.0368], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1414, -0.2779], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0218, -0.2686], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2339, 0.0977], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0267, -0.1075], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1009, -0.2530], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0781, -0.3990], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4261, -0.0168], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3089, -0.5863], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4577, 0.0277], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3069, -0.1293], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4626, -0.0643], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.6290217041969299'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1456, -0.4295], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1286, -0.3867], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0626, -0.4876], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1013, -0.0898], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2149, -0.3009], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2121, -0.2566], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4492, 0.0121], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4697, 0.0147], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2721, -0.1182], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2404, -0.3700], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.6313368678092957'\n", + "[('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4786, -0.1176], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0798, -0.3494], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3035, -0.1318], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1464, -0.2540], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2959, -0.1470], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1045, -0.2915], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1264, -0.5667], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0286, -0.4926], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2902, -0.3038], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0495, -0.3549], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1045, -0.2915], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3413, -0.5873], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0305, -0.3352], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0296, -0.5624], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1855, -0.4179], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0438, -0.0050], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1252, -0.3601], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1616, -0.2695], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0548, -0.3405], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2405, -0.2733], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0449, -0.5369], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0503, -0.3983], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2579, -0.3437], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1933, -0.4765], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1051, -0.3913], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3227, -0.4363], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1218, -0.3211], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2239, -0.3125], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0285, -0.4673], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1154, -0.3634], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3300, -0.1970], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0214, -0.1156], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0444, -0.4410], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きっと 僕 らはふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1570, -0.3594], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0610, -0.3536], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2065, -0.3023], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1834, -0.4988], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2076, -0.2564], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4154, 0.0348], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1458, -0.3754], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.578799769282341'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3227, -0.5231], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1190, -0.4225], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1232, -0.1743], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0239, -0.2333], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3926, 0.1010], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1795, -0.5028], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1795, -0.2340], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2583, -0.4544], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4448, -0.6365], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0185, -0.3029], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5885792374610901'\n", + "[('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0192, -0.4780], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1625, -0.2749], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1027, -0.3153], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2220, -0.5052], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4377, -0.3367], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2702, -0.0960], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1370, -0.3240], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3757, -0.6217], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2427, -0.1308], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1370, -0.3240], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3523, -0.2729], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0298, -0.0190], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4305, 0.0498], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2157, -0.0369], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3180, -0.1120], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3904, -0.3293], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0565, -0.3618], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1500, -0.5903], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1537, -0.1878], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1246, -0.3607], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2870, -0.3071], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2002, -0.3900], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4817, -0.1145], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0590, -0.3637], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2286, -0.3266], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2311, -0.4007], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1762, -0.4272], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3774, -0.2571], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0309, -0.4176], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0883, -0.5665], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3966, -0.1678], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1370, -0.3240], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0070, -0.1301], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1009, -0.2997], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0458, -0.2219], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0495, -0.4342], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5055, -0.5757], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3412, -0.1858], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0756, -0.1401], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2106, -0.5260], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.5687256753444672'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2189, -0.4624], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0005, -0.3457], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0879, -0.5022], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1532, -0.4350], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3720, -0.5619], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1568, -0.2395], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0600, -0.6104], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0659, -0.1971], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3734, -0.2038], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1420, -0.1808], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.6782193779945374'\n", + "[('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3542, -0.2492], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2020, 0.1532], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3107, -0.1745], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4174, -0.1378], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0779, -0.1737], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0004, -0.2323], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4873, -0.2041], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6041, -0.1702], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7189, -0.0647], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6675, -0.0169], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1459, -0.2963], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3790, -0.0850], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0345, -0.2243], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0140, -0.1730], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0883, -0.4446], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1550, -0.5658], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2042, 0.0680], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1326, -0.2522], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4002, 0.1476], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0907, -0.2019], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5448, -0.0803], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2146, -0.2708], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0852, -0.1739], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5047, 0.0694], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2042, -0.2443], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4480, -0.1537], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0098, -0.2578], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.0477, 0.1478], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1486, -0.3985], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0140, -0.1730], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5683, -0.0687], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2183, -0.1958], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1698, -0.2690], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1357, -0.2725], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0483, -0.5550], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0140, -0.1730], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4980, 0.0680], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2965, -0.1039], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6691, 0.0729], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2431, 0.0274], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.601177841424942'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3396, -0.2896], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2790, -0.1212], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5129, -0.2098], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1075, -0.2480], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1180, -0.1349], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2212, -0.3375], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0940, -0.2450], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1659, -0.1969], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3037, -0.1003], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4546, -0.1988], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.6010196208953857'\n", + "[('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2904, 0.1542], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0201, -0.0127], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0264, -0.2736], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2745, -0.2762], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1065, -0.0805], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0916, -0.3067], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2781, -0.1607], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3192, -0.0950], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5173, -0.0379], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7748, 0.0904], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2671, 0.1301], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1602, -0.3156], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4283, -0.3518], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0078, -0.0965], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5930, -0.0984], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5186, 0.2660], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4686, 0.0325], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0018, -0.3227], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4370, 0.0955], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1929, -0.0997], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2492, -0.1069], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0716, 0.2816], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1731, 0.0389], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1065, -0.0805], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4384, -0.0828], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1574, -0.2710], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2899, 0.2411], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7428, 0.3622], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2624, -0.3646], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2647, -0.0436], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1047, -0.0947], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0632, -0.4724], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2153, -0.2435], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2276, 0.2268], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2524, -0.1940], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5683, -0.0258], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1098, -0.3305], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4456, -0.1578], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4056, 0.1177], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1486, -0.3946], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.6297121345996857'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5271, -0.0575], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0030, -0.4171], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2320, -0.4089], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3674, 0.0244], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1041, -0.0731], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.1387, 0.0363], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0878, -0.2370], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2436, -0.2569], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0737, -0.2914], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3279, 0.1196], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.6223211288452148'\n", + "[('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6132, 0.1192], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1957, -0.1126], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1406, -0.1520], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0795, -0.4147], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4409, -0.1908], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0363, -0.0690], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4039, -0.0601], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1139, -0.0203], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3646, -0.4156], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5192, -0.0749], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2152, 0.0782], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2530, -0.2324], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0456, -0.1414], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3563, -0.4585], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1054, -0.2535], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5617, 0.1316], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0236, 0.3767], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0876, -0.1834], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2258, 0.1770], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1415, -0.1447], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4626, 0.2030], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.2201, 0.0087], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1064, -0.0923], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2474, -0.3610], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0634, -0.4245], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5066, 0.1331], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0130, 0.2230], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1086, -0.3554], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1549, -0.2917], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0456, -0.1414], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4650, -0.0902], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.0035, 0.1920], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4124, -0.0238], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2260, -0.2128], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3510, 0.0631], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0456, -0.1414], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0229, -0.2954], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0032, -0.0485], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1532, 0.1523], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2104, -0.1646], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.598446324467659'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2900, -0.1862], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3825, 0.2993], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0837, -0.1282], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1286, -0.1005], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1039, -0.1622], device='cuda:0', grad_fn=),\n", + " 'ちい��わ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5120, 0.1619], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.0151, 0.0098], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3337, 0.0655], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6396, 0.1977], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0680, -0.2849], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5827889442443848'\n", + "[('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5843, 0.1250], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0578, -0.0905], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1926, -0.4076], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0613, -0.2977], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2475, -0.1666], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0746, -0.3213], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7303, 0.0771], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0721, -0.1904], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2124, -0.6233], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3697, -0.2338], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0709, -0.3028], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0188, -0.1623], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きっと 僕 らはふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3908, -0.1257], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄���',\n", + " tensor([-1.0244, 0.3775], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0528, -0.2426], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([0.0131, 0.1969], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1456, -0.2105], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1931, -0.3298], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0839, -0.1148], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5897, 0.0627], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1823, -0.1927], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4526, 0.1930], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7208, 0.0365], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1041, -0.6108], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2419, -0.4133], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0144, -0.1726], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1461, -0.4010], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1749, -0.2444], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0449, -0.3174], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0144, -0.1726], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4720, 0.1058], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1528, -0.1555], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0144, -0.1726], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2203, 0.0046], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1268, -0.2226], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4286, -0.7061], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2083, -0.4782], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7536, 0.2795], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0144, -0.1726], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6099, -0.0246], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.5826660394668579'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4696, 0.1389], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6540, 0.2274], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4151, 0.1468], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2074, 0.1259], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0435, -0.2721], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5102, 0.0941], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2185, 0.0260], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4063, 0.1032], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4788, -0.0533], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1502, -0.1421], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5926393270492554'\n", + "[('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津���師',\n", + " tensor([-0.1299, -0.3089], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-4.0085e-05, -1.9869e-01], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0297, -0.4884], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2836, -0.4987], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0683, -0.2553], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3469, -0.2848], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0281, -0.5039], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0910, -0.2904], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0074, -0.2199], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3847, 0.1252], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3627, -0.1925], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0881, -0.3584], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1641, -0.6997], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3279, -0.0991], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0061, -0.3892], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5352, 0.0412], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0245, -0.3292], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0168, 0.0160], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0829, -0.3328], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3025, -0.1349], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6290, 0.2483], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1893, -0.4894], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3452, -0.5165], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1483, -0.3381], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0683, -0.2553], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0652, -0.2402], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4691, -0.2223], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0832, -0.3528], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5182, -0.6204], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2351, -0.0529], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9680, 0.3211], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0946, -0.5349], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2891, -0.0524], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3988, -0.2028], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1127, -0.2562], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1907, -0.4387], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5124, 0.0531], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1840, -0.4671], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きっと 僕 らはふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3091, -0.2074], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3113, -0.7221], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.5525977611541748'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0374, -0.1441], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3373, 0.0737], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2146, -0.0338], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2965, -0.7429], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0311, -0.3423], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0837, -0.3161], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0332, -0.4608], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2498, -0.0388], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2050, -0.1190], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0672, -0.3597], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.6350995898246765'\n", + "[('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3547, 0.0668], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1960, -0.1579], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0684, -0.3956], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0628, -0.5984], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4068, -0.4770], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4216, -0.5237], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0832, -0.0930], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1070, 0.4601], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0524, -0.2992], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4233, 0.0818], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3947, -0.3855], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4081, -0.0771], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1109, -0.3312], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6515, 0.1245], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0442, -0.2056], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5410, 0.2885], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0141, 0.2096], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7742, 0.0899], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6454, 0.1861], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0591, -0.3591], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2022, -0.4721], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0657, -0.2390], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5546, -0.0395], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0912, -0.3392], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5744, 0.2008], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8240, 0.3499], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6728, 0.0476], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5137, 0.2541], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1559, -0.1367], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5277, -0.0739], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2490, -0.4203], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0539, -0.3370], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1757, -0.3750], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1378, 0.0036], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2510, 0.2022], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0115, -0.1321], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1372, 0.0150], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0729, -0.3049], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1166, -0.0960], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2366, 0.0995], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.5838121026754379'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6753, 0.1183], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4043, 0.0024], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3826, -0.0757], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6388, 0.1759], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0688, -0.3998], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4018, -0.1713], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1481, -0.0709], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3166, -0.1164], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1200, -0.1652], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4925, -0.2172], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.580104410648346'\n", + "[('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2084, -0.0999], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6476, 0.3950], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3454, -0.4157], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1136, -0.0857], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0187, -0.2281], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9600, 0.1764], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.2212, 0.5743], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7252, 0.0800], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2780, -0.0081], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3165, -0.1300], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1459, -0.0302], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1028, -0.0842], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8159, 0.0963], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3627, -0.4648], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3265, 0.1895], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1283, -0.4046], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1266, -0.3965], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7843, 0.0100], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3180, -0.1013], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きっと 僕 らはふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5527, 0.0362], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1232, -0.3172], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2782, -0.1066], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5322, 0.0682], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2303, -0.1258], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8809, 0.1966], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2670, 0.1307], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1002, 0.2956], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0094, -0.0980], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6191, 0.3596], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9110, 0.2189], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2060, -0.0066], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0430, -0.1468], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0317, -0.2893], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2365, -0.3502], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0416, -0.5483], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1215, -0.2583], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0111, -0.2431], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0906, -0.1819], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3890, -0.0251], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1061, -0.1635], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.6094388663768768'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6646, -0.2050], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4521, -0.0962], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2412, -0.6837], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1640, -0.1483], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2231, 0.0221], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3202, 0.2977], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2357, -0.1217], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5767, -0.0128], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1010, -0.3314], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3165, 0.0695], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.6541429758071899'\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1950, -0.3820], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2639, -0.3679], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3144, -0.8500], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0975, -0.2197], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2283, -0.7203], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1952, -0.4083], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3113, -0.6113], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5859, -0.0984], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1950, -0.3820], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1206, -0.5964], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4135, -0.2317], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1801, -0.7130], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2079, -0.6482], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4078, -0.6228], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1639, -0.4263], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2252, -0.2388], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3769, -0.6923], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0920, -0.3221], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3669, 0.1143], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3527, -0.8343], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1361, -0.6240], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1921, -0.4618], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1994, -0.2858], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9345, 0.2877], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2977, -0.5809], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1714, -0.4212], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2304, -0.2070], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1738, -0.4785], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0134, -0.2023], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4237, -0.1948], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4677, -0.7376], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1213, -0.1222], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([0.1974, 0.0126], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4961, -0.2783], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1813, -0.6453], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5941, -0.0021], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0528, -0.3860], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6462, 0.1721], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2834, -0.3352], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1945, -0.6533], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.5174567848443985'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1705, -0.5246], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3606, -0.5318], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0795, -0.2855], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1684, -0.3164], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0748, -0.2409], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3214, -0.0633], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4513, -0.1407], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0897, -0.3489], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1330, -0.4694], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4751, -0.0260], device='cuda:0', grad_fn=),\n", + " '���津玄師')]\n", + "'train_loss: 0.621995747089386'\n", + "[('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6095, 0.0826], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0855, -0.2291], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1335, -0.2258], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1644, -0.4112], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7512, 0.0981], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1554, -0.0322], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1184, -0.2355], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6300, 0.0048], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2063, -0.2791], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1819, -0.4820], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0740, -0.0603], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0703, -0.4768], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2348, -0.7414], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0797, -0.2129], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7241, -0.0724], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2539, -0.5018], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちい���わ',\n", + " tensor([ 0.0733, -0.5136], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0323, -0.0899], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1981, -0.2407], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5546, -0.8321], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3711, -0.0663], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3868, -0.1344], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2301, -0.1840], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0172, -0.4593], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1027, -0.2821], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8131, 0.0295], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1282, -0.1580], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4294, -0.1258], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0736, -0.2606], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3610, -0.1030], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3431, -0.6130], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([0.0746, 0.1354], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3138, -0.4664], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0736, -0.2606], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3489, -0.1364], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3954, -0.2363], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3620, 0.0205], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0620, -0.4886], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0783, -0.5370], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5560, -0.0892], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.5401197671890259'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3036, -0.6205], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3446, -0.4513], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3750, -0.3769], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3915, 0.1431], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3232, -0.0941], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3723, -0.4140], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0212, -0.4774], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2707, -0.6664], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0184, -0.6172], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2472, -0.3318], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5660238265991211'\n", + "[('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4351, -0.7050], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5882, 0.0942], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0733, -0.2129], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0386, 0.3917], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1370, -0.4066], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2238, -0.4136], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0540, -0.2999], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2406, -0.4874], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2932, -0.1921], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6351, -0.0845], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([0.1438, 0.0662], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2600, -0.5600], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0265, -0.2391], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2088, -0.3011], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.1302, 0.0652], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3667, -0.5818], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1499, -0.5902], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2386, -0.5218], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0156, -0.1187], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1446, -0.6086], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0892, -0.3573], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3678, -0.0633], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1171, -0.2932], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5611, 0.1018], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2540, -0.1207], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5369, -0.6505], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5824, -0.0427], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4981, -0.1933], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3113, -0.1261], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6977, 0.0445], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3058, -0.0357], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2977, -0.1663], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1352, -0.5304], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1480, -0.3350], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1562, -0.3310], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1523, -0.2481], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2584, -0.3101], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2613, -0.3421], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1017, -0.0353], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0942, 0.0454], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.5175736770033836'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0137, -0.3268], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2034, -0.3698], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0075, -0.2456], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3960, 0.1244], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1588, 0.0498], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2120, -0.2692], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1592, -0.4259], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3231, -0.3180], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0076, -0.3546], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3189, -0.1596], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.6342697739601135'\n", + "[('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3312, -0.4235], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0886, -0.2228], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3254, -0.6463], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2349, -0.0395], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4345, -0.6664], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4226, -0.9292], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0257, -0.3119], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3291, -0.2649], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0748, -0.5233], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2586, -0.4456], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1239, -0.1640], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5909, -0.0623], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4712, -0.6862], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3988, -0.4874], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4856, -0.0084], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3887, -0.2566], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2480, -0.7120], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1590, -0.2812], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1248, -0.6755], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1814, -0.1822], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2727, -0.4475], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9433, 0.2964], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1083, -0.2446], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2359, -0.3958], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6336, -0.8796], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5530, -0.8229], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6543, -0.7680], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2586, -0.4456], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4243, -0.0186], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2749, -0.7337], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0401, -0.3602], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0474, -0.3527], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0353, -0.4501], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4632, -0.5590], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2586, -0.4456], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0793, -0.4543], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4459, -0.7613], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3970, -0.2944], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2542, -0.6132], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7874, -0.8896], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4988454505801201'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2462, -0.4151], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1175, -0.2803], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '��津玄師',\n", + " tensor([-0.0235, -0.3035], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4914, 0.0275], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0582, -0.7357], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1489, -0.3443], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2501, -0.4334], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2263, -0.7589], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4859, 0.0815], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2958, -0.2886], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.5416102409362793'\n", + "[('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2756, -0.5482], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4807, -0.5765], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0594, -0.3647], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1658, -0.2880], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1758, -0.3094], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2916, -0.4786], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5007, -0.7158], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0306, -0.4548], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6337, -0.8051], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3585, -0.5483], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3017, -0.7605], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2160, -0.4157], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2681, -0.7321], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6107, -0.0813], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5789, -0.0173], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0196, -0.0685], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5318, -0.1879], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0306, -0.3698], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2796, -0.4232], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2772, -0.6362], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7776, -1.0551], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2754, -0.7157], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4142, -0.5028], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0133, -0.1503], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3743, -0.6575], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3487, -0.4410], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4295, -0.0134], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6739, -0.7875], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3822, -0.4339], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1465, -0.3452], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2784, -0.8113], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2916, -0.4786], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1744, -0.4827], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2916, -0.4786], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2015, -0.2024], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1515, -0.7021], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1360, -0.6831], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2639, -0.5263], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0312, -0.4076], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2430, -0.0476], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.49355997145175934'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0401, -0.5648], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2766, -0.1607], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0763, -0.4482], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4691, -0.5513], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2718, -0.2662], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2712, -0.2682], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3264, -0.4924], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3201, -0.3329], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2631, -0.6564], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4236, -0.1822], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5854756832122803'\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3040, -0.4910], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0602, -0.5087], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2537, -0.5263], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3040, -0.4910], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1775, -0.4858], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0370, -0.3423], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7875, -1.0650], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2564, -0.2892], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0539, -0.3465], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2723, -0.5770], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6262, 0.2455], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1188, -0.6659], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3495, -0.8415], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1261, -0.3248], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6975, -0.0861], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0131, -0.2007], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2167, -0.4150], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3340, -0.6549], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4285, -0.2629], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3040, -0.4910], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6673, 0.1933], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4081, -0.4967], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1567, -0.7073], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2434, -0.2777], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1557, -0.6315], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4220, 0.0485], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3040, -0.4910], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6737, -0.7873], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5988, -0.0856], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4924, -0.7404], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4763, 0.0170], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0711, -0.3430], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4531, -0.9598], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3935, -0.4452], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3871, -0.6872], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4673, 0.0245], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5673, -0.1524], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5342, -0.6709], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2034, -0.2043], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2280, -0.2094], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.4902804270386696'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1911, -0.3787], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0861, -0.5003], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3385, -0.0430], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1402, -0.4467], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4239, -0.7083], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3422, -0.4235], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3338, -0.6251], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4738, -0.8359], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6650, -1.0491], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6606, 0.1338], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.47843968868255615'\n", + "[('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2685, -0.0731], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2377, -0.5460], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3384, -0.6431], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0825, -0.3878], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6116, -0.0804], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0078, -0.4776], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3179, -0.5875], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3569, -0.8898], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0529, -0.1018], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5659, -0.8139], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0604, -0.3466], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3451, -0.8091], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3977, -0.2392], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0546, -0.4739], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3773, 0.1247], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5280, -0.7600], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3682, -0.5552], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7468, -0.8604], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5490, -0.8645], device='cuda:0'),\n", + " 'ちいか���'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3205, -0.5198], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4039, 0.0303], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5055, 0.0115], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0967, -0.2780], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1476, -0.4402], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9018, -1.0039], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7136, -0.8849], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3090, -0.2850], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3022, 0.0427], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4665, -0.1680], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2318, -0.3233], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1182, -0.4932], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3682, -0.5552], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3486, -0.7076], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9712, 0.3243], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3516, -0.5264], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きっと 僕 らはふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2274, -0.2891], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2615, -0.1696], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2976, -0.4737], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0768, -0.4307], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6047, 0.2240], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.4791819453239441'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7280, -0.9527], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4429, -0.7200], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3917, -0.1590], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0985, -0.1203], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2720, -0.4685], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1341, -0.4332], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0770, -0.7533], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4454, 0.0085], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1732, -0.1209], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6714, 0.0777], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.5392343401908875'\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4288, -0.6158], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4520, -0.1731], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4021, -0.5769], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3485, -0.0816], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4743, -0.6641], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2364, -0.1946], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5451, -0.0511], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4012, -0.7965], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3455, -0.6180], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1798, -0.3414], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3802, 0.0067], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3656, -0.3258], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5496, -1.0852], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4025, -0.7614], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6420, -0.7788], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4288, -0.6158], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1416, -0.2759], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6528, -0.1308], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1453, -0.3187], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2554, -0.3462], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0055, -0.4196], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4443, -0.5366], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4288, -0.6158], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコ���ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7096, -0.9795], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4288, -0.6158], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2156, -0.7627], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9116, -1.1890], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4371, -0.0898], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3787, -0.5223], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4217, -0.0376], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5437, -0.1407], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2332, -0.7091], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2915, -0.5998], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2135, -0.4123], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7974, -1.0433], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0864, -0.1352], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3392, -0.3719], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1541, -0.6322], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1294, -0.3558], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3108, -0.3117], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4747643992304802'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2589, -0.5531], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1824, -0.6724], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3691, -0.0505], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3175, -0.8239], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1312, -0.4493], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0503, -0.3849], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2511, -0.5970], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0490, -0.3439], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0599, -0.5688], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3746, -0.0618], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.5931482315063477'\n", + "[('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6757, -0.0164], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6970, 0.2230], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5727, -0.7095], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4517, -0.2397], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2267, -0.5350], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5236, -0.0033], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0648, -0.5133], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3771, -0.5641], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3093, -0.4528], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5227, -0.1118], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2833, -0.0828], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0493, -0.4361], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2872, -0.1490], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3771, -0.5641], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4495, -0.1874], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2865, -0.2687], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5168, -0.9984], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6294, -0.1670], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4145, -0.9065], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8552, -1.1326], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2837, -0.5533], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0310, -0.3849], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1647, -0.6155], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3282, -0.7922], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3250, -0.6296], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3743, -0.8331], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5585, -0.3297], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3758, -0.4681], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1286, -0.4212], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0238, -0.4431], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2469, -0.2478], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2242, -0.2397], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2365, -0.0411], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5195, -0.7514], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0708, -0.4556], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3571, -0.2370], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5576, -0.8056], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4625, -0.5142], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2227, -0.4725], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6348, -0.0183], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.47487296164035797'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0249, -0.3111], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0446, -0.4731], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1125, -0.3332], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2358, -0.4542], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3735, -0.5076], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1020, -0.2989], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1018, -0.3823], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1902, -0.2243], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5189, -0.6267], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0606, -0.3591], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.6306020617485046'\n", + "[('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6879, -0.7581], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3924, -0.7079], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2280, -0.5112], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2855, -0.0891], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4614, -0.0937], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2029, -0.7357], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8055, 0.1523], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1755, -0.6395], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0463, -0.4024], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0569, -0.6076], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0180, -0.1946], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6488, -0.1256], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2635, -0.7555], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0334, -0.2592], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1084, -0.0259], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3344, -0.4458], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5931, -0.0521], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3629, -0.8696], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6031, 0.1730], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0863, -0.2887], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2180, -0.3103], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1019, -0.2829], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7999, 0.2037], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2196, -0.2658], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1550, 0.1061], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1730, -0.4777], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0985, -0.1172], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1403, -0.0472], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6921, 0.0576], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4513, 0.0851], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1708, -0.3456], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4364, -0.0848], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6431, 0.2696], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1020, -0.1348], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1241, -0.5645], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7963, 0.1119], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1862, -0.5815], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0933, -0.3848], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7018, -0.9792], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5586, -0.7300], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.49950773268938065'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5258, -0.9750], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1853, -0.2994], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2718, -0.1251], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1684, -0.4418], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4909, -0.6391], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4119, -0.6628], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3670, -0.1238], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6777, 0.0904], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0496, -0.0547], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1930, -0.5661], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5463001132011414'\n", + "[('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3847, 0.0186], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2991, -0.4861], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0398, -0.1760], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1278, -0.6784], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1725, -0.2053], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0418, -0.5889], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2714, -0.5087], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6425, -0.8138], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5381, 0.2855], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1709, -0.1717], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2791, -0.6000], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2865, -0.3788], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0688, -0.0682], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7862, 0.0942], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0767, -0.3426], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1635, -0.4361], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4325, -0.5283], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6947, 0.2006], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0750, -0.2789], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0281, -0.4500], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1643, -0.3211], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5787, -0.1127], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0327, -0.4158], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0927, 0.0439], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4518, 0.1922], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2513, -0.5560], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4681, -0.7835], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0761, -0.2101], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4774, -0.6924], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6661, -0.9120], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([0.1787, 0.0312], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7180, -0.0016], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0621, -0.1983], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2060, -0.6481], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7826, 0.4019], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2021, -0.3782], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5433, 0.1133], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2205, -0.1542], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7669, -0.8371], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5826, 0.2091], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.4817430451512337'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0081, -0.4534], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3592, -0.4568], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2933, -0.5648], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2973, -0.4410], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0833, -0.3699], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4185, 0.0399], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5779, 0.1560], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4818, -0.5583], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1754, -0.4956], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1216, -0.4845], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5717723965644836'\n", + "[('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0940, -0.4944], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7366, -0.8733], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6098, 0.1357], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1600, -0.5139], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2035, -0.5882], device='cuda:0'),\n", + " '���いかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0246, -0.4634], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4220, -0.1050], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4761, -0.8350], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5382, -0.7281], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2453, -0.0142], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0599, -1.1621], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6394, -1.1750], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4236, -0.5997], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2182, -0.5932], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4030, -0.0563], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5638, 0.1831], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5105, -0.6975], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5743, -0.1177], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2048, -0.2263], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2955, -0.7714], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2002, -0.6784], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3764, -0.4092], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2928, -0.4290], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4314, -0.6307], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4684, -0.9324], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0056, -0.2824], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4726, -0.0215], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7979, -1.0678], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0011, -1.2785], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1724, -0.3067], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4360, -0.5796], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5105, -0.6975], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5105, -0.6975], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6644, -1.1710], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6950, -1.0104], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4583, -0.7630], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0697, -0.5620], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6917, -0.9068], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4956, -1.0285], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2594, -0.4581], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.46091172099113464'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1435, -0.2693], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0451, -0.4971], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1807, -0.7590], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1178, -0.0953], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6043, -0.6889], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5416, 0.0355], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4961, -0.2910], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3520, -0.5057], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0595, -0.1879], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0706, -0.5084], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.6028014421463013'\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4229, -0.6099], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4546, 0.0246], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5244, 0.0651], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7618, -0.9331], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0992, -0.3396], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0756, 0.4287], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2976, -0.2576], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0590, -0.4264], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7701, -0.0135], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1780, -0.4537], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1844, -0.3066], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8963, -1.1738], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5279, 0.0851], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3530, -0.6577], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3630, -0.5378], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3201, -0.5194], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0376, -0.3916], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4229, -0.6099], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0248, -0.3755], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9653, -1.0675], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0358, -0.3411], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6491, -0.1473], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2817, -0.0717], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5870, -0.8189], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2825, -0.5550], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3800, -0.7753], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5459, 0.0189], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6219, -0.0977], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2355, -0.7862], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0673, -0.3468], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6494, -0.0038], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4493, -0.9413], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3979, -0.9308], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3226, -0.5923], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5821, -0.3533], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4845, -0.2068], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2150, -0.2490], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1626, -0.7096], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3437, -0.2580], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5932, -0.9086], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4631771221756935'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5581, -0.6847], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3567, -0.0504], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4627, -0.8618], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1165, -0.3104], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1865, -0.0885], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8531, -1.2405], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2831, -0.6222], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4324, -0.7380], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9987, -0.9597], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0180, -0.3329], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.4404365122318268'\n", + "[('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5738, -0.6696], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2217, -0.2635], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4449, -0.6319], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0720, -0.4568], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2363, -0.1052], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きっと 僕 らはふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3151, -0.2014], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6132, -0.8282], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3965, -0.7174], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2278, -0.2362], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5981, -0.3692], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3849, -0.8489], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9279, -1.2053], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ち���かわ',\n", + " tensor([-0.1240, -0.1640], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2869, -0.2878], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5064, -0.2679], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4342, -0.2110], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6654, 0.0122], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7503, 0.2762], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2920, -0.0821], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3739, 0.1143], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0334, -0.3387], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1899, -0.3261], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1199, -0.2547], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4806, -0.5692], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0836, -0.5321], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4612, -0.1758], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3831, -0.6878], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2698, -0.1676], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4449, -0.6319], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0284, -0.3824], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6607, -0.0236], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5484, 0.1056], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3042, -0.1320], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4438, -0.6336], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7118, 0.3311], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4449, -0.6319], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3405, -0.7826], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3421, -0.0890], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2635, -0.2963], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1731, -0.4586], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4580559805035591'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2058, -0.1862], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4270, 0.1602], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1014, -0.1387], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6570, 0.1118], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0768, -0.0607], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0304, -0.4619], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0501, -0.2276], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6459, 0.2520], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0036, -0.3854], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7408, 0.2462], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.5197536945343018'\n", + "[('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3192, -0.8699], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2577, -0.7456], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0317, -0.4320], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0688, 0.4219], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4449, -0.7496], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2883, -0.5382], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8656, -1.0370], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5028, 0.0435], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4656, -0.3088], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3936, -0.5697], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0474, -0.4939], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4462, -0.7086], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3055, -0.6616], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0674, -0.1163], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7180, -0.9660], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2390, -0.2822], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4759, -0.8711], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0736, -0.4929], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2888, -0.0934], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2477, -0.3699], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3474, -0.3482], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4585, -0.8174], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2511, -0.3041], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3855, -0.2598], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4930, -0.7761], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0061, -0.4793], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5045, -0.6915], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2099, -0.4225], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0822, -0.3876], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6442, -1.1508], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5381, -0.8382], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8973, -1.0109], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6473, -1.1289], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8863, -1.1323], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4019, -0.8441], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0263, -0.3878], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3921, -0.8324], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5045, -0.6915], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5041, 0.0612], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5498, -0.6384], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.45010413229465485'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0483, -0.1757], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0362, -0.2087], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0088, -0.5582], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2729, -0.4637], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6214, -0.9501], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0265, -0.3092], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2958, -0.3278], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3497, -0.7005], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0963, -0.3076], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3925, -0.8553], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5338209271430969'\n", + "[('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9040, -1.0753], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5216, -0.7086], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5752, -0.8220], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3736, -0.1636], device='cuda:0'),\n", + " 'ち���かわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4523, 0.0788], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3806, -0.6889], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9459, -1.0596], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0201, -0.5055], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0191, -1.0893], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5141, -0.1110], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5961, -0.0571], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7576, -0.8944], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1687, -0.6468], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6934, -0.7893], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4792, 0.0363], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4362, 0.0009], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5216, -0.7086], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0745, -0.4749], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5849, -0.8849], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6979, 0.2238], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4247, -0.6008], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5216, -0.7086], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1648, -0.1767], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3663, -0.2789], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4142, -0.6135], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1965, -0.6451], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2901, -0.7780], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1173, -0.3049], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3049, -0.2892], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2176, -0.3036], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2191, -0.3361], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1275, -0.2617], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0679, -0.3540], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6213, -0.6730], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1998, -0.4156], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1375, -0.3265], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2035, -0.5785], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3155, -0.1200], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6630, -1.1985], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0596, -0.3151], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.447381816804409'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3679, -0.5645], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0276, -0.5043], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([0.1275, 0.0300], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4538, -0.6711], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1481, -0.4074], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6908, 0.0554], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6746, -0.8115], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1728, 0.0885], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4652, -0.5862], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3446, -0.0921], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.4763645827770233'\n", + "[('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5542, -0.0803], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7683, 0.2943], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4257, -0.6881], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0547, -0.1918], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5075, -0.9663], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3729, -0.5164], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1419, 0.4951], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8608, -1.0321], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3179, -0.5904], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2808, -0.0853], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0630, -0.3511], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4886, -0.5809], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0376, -0.4478], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1488, -0.5238], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2506, -0.0551], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2837, -0.2375], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5069, -0.2675], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9826, -1.2601], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6688, -0.1276], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0717, -1.1738], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4338, -0.2032], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4287, -0.7334], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2441, -0.3663], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4792, -0.7624], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0526, -0.3579], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さ���ば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7927, 0.0091], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6420, -0.7378], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6333, 0.1392], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2337, -0.7216], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3875, 0.1279], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5840, -0.0411], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1067, -0.1812], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1135, -0.2611], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0661, -0.2537], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2785, -0.2767], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4694, -1.0022], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1388, -0.6414], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4961, -0.1952], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4389, -0.6137], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6318, -1.1384], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.44656239449977875'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2702, -0.5903], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3695, -0.2173], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3946, -0.4144], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2849, -0.7553], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9159, 0.1362], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1000, -0.3440], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0174, -0.3606], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2794, -0.8226], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7262, 0.0234], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3065, -0.3918], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.49099546670913696'\n", + "[('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0638, 0.0149], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3671, -0.9000], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8859, -1.1633], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3386, -0.0029], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5316, -0.3027], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6600, -1.0709], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5117, -1.0473], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1857, -0.5418], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6795, 0.2366], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2805, -0.4566], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0852, -0.3341], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0529, -0.0814], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6313, -0.8793], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5541, -0.6499], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1380, -0.2742], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3130, -0.1510], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3412, -0.5160], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2654, -0.7057], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4453, -0.9372], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9020, 0.4280], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8516, 0.1596], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2524, -0.4517], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7932, 0.1089], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6051, 0.1750], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3635, -0.0739], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0701, -0.2827], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2305, -0.2314], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2649, -0.3385], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0090, -0.4692], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3846, -0.5716], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3798, -0.6630], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4367, -0.6835], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6220, -0.0694], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4101, -0.8688], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6943, 0.2350], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3928, -0.4851], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5473, -1.0290], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0619, -0.2434], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3328, -0.6538], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9859, -1.0880], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4535733759403229'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2513, -0.4266], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5627, -0.6196], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3913, -0.6236], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0641, -0.2000], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4775, -0.0127], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2248, -0.5510], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3171, -0.7230], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8329, -0.9619], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2902, -0.5455], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2447, -0.5002], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5777108073234558'\n", + "[('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1197, -1.3657], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8357, -1.1358], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7845, -0.8768], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0096, -1.1464], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4968, 0.1161], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5318, -0.8880], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4218, -0.2314], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4346, -0.8831], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1610, -0.5998], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6249, -0.8242], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7208, -0.9078], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2635, -0.6828], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1089, -0.4836], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6796, -1.1436], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0128, -1.4236], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1827, -0.4625], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5355, -1.0862], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6642, -0.9267], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2770, -0.7235], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7208, -0.9078], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1942, -1.3078], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5433, 0.0693], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5072, -0.7570], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7645, -1.2232], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.3411, -1.4433], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.4963, -0.9842], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6990, -1.0580], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.4833, -0.5161], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7208, -0.9078], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4308, -0.6433], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2844, -0.4900], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2194, -0.5056], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3068, -0.4410], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッ��ッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3815, -0.7662], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5522, -0.5531], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8561, -1.3917], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9605, -1.1924], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5193, -0.9952], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7208, -0.9078], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8980, -1.1131], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.44850868731737137'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5373, -0.9026], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9817, -1.3536], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6915, -0.7873], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0635, -0.5903], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1530, -0.4352], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6126, -0.7772], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0523, -0.2716], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4006, -0.1777], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1907, -0.7392], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2270, -0.0734], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.4907624423503876'\n", + "[('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3179, -0.7937], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2292, -0.6778], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1142, -0.1631], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6270, -0.7156], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4213, -0.7296], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5721, -0.8553], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2419, -0.6169], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1150, -0.4690], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6831, -0.4542], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5239, -0.9879], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6415, -0.9415], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2895, -0.8366], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5098, -0.7722], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9798, -1.1511], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2250, -0.3302], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8817, -1.1517], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5306, -0.8895], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6315, -1.1235], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7562, 0.2821], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1430, 0.4961], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6191, -0.8658], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1785, -0.1630], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4323, -0.6316], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0823, -0.5212], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3235, -0.4598], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7661, -0.0175], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5494, 0.0224], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6127, 0.1186], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4848, -0.7545], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5548, -0.7419], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3044, -0.1267], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4590, -0.6352], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4747, -0.2996], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7018, 0.0097], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4899, 0.2373], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5631, -0.9584], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5592, -0.0660], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5348, -0.7096], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0279, -1.1415], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6317, -0.0215], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.4331691116094589'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6373, -1.0163], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5528, -1.0697], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4283, -0.6672], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2383, -0.1096], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2121, -0.6762], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0511, -0.5831], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4646, 0.0943], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4231, -0.3888], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4264, -1.1539], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3256, -0.4164], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.47309690713882446'\n", + "[('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3637, -0.8122], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3831, 0.1305], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1913, -0.4028], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6729, -0.8599], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5807, -0.7568], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.4211, -0.9682], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0927, -0.3435], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0400, 0.3932], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4419, -0.1832], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2390, -0.2879], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9241, -1.1560], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6844, -0.8742], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6729, -0.8599], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6916, -1.0869], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.4985, -0.2885], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4322, -0.0947], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5582, -0.7575], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0981, -0.4571], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5157, -0.1374], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8552, -1.3619], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6103, -0.8800], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8565, -1.3381], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6309, -0.9356], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1312, -0.2350], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5254, -0.0708], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6620, -1.1949], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8871, -1.2025], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4389, -0.6887], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0891, -0.5032], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0088, -0.4552], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0052, -0.6265], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2764, -0.3688], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5904, -0.1016], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3365, -0.0935], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9781, -1.3889], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6729, -0.8599], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4874, -0.8435], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6729, -0.8599], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4033, -0.0395], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1381, -0.6235], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.435010127723217'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0567, -0.3961], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0434, -1.4121], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9407, -0.8590], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1990, -0.5089], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0992, -1.1373], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2189, -0.1037], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2436, -0.4795], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3773, -0.6704], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3289, -0.5544], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1984, -0.5826], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.574802041053772'\n", + "[('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8365, -1.0844], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2796, -0.3124], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0936, -0.4475], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4789, -0.9210], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6334, -1.1254], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0797, -1.1500], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3613, -0.6339], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6639, -0.7156], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6858, 0.0896], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2284, -0.6034], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2886, -0.7765], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0960, -0.1449], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0736, -0.2107], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4571, -0.6332], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5342, 0.2816], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3379, -0.0932], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9721, -1.2180], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2222, -0.2152], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5913, 0.0643], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5219, -0.9859], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5447, -0.7317], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5050, -0.8097], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2237, -0.2616], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4247, -0.2206], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0528, -0.4993], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7224, -0.9375], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4016, 0.1420], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2468, -0.3083], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4202, -0.6195], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4857, -0.8066], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2709, -0.0952], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3945, -0.3954], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1609, -0.3031], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7935, -1.0254], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3206, -0.2810], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5447, -0.7317], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5447, -0.7317], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3989, -0.2380], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2078, -0.1337], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1991, -0.4917], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4295133799314499'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0985, -0.4236], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3599, -0.4952], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6481, -0.6242], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7929, 0.1208], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3727, 0.0175], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2521, -0.0936], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0559, -0.5028], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7844, 0.1384], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2489, -0.4805], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8221, 0.0901], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.46337559819221497'\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4154, -0.6024], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7614, 0.2344], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3851, -0.6898], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2786, -0.2795], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3725, -0.0649], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4777, -0.1239], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2378, -0.0278], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0583, -0.2956], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4154, -0.6024], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4076, -0.0286], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6989, -0.8356], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9730, 0.1894], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6424, 0.2123], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4114, -0.6012], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4154, -0.6024], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] く��くんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4909, -0.7909], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4154, -0.6024], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6644, -0.8964], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.3763, 0.7295], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6158, -1.0975], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7062, 0.4536], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2756, -0.4749], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5674, 0.3078], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4465, -0.0747], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2616, -0.3418], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0613, -0.5098], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4154, -0.6024], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2572, -0.1174], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2083, -0.2058], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0732, -1.1754], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8461, 0.0497], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5932, -0.8082], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1335, -0.1662], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4191, -0.9520], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3287, -0.5049], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3857, -0.0996], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8633, -1.0346], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0285, -0.1591], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2307, -0.2081], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4028, -0.7618], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4397682026028633'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4209, -0.3319], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1092, -0.3552], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0762, -0.4061], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4462, -0.0670], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3244, -0.1368], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6005, -0.7497], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6063, 0.0543], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9476, 0.3332], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6675, 0.2213], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2480, 0.0034], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.5130343437194824'\n", + "[('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0710, -0.3755], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4179, -0.6803], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7503, 0.1252], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9405, 0.4665], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4877, -0.5800], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3575, -0.5336], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4520, -0.9849], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5696, -0.0756], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8981, -1.0694], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7077, 0.0732], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5255, -0.1115], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4572, -0.6442], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6506, -1.1323], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0871, -0.3797], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4256, -0.0956], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1599, -0.1927], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6991, -0.9310], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9404, -1.0540], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9544, 0.1708], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0174, -0.0314], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0297, -0.3242], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.3665, 0.7197], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0482, -0.4330], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1749, -0.4247], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5507, -1.0427], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1421, -0.3579], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4778, -0.8731], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9938, -1.0640], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3128, -0.4564], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3932, 0.0270], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1698, -0.7169], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3089, -0.3098], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1864, -0.6622], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8412, 0.2450], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1818, -0.2323], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6196, 0.1895], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6244, -1.1600], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0170, -0.4951], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1124, -1.2146], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2596, -0.8102], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.43397798389196396'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.6437, -0.7283], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6073, -0.9783], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2763, -0.4188], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3844, -0.6102], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7861, 0.0561], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5873, -0.8958], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0940, -0.1233], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2775, -0.1075], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2410, -0.1761], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6665, -0.6488], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5662459135055542'\n", + "[('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7682, 0.5156], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8252, -1.0711], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3046, -0.6255], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9988, 0.6181], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7306, -1.0006], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0682, -0.2840], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1547, -0.2909], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7975, 0.4239], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0305, -0.3543], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0057, -0.1931], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3660, -0.6284], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3650, -0.6697], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6211, -0.9365], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4112, -0.5982], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0293, 0.2457], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6219, 0.3623], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8450, -1.0163], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2924, -0.0823], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4112, -0.5982], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4512, 0.0850], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9700, 0.2779], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2390, -0.4383], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0613, -1.1634], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7140, -0.0603], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4112, -0.5982], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3927, -0.9256], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5443, -0.0498], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9015, 0.1051], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1069, -0.3568], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4244, -0.8197], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4956, -0.9876], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2907, -0.4895], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2583, -0.2591], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1177, -0.5935], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3890, -0.6722], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9045, 0.2201], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5616, 0.1305], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4203, -0.5126], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3687, -0.5435], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2513, -0.1628], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.4424752816557884'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3231, -0.3926], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1839, 0.0742], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0552, -0.9965], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2652, -0.7098], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2740, 0.1094], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2785, -0.3038], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5518, -0.6434], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5993, -0.8114], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6228, -1.0319], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2666, -0.7257], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.4707791805267334'\n", + "[('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3569, -0.7130], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4921, 0.2325], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0515, -0.4339], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1430, -0.2958], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5709, -0.7579], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0115, -0.4078], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6513, 0.0168], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2652, -0.1722], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2177, -0.0223], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3998, -0.1943], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4081, -0.4089], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6228, -1.0816], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5193, -0.7817], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1238, -0.5085], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7335, -1.2402], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8648, -1.2756], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6642, 0.2049], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8779, 0.4039], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5858, -0.1885], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3838, -0.5831], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0220, -0.3273], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4591, -0.1778], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8966, -1.1665], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2940, -0.1912], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.3201, 0.6732], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5709, -0.7579], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4761, -0.7457], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1733, -0.6218], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3665, -0.1547], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2521, -0.7400], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5172, -0.8219], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0916, -1.3690], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6940, 0.0689], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6522, -1.1442], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0551, -0.4554], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3921, -0.2095], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4507, -0.6268], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4914, -0.9336], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きっと 僕 らはふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3532, -0.1632], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6205, -0.8672], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4205784574151039'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3351, -0.7687], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5536, -0.0867], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3690, -0.1169], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2473, -0.5678], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3902, -0.7098], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4593, -0.5886], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2170, -0.1925], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2677, -1.0300], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3315, -0.6028], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9188, -1.0426], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.530908465385437'\n", + "[('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3992, -0.5428], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8966, 0.4226], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0629, -0.1118], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5057, 0.2461], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6014, -0.1729], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6088, 0.1735], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2039, -0.0085], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2423, -0.7303], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6940, -0.7457], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8793, 0.4987], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4047, -0.8450], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1189, -0.2952], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1732, -0.4302], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1907, -0.4033], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8586, -1.1066], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4779, -0.7475], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3188, -0.4550], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0459, -0.4463], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5687, -0.7557], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2424, -0.7895], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] きっと 僕 らはふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3669, -0.1496], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2969, -0.2583], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6625, -0.4336], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5169, -0.1283], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7362, 0.0831], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1568, -0.2820], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5388, -0.7286], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0454, -1.1590], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3552, -0.7113], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0261, -0.3932], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2424, -0.2216], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] �� 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1619, -0.6183], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5687, -0.7557], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0753, -0.5535], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5333, -0.7081], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6759, 0.2330], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6750, 0.2157], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5687, -0.7557], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4526, -0.6287], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3577, -0.1477], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.41939473152160645'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3845, -0.1557], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5904, 0.2439], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0803, -0.5915], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1269, -0.0445], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0395, -0.1111], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5381, -0.5391], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1466, -0.4696], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4208, -0.5630], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2011, -0.5605], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2477, -0.0242], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.4512442648410797'\n", + "[('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1015, -0.3941], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3567, -0.1985], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5301, -0.7171], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9940, 0.2104], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4767, -0.1173], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2219, -0.1528], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3498, -0.7901], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1181, -0.3673], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7347, 0.4822], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8132, -1.0612], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0055, -0.4836], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1856, -1.2878], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4057, -0.5818], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7130, -0.8088], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6543, -0.7060], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0037, -0.0526], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4528, -0.0684], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5301, -0.7171], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6698, -0.1045], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5510, -0.9463], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9669, 0.5862], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1632, -0.1960], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6823, 0.2470], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7053, -1.0405], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8651, 0.1808], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0760, -0.3705], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2706, -0.4069], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3703, 0.0042], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0488, -0.0854], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9681, -1.1394], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5899, -0.0553], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6341, 0.2041], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5301, -0.7171], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1899, -0.6657], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2442, -0.3875], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4115, -0.0247], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5301, -0.7171], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8752, 0.1555], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7551, 0.2958], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8755, 0.2793], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.42148077487945557'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1827, 0.3724], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7187, -0.0075], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2492, 0.1697], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1239, -0.3158], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6052, -1.2959], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6615, 0.0524], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1086, -0.4824], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1091, -0.3067], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0967, -0.1959], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2012, -0.2433], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5275652408599854'\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5367, -0.7237], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9663, 0.5856], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1438, -0.5188], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5234, -0.1135], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8738, 0.1541], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5303, -1.0632], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3038, -0.1602], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7841, -1.0160], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2433, -0.3884], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7649, 0.3913], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5662, -0.9615], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8775, -1.1474], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1941, -0.0938], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6779, 0.2426], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1938, -0.6817], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8091, -0.9458], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7125, -1.2192], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3906, -0.3914], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8656, 0.1813], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-3.6640e-01, 2.2440e-04], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3911, -0.6994], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3709, -0.1143], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8444, 0.3504], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0253, -0.3286], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1799, -0.2342], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2200, -0.1547], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0161, -0.4943], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.4418, 0.7950], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8413, -1.2521], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5367, -0.7237], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4574, -0.7271], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7268, -1.0620], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9311, 0.2391], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7671, -1.0825], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6355, -1.1275], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0720, -0.4568], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6831, -0.8981], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1895, -0.4393], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3433, -0.2119], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5367, -0.7237], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4184734374284744'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4719, 0.2060], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7241, 0.3732], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6695, -1.0274], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3034, -0.4497], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6306, 0.2215], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3451, 0.1898], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4166, -0.0096], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0722, -0.0063], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0794, -0.4617], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4106, -0.3689], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.4785078465938568'\n", + "[('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3483, -0.0879], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5875, -0.7745], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8387, 0.1190], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6970, -1.1889], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1009, -0.1853], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1895, -0.4140], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7447, 0.1195], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0229, -0.3768], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄���',\n", + " tensor([ 0.0721, -0.1210], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4625, -0.7835], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1517, -0.4443], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7287, 0.3551], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7268, -0.7785], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2700, -0.7458], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5519, -0.8143], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2446, -0.7325], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5759, -0.9349], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6344, -0.7230], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6521, -0.9521], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.4117, 0.7648], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9429, -1.2128], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5875, -0.7745], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3913, -0.5906], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4035, -0.1177], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4247, -0.8650], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6748, -1.1336], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7074, 0.0729], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0538, -1.2251], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3415, -0.4778], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2731, -1.3753], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4370, -0.4378], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1653, -0.6148], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0399, -0.1769], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6265, -1.0217], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2652, -0.8122], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1096, -0.2972], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1294, -0.2847], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2361, -0.4859], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5875, -0.7745], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3212, -0.0449], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.412801630795002'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4207, 0.2255], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1264, -0.4595], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2354, -0.4270], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1144, -0.0294], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1026, -0.1111], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2057, -0.5884], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4021, -0.5144], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4069, -0.0286], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0118, -0.5576], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4032, -0.4696], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.45289137959480286'\n", + "[('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5688, -1.0092], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5958, 0.1365], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0453, -0.3935], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3212, -0.1258], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.4097, -1.5119], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4129, -0.2323], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5241, -1.0747], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2644, -0.6492], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7139, -1.0728], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7150, -0.0046], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0227, -0.2652], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1963, -0.2890], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.4105, -0.9575], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8977, -1.4333], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2095, -0.2267], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3308, -0.1002], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5624, -0.7060], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4806, -0.6169], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0904, -1.3603], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1879, -1.3592], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7035, 0.0191], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2897, -0.3119], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1696, -0.3067], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0536, -0.3211], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8000, -1.1000], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1437, -0.2937], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6910, -1.1550], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3721, -0.6219], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.5087, -0.2988], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0160, -1.1528], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5822, -0.0523], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3337, -0.5463], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5215, -0.2529], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9342, -1.2694], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9650, -1.2804], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5982, 0.3456], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7751, 0.0830], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5092, 0.0739], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2824, -0.3117], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2690, -1.5465], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.40616967529058456'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8810, -0.8524], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0983, -0.3243], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2070, -0.3557], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4072, -0.5666], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0240, -0.6181], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3101, -0.5757], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1775, -0.1741], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6434, 0.0466], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0493, -0.0968], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいか��',\n", + " tensor([ 0.6739, -0.7536], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.4857903718948364'\n", + "[('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7834, 0.1872], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3467, -0.2473], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2116, -0.3436], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6415, -1.1055], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8805, 0.4998], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2091, -0.2283], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4623, -0.6617], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4044, -0.2326], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1066, -1.3526], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2763, -0.1599], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6764, -0.8634], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1371, -1.3084], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6635, -1.0225], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1826, -1.2962], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8781, -1.3598], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6649, -1.1978], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3078, -0.5576], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6764, -0.8634], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9606, -1.0974], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6682, 0.4156], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8069, -0.8586], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7735, 0.0892], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7419, -1.0419], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6283, -0.8907], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1968, -0.3956], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7826, -1.2746], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2557, -0.1104], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1553, -0.2041], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4751, -1.0257], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0727, -0.3780], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8409, 0.1488], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6514, 0.0169], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0234, -0.4427], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2674, -0.2178], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4196, -0.5418], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1156, -0.4878], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3579, -0.2437], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6764, -0.8634], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6764, -0.8634], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0810, -0.2069], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.40687648952007294'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3969, -0.5781], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4296, -0.8028], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4169, -0.1073], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5084, -0.9026], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6240, -0.9378], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8425, -1.5594], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3702, -0.5529], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.4021, -0.5367], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1417, -0.8202], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2483, -0.5939], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.4954262375831604'\n", + "[('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5731, -1.0152], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6669, -0.8539], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6912, 0.2319], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1365, -0.2382], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6998, 0.2570], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0687, -0.2175], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7006, -1.0959], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8325, -1.3681], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5000, -0.8083], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6669, -0.8539], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3168, -0.5326], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0686, -0.4226], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3077, -0.1285], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9360, -1.0727], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7860, -0.8377], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8113, 0.0916], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7915, -0.0049], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0944, -1.3403], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1155, -0.5159], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7141, 0.0889], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4921, -0.9324], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6341, -0.9173], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6143, -0.1600], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きっと 僕 らはふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3484, -0.1681], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3298, -0.8769], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6966, -0.7852], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1467, -0.4851], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3738, -0.1474], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8030, 0.1187], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9251, -1.1570], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9769, -1.2248], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2383, -0.1991], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0442, -0.1784], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6802, 0.0457], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6072, 0.1719], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3715, -0.2226], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.4092, 0.7623], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8570, -0.9528], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0837, -0.2208], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5034, -0.1418], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.4052581712603569'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3263, -0.7180], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1345, -0.6658], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3786, -0.0471], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0774, -0.6380], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8236, -0.9452], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6389, -1.0676], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6973, 0.3838], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3555, 0.3536], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4027, 0.0714], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4322, -0.8311], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.4685955047607422'\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6469, -0.8339], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.4556, 0.8087], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3999, -0.1899], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6469, -0.8339], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2770, -0.7649], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0752, -1.3212], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0289, -0.3904], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5933, -0.8557], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1186, -0.2956], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4110, -0.1102], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7032, -0.9499], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5987, -1.0627], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2489, -0.4987], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0961, -0.1449], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6469, -0.8339], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2179, -0.2506], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5525, -0.9946], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0093, -1.2792], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1907, -1.4681], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7230, -1.1818], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2184, -0.4310], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4790, -0.7873], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2466, -0.2174], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0419, -0.4435], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6093, -0.8925], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4625, 0.0314], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2716, -0.1658], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3400, -0.0962], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5612, -0.8309], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1740, -0.4666], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8180, -1.3247], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6465, 0.2111], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1582, -0.5429], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2047, -0.0092], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.3390, -1.4412], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0383, -0.3922], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2740, -0.0675], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0523, -0.1893], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6469, -0.8339], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8446, 0.1602], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.4024951606988907'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4475, -0.5284], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7024, 0.3796], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7274, 0.1824], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1438, -1.1497], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3729, -0.5920], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5634, -0.7496], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1827, -0.2750], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8527, -1.1018], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5636, -0.8480], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8383, 0.1350], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.4342450499534607'\n", + "[('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3799, -0.2217], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2751, -0.0911], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1002, -0.6800], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0523, -0.4987], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5155, -0.9558], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0636, -1.3335], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4155, -0.5377], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7875, 0.2934], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6446, -1.1086], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2031, -0.5878], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.4446, -0.2346], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2986, -0.1376], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2350, -0.1065], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1544, -1.3257], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2587, -1.3290], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3450, -0.5607], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9294, -1.2448], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9208, 0.5401], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8893, -1.3709], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5165, 0.2569], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4182, -0.2187], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5625, -0.7386], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0691, -0.3744], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1330, -0.4987], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7041, -0.8911], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0016, -0.4870], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8731, 0.1811], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7031, 0.4505], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2447, -1.5221], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2003, -0.2636], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7647, -0.5359], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7454, -1.0455], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.4199, 0.7730], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7527, -0.9995], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6669, -0.8417], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6782, 0.0436], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2650, -0.4776], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0826, -0.4365], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2613, -0.2940], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2885, -0.1968], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.39996346086263657'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7879, 0.2159], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4378, -0.7262], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6738, 0.0183], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6618, -0.9051], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9378, 0.5503], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0574, -0.1062], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2616, -0.7696], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1577, -1.3198], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7710, 0.5164], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1439, -0.6408], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.49997374415397644'\n", + "[('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1239, -0.2582], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8002, -0.8888], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0605, -0.3783], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0941, -1.3421], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5136, 0.0836], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1639, -0.2735], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8880, -0.9398], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5032, -0.1882], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5299, -0.7292], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1146, -0.5611], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0654, -0.5663], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7464, -1.1053], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0491, -1.1858], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.5108, -0.3008], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7759, -0.9629], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7332, -1.0164], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2225, -0.2628], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5374, 0.1021], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5731, -0.7166], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8967, -1.1118], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7256, -0.0708], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7947, -0.8870], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1453, -1.4152], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6457, 0.0206], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7759, -0.9629], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0710, -0.5564], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5362, -0.8923], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5398, -0.2346], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0410, -1.2730], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3613, -0.6112], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1534, -0.4018], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6104, -0.9313], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1643, -0.3013], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3390, -0.7876], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7759, -0.9629], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6245, 0.1817], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9633, -1.4450], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3268, -0.3596], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7522, 0.0325], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.3330, -1.4033], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.40008509904146194'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1740, -0.6177], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4524, -0.7094], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1399, -0.2822], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6030, 0.0783], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.7948, -0.7782], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1311, -0.4417], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4215, -0.9883], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8387, -1.0682], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6868, -0.9303], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2947, -0.5214], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.48731380701065063'\n", + "[('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8371, 0.1175], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8331, -1.0481], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7288, 0.1036], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2498, -0.1876], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3002, -0.1851], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7093, 0.2500], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7576, 0.2307], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7921, -1.2508], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6174, -1.0595], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6754, -0.8503], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2511, -0.4637], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2823, -0.5321], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4335, -0.5698], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7220, -0.9090], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9009, -1.2361], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9501, 0.1665], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5691, -0.7453], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6094, -0.1649], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4138, -0.5360], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6559, -0.9391], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7220, -0.9090], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0091, -0.4763], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2167, -1.3303], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3182, -0.1180], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7507, -0.9975], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7453, -1.0453], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0833, -0.3308], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.4320, 0.7852], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9725, -1.2044], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4763, -0.8324], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2058, -0.4985], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1487, -0.2901], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5105, -0.9508], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7069, -1.2397], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5373, -0.8456], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6623, -1.1263], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7573, -0.5285], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3464, -0.8223], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5303, -0.5312], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1118, -0.6683], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.39733145385980606'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1285, -0.6311], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0183, -0.2355], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4794, 0.0361], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2199, -0.4401], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0406, -0.2856], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1497, -0.6297], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.6510, -0.8051], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9065, -1.0101], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1383, -1.1205], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0677, -1.0715], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.541473388671875'\n", + "[('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6014, -0.3725], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3646, -0.6856], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.5981, 0.9512], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2779, -0.5022], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7968, 0.3615], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4889, 0.0527], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1292, -0.0050], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0039, -0.2026], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0393, -0.3319], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9852, 0.3009], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5645, -0.7515], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5061, -0.8107], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5604, -0.6527], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1596, -0.2597], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0410, -0.4371], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5645, -0.7515], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7430, -1.0782], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4183, -0.0191], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1893, -0.6651], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9812, 0.4871], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1077, -1.3851], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4924, -0.6822], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4755, -0.0098], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2562, -0.1579], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1867, -0.4024], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5208, -0.8798], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8213, -1.0532], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8232, -0.9599], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.0647, 0.1307], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4130, -0.5892], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5645, -0.7515], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8664, 0.2319], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5645, -0.7515], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1112, -0.4862], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5542, 0.0330], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.8752, 0.4323], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1107, 0.7300], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0081, 0.2885], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3014, -0.3020], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3453, -0.7856], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.41137584298849106'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3651, -0.9311], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8487, 0.3953], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2722, -0.3314], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2598, -0.0039], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3190, 0.0496], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0187, 0.5066], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3397, -0.1124], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2233, -0.2074], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5282, -0.7421], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3849, -0.1587], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.5018668174743652'\n", + "[('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2951, -0.6161], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6711, -1.1777], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9872, 0.3340], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5013, -0.6883], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9697, -1.1410], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8045, -1.2153], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6038, -0.8188], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2140, -0.2324], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6827, -1.0179], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0281, -0.0609], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6352, 0.0411], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0814, 0.4852], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4258, -0.7090], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9375, -1.1835], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9488, 0.3143], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3464, 0.0584], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2143, -0.0043], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4547, -0.0093], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1902, -0.3124], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3514, -0.4288], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1430, 0.0059], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0991, 0.0503], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6725, -1.2081], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4922, -1.0251], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3324, -0.3332], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1911, -0.1142], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0658, -0.5537], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1197, -0.5955], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0622, 0.2658], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4945, 0.1530], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8571, -1.1270], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2103, -0.3465], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3229, 0.0367], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7288, -1.0442], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5387, -0.9340], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4539, -0.6287], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2638, -0.4074], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6383, 0.1171], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1449, 0.4529], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0890, 0.3694], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.4218918979167938'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1587, -0.2422], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4257, -0.4568], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1492, -0.6418], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1649, -0.5140], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5728, -0.1314], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5625, 0.0396], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2867, -0.7827], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7148, 0.3903], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2838, 0.0513], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1877, -0.3209], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5611980557441711'\n", + "[('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9404, 0.4811], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3674, -0.0073], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0589, -0.3087], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7398, 0.0946], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8755, -1.1234], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6150, 0.0134], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3050, -0.1091], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8152, -1.0472], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5737, -0.9690], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きっと 僕 らはふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5822, 0.0657], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7195, -1.2012], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1860, -0.2605], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8197, -0.9565], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7019, -1.2085], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7023, -1.2378], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0248, -0.2374], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5143, -0.7013], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5659, -0.8659], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2074, -0.2119], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5143, -0.7013], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4771, -0.9411], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3044, -0.8550], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0904, -0.4654], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4818, -0.7443], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5143, -0.7013], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1753, 0.3918], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0874, -1.1576], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.0139, 0.1816], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0425, 0.3582], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7554, 0.4958], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3631, -0.3640], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0081, -1.1794], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5456, -0.6379], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5143, -0.7013], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4626, -0.0925], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5409, -0.6295], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8559, 0.4205], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5143, -0.7013], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1795, 0.0453], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2508, -0.3870], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4132637605071068'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0521, -0.2420], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4797, -0.0008], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2850, 0.1033], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2296, 0.0383], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4311, 0.1550], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5278, -0.6967], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0936, -0.6118], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1489, -0.0968], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3007, -0.5216], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4451, -0.7606], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5059235692024231'\n", + "[('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1519, -0.5269], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6026, -0.6913], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3640, -0.9146], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8064, -0.9022], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9266, 0.5530], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7726, -0.0018], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4253, -0.4262], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8776, 0.2431], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0800, -1.2513], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0039, -0.2026], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8086, 0.3733], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0041, -0.0447], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8899, -1.1218], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4196, -0.7279], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0393, -0.4388], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9048, -1.3156], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-4.8518e-01, -8.0269e-05], device='cuda:0'),\n", + " '米津��師'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.8772, 0.4343], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8878, -1.0246], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6766, -1.1354], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5494, -0.8118], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3265, -0.5258], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1057, -0.2483], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1113, -0.3611], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7083, 0.4487], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1233, -0.1821], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7686, -1.3042], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5774, -1.1102], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4201, -0.0173], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1320, -0.0022], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0212, 0.3015], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0219, -0.2095], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6445, -1.0398], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9060, 0.2528], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5319, -0.8366], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1169, 0.7362], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3113, -0.3205], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8906, 0.4314], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6178, -0.8646], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.6145, 0.9676], device='cuda:0'),\n", + " '米津玄師')]\n", + "'test_loss: 0.4031370207667351'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2301, 0.2314], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8271, -0.8899], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4845, -0.6695], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9706, 0.4220], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8915, 0.7783], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1346, 0.6751], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8128, -0.9269], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4632, -1.1101], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2564, 0.0984], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6435, -0.6953], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.41772791743278503'\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5633, -0.7503], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0658, -1.2371], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5906, -0.6829], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4507, 0.0133], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハッピーで 埋 め �� くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6045, 0.0833], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.3147, -1.4169], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3496, -0.7899], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1864, -0.2329], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8441, 0.4087], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9251, 0.4658], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7512, 0.4916], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5633, -0.7503], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1556, 0.7749], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1179, -0.6058], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0164, -1.2624], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.6591, 1.0123], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5139, 0.0777], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5215, -0.8262], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5406, -0.8996], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8141, -1.1296], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0741, -0.4040], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2685, -0.0585], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2903, -0.4899], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5633, -0.7503], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1735, -0.7205], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5633, -0.7503], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8056, 0.0312], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0353, 0.3510], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9868, 0.4599], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7068, -0.7585], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2981, -0.4974], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9460, 0.6935], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2026, -0.4752], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7541, -1.2897], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9159, 0.2813], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3354, -0.2963], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.0297, 0.1657], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2965, -0.4327], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1168, -1.2304], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1366, -1.2068], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4050172343850136'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7941, -0.9873], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5097, -0.7560], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3493, -0.7162], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4246, -0.7822], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0413, 0.4209], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.2374, 0.6762], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3050, -0.1206], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4236, 0.0146], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3413, -0.6840], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3637, -0.4001], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.4572007358074188'\n", + "[('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4835, -0.1106], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9988, -1.1355], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3372, -0.2180], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0041, -1.2360], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5026, -0.0186], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0753, -1.3452], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9300, 0.4360], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0910, -0.3283], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3702, -0.1602], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3422, 0.0007], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8690, 0.4954], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2070, -0.3964], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2397, -1.5171], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4189, -0.0663], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8581, 0.2330], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 困 っちゃったワンワンワン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2830, -0.8301], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8820, -1.3636], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2169, -0.7048], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0504, 0.6697], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6970, -0.7856], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6625, -0.8495], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9228, 0.1263], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6582, -0.4293], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0579, 0.2743], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1699, -0.2027], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4257, -0.7818], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3626, -0.0036], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6625, -0.8495], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0873, -0.2861], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5213, -0.1157], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6167, -0.0285], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6032, -0.8728], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6518, 0.3922], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4465, -0.9971], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4105, -0.5468], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7102, -0.9570], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6459, -0.9083], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.5614, 0.9145], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3248, -0.5406], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6680, -1.2008], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.3910606950521469'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0173, -0.5171], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1515, -0.5577], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0916, -0.4934], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1953, -0.5792], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3482, -0.1657], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5295, -0.7897], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8436, -0.7118], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3525, -0.1349], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2376, -0.4262], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2642, 0.0042], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.4327634871006012'\n", + "[('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7885, -1.1838], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7388, -0.8274], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2282, -0.1465], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4614, -0.8175], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8578, -0.9095], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2537, -0.2103], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5517, -0.5526], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9030, 0.1066], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6283, 0.3687], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9850, -1.3004], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7076, -0.8946], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8229, -1.2817], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きっと 僕 ��はふたつ 並 んだメトロノームみたいに [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4426, -0.0739], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5048, -0.9451], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7063, -0.8811], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9394, 0.2198], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7863, 0.1518], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6603, -0.9650], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1048, -1.3528], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7076, -0.8946], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4582, -0.6017], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8122, 0.1590], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3489, -0.8247], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1486, -0.6316], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0292, -0.1662], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2764, -0.6514], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0483, -1.2802], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7076, -0.8946], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1323, -0.3199], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1614, -0.1265], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6965, -1.0555], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2163, -0.4154], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9183, -1.4249], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3230, -0.0185], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0626, -0.3567], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2291, -1.4004], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3255, -0.1119], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4681, -0.1336], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9147, 0.3185], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5423, -0.8507], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.38912852853536606'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1499, -0.1966], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7502, 0.5939], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6759, -0.7605], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0092, -0.2863], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4546, -0.9213], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1289, 0.5801], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3823, -0.8736], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0494, -0.2657], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3092, -0.7782], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6303, 0.2430], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.530536413192749'\n", + "[('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2294, -0.6779], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1368, -0.3494], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7622, -0.9772], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1192, -0.5040], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0833, -0.2820], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4654, -0.9057], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2146, -0.3888], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7523, -1.1476], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1036, 0.6296], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2448, -0.0414], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0938, -0.3864], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8815, -1.3881], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4380, -0.0473], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4993, -0.0948], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8759, -1.4115], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6606, -0.8476], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4452, -0.9959], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8221, -0.8738], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3026, -0.5752], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4190, -0.7751], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.1164, 0.0790], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1944, -1.3658], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4152, -0.5588], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6294, -0.9126], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0105, -1.1472], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1505, -0.1833], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9837, 0.2641], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5769, 0.1458], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1195, -0.3659], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.5949, 0.9480], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2611, -1.3747], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0709, -0.2344], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0139, -0.1231], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0584, -0.3881], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7119, -0.9587], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2068, -0.6948], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2522, -1.3224], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6606, -0.8476], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6473, -0.4184], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6606, -0.8476], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.39053942263126373'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6570, -0.7054], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0393, -0.2042], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9630, -1.3127], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2028, -0.3307], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4612, 0.0118], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7099, -0.7067], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0285, -0.2982], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0834, 0.5047], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3755, -0.4577], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.6872, -1.0223], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5110189318656921'\n", + "[('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9788, -1.3897], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2544, -0.3490], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5783, -0.8615], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3313, -0.1327], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4111, -0.0263], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6963, -0.9963], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7908, -0.8425], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7205, -1.1157], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2880, -0.5037], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5145, -0.6906], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3119, -0.1269], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2901, 0.0039], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0447, -0.4451], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4735, -0.7818], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6329, -0.8199], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.4152, -1.5173], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1077, -0.3387], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0421, -0.0909], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6256, 0.1945], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6754, 0.0302], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3940, -0.7149], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6559, -0.7445], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5424, -0.0517], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9915, 0.1951], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2213, -1.3349], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9525, 0.4255], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4878, -0.4887], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8981, 0.2449], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9322, 0.3070], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2982, -0.3336], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3297, -0.1198], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3904, -0.7465], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.8846, 0.4417], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0039, 0.5098], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0527, -0.2403], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4172, 0.0510], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2132, -1.2834], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0845, -0.2694], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6088, -0.3799], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6820, -0.7743], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.3936982825398445'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0931, -0.6821], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5485, 0.1445], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0065, -0.2073], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6345, -0.9566], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3740, -0.1093], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2167, -0.2750], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9871, -1.1506], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9443, -0.8696], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5135, 0.2261], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4363, -0.9136], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.4548233151435852'\n", + "[('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7083, 0.1067], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4195, -0.6892], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7756, -1.0910], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7352, 0.0982], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1119, 0.5849], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4901, 0.0261], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9657, 0.5304], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4286, -0.6184], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5226, -0.7096], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0758, 0.2713], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5409, -0.0143], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2258, -0.4252], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2941, -0.1252], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0765, 0.8239], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2814, -0.8320], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5226, -0.7096], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0501, -0.1625], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1183, -0.5942], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6288, 0.1926], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2395, -0.1144], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5936, -0.9889], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9062, -1.1542], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7138, -1.1955], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0849, -1.3623], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9832, -1.2292], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.2888, 0.5052], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2687, -0.0366], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0784, -0.2142], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6362, -1.1281], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4450, 0.0703], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0999, -0.3724], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6936, 0.0996], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0500, 0.3968], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5323, -0.6246], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5226, -0.7096], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1142, -0.0845], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9277, 0.2363], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4717, 0.0329], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6658, -0.7175], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8527, -1.2635], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.41646089404821396'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4821, 0.1842], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5988, 0.4236], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5155, -0.4246], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3942, -0.1540], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2865, 0.0254], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2364, -0.3222], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6341, -0.9296], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5280, 0.1511], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4183, -0.7451], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0072, 0.5714], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.3751014769077301'\n", + "[('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4883, -0.6631], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1135, -0.0741], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4033, -0.0108], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([0.1966, 0.0134], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4537, 0.0790], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0942, -1.3716], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.8440, 0.1988], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ホッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5988, -0.8139], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4886, 0.0498], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.2132, 0.4935], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1036, -0.5794], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2983, -1.4004], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3275, -0.1579], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6033, -0.9986], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5235, -1.0563], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.8053, 0.3742], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1879, 0.5917], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6481, 0.2119], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1246, -0.0741], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0819, -0.2107], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2623, -0.6184], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5294, -0.7164], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0963, 0.8437], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1237, 0.7502], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7534, 0.1164], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5296, -0.7763], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9143, -1.1623], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0170, -0.0158], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムーウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8617, -1.2726], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5594, 0.1932], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.2551, 0.5631], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5755, 0.2340], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5591, 0.0039], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5402, -0.8402], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8145, -0.9512], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1891, 0.0521], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0637, 0.6045], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6231, -1.0818], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.3058, 0.9251], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9150, -1.1849], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.4173925444483757'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9200, -0.9914], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3566, -0.3802], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5256, -1.0243], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4935, -0.6363], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5747, -0.6346], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5468, 0.3767], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0677, -0.4775], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9720, 0.5586], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2272, -1.3521], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0573, -0.3289], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.395794540643692'\n", + "[('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.2058, 0.7318], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5221, 0.0860], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1327, -0.2212], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9556, -1.0923], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8729, -0.9687], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0675, -0.4106], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6816, -0.9816], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2294, -1.2997], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0671, 0.4709], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1681, -0.5431], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1268, -1.3727], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6198, 0.0986], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9851, 0.7326], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2809, -0.0070], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5142, -0.6903], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0512, 0.2548], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2172, -0.4897], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3568, -0.5003], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2803, -0.1338], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0104, -0.1980], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0086, -0.4089], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6234, -0.9823], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4551, 0.1136], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1072, -0.3570], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.0379, 0.1575], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1368, 0.4447], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8356, 0.1442], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6251, -0.7999], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4814, -0.7897], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9886, -1.2205], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5452, -0.8148], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] そうただひとつ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1437, -0.3028], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1762, -1.3475], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6618, -0.9086], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0093, 0.6357], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3991, -0.8394], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4852, -0.4861], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5746, -1.0168], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3786, -0.6996], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0555, -1.3034], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.3913460820913315'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3609, -0.7364], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0979, -0.3016], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6811, 0.3626], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5272, -0.8848], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3403, -0.3081], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8685, 0.5846], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6296, -0.6274], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4642, -0.8413], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6721, -0.7753], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0543, -0.5268], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.3887503743171692'\n", + "[('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.4167, -1.6941], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8774, 0.0810], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7495, -0.9393], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5430, -0.6865], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.4204, -1.5340], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2776, -0.0639], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6435, -0.1309], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5455, -0.6818], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8356, 0.4620], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1867, -0.2521], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8609, -1.0479], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2429, -0.4555], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4207, -0.8965], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0513, -0.4052], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3414, -0.7900], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.5001, -0.2901], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6703, 0.2403], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1140, -0.2510], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7662, -0.5373], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8895, 0.2051], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5726, -0.9287], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5975, 0.3379], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8331, -0.9217], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1633, -0.2114], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7689, 0.1157], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0585, -1.1543], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] さらば 思 い 出 せないような [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0169, 0.2333], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5405, -0.1047], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1949, -0.2438], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9615, 0.2694], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4489, -0.1880], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4261, -0.1755], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8183, -0.9931], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8787, -1.1787], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぎゅうウウ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0446, -1.5513], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1394, -0.4923], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4332, -0.6490], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2647, -1.5346], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3101, -0.7980], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1051, -0.1828], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.37881017476320267'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1096, -0.0866], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4444, -0.1079], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3455, -0.6888], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0844, -1.1813], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5146, -0.7396], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6684, -0.7206], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.9349, -1.2859], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3844, -0.7606], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1094, -0.4367], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3547, -0.2696], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5633689165115356'\n", + "[('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2325, -0.1090], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8179, -1.1226], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6338, -1.1844], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2832, -0.4958], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6112, -0.0802], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0229, -0.5083], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9575, 0.5768], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1957, -0.3595], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2274, -0.2100], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8739, 0.1542], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6308, 0.2008], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2578, -0.5504], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7828, 0.4092], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6014, -0.9224], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9027, -1.0898], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9027, -1.0898], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3196, -0.3524], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7003, 0.0657], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6005, -0.7368], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5966, -0.1777], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0413, -0.4606], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7264, 0.2835], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハッピーで 埋 め 尽 くして [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3910, -0.1302], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7966, -1.2388], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0574, -0.3567], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1161, -1.4513], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0632, -0.2248], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2951, -1.5431], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0432, -0.1774], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.4575, -1.5277], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 現 れたそれは 春 の 真 っ 最 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9824, 0.5084], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごっ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4888, -0.7045], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5453, 0.2857], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2528, -0.6532], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8418, 0.1574], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9739, -1.3692], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.4545, -1.7320], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7854, 0.2585], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4505, -0.7230], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8503, -1.2093], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.37698374688625336'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4843, -0.0919], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0455, -0.2548], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8335, 0.0203], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6769, -0.4764], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0545, -0.2119], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2052, 0.0251], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([0.1401, 0.0034], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0401, -0.5410], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2865, 0.0453], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6078, -1.2267], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.7677446007728577'\n", + "[('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4628, -0.0924], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3441, -0.6650], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.1528, 0.4608], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5700, 0.0847], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2267, -0.7025], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5739, -0.3450], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0140, -0.3066], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1570, -0.5320], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7428, -1.2016], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8598, -1.1950], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 交 換 しよっか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([0.0067, 0.1887], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0939, 0.5999], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9593, 0.5001], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.7191, 1.0722], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6653, -0.8523], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.9671, 0.5242], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9879, -1.2198], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5456, -0.8288], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4840, 0.1425], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0583, -1.3063], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.2022, 0.8215], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1660, -1.3373], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6080, -0.8704], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8667, 0.4366], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3779, -0.7340], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8507, -1.3863], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0977, -0.5856], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1487, -0.5972], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] たくさんの 遠 回 りを [UNK] り 返 して [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0879, 0.4917], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2107, -1.4882], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4984, -0.6745], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0964, -0.0407], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5660, -1.0081], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0869, 0.4025], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0318, 0.6582], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6601, -0.7524], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6653, -0.8523], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わぅッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6325, -0.7211], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 パジャマパーティーズ 」 に 入 ってほしいってコト [SEP] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1903, -0.1150], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1989, -0.2204], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.3933482766151428'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6637, -0.9730], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7578, 0.4284], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1602, -0.3021], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1497, -0.7089], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7124, 0.6004], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5088, -0.9813], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7012, -1.2351], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1944, -0.3914], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0419, -0.0973], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8327, -1.2474], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.4343297481536865'\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8448, -1.0318], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1727, -0.4590], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] すごッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8608, -0.9531], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3548, -0.0814], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8529, 0.4793], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6523, -0.1220], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8242, -1.3571], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァアーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0227, -1.5044], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0348, -1.5704], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] むくれ 顔 の 蛇 も 気 づきはしない [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9451, 0.2254], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7786, 0.3193], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] やめてよォやめてーッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1273, -0.4761], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6357, -0.9441], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つれえ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1728, -0.2217], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] いちびりのガキが [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3004, -0.0411], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0199, -0.3994], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9282, -1.3235], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5465, -0.0987], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていては [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9133, 0.4193], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ンフアッごめんッ 笑 っちゃってッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3405, -0.7891], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8951, 0.0987], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0600, -1.3952], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1523, -1.2891], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1895, -1.4215], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8765, -1.1765], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1907, -0.5911], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7435, -0.5146], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1907, -0.4833], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.3114, -1.5574], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7109, -0.9805], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7943, -1.0567], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2551, -1.5031], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0639, -1.1597], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7924, -1.2564], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7714, 0.1369], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1196, -0.2945], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2131, -0.4257], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 全 然 ちがったッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2628, -0.5126], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6889, -0.0025], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] star [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.4602, -0.2502], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.3761805221438408'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2224, -0.3722], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8710, -1.1952], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1367, -0.3166], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1616, -0.5531], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4779, 0.1223], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0539, -0.4462], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2991, -0.6954], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8031, 0.2624], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2867, -0.6156], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.8587, -1.3135], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.5051358938217163'\n", + "[('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7390, -0.0353], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2094, -0.2047], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] エーエー [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8735, -0.9252], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ランカーになって 立 ち 食 いそば 食 べたいなって [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6403, -0.0049], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] もう 何 も 考 えないよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5471, -0.0546], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.6457, 0.9988], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.8847, 0.4418], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] フゥン 。 フゥン 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.3069, -1.3772], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0719, -1.2087], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ちょっとひとくち [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0743, -0.2619], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7420, -0.9290], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7942, -1.0942], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0069, 0.3226], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7420, -0.9290], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1151, -0.3042], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 心 を [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7874, 0.3574], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ズッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9675, -1.3027], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8518, -1.3105], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7024, 0.4428], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プル [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6326, -0.8224], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.6264, 0.1953], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2715, -1.4428], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] キラだッッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4180, -0.5402], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0645, -0.2894], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] つゅる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6047, -0.7809], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1704, -0.2031], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9321, 0.6795], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1733, -1.4213], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7420, -0.9290], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もくもくもく [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2142, -0.0737], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4482, -0.5845], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2190, -1.4650], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2805, -0.0056], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] カメラ 大 丈 夫 そう [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1012, -0.3938], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0747, 0.3827], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4667, -0.8228], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 泥 遊 びした 跡 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2754, -0.3564], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 殴 り 殴 られ 乱 闘 中 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2853, -0.0893], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] サクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1074, -1.3394], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8443, -1.2396], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.3807338550686836'\n", + "[(tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.4819, 0.0575], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1948, 0.0231], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8296, 0.1034], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7441, 0.1103], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0167, -0.4405], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8148, -0.9265], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.2066, 0.7945], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0338, -0.8367], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5711, -1.0039], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7894, -0.8721], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.4090387523174286'\n", + "[('[CLS] シショ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6217, -1.1545], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0115, 0.5522], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0500, -0.0827], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] これなら 登 れるよッッありがとうッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4273, -0.0367], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.7364, -1.1952], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 今 日 はしょっぱい 系 の 具 にするの [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.7591, 0.3280], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1038, -1.3497], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハンモックまである [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3226, -0.6436], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5928, 0.1566], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0030, -0.2095], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3270, -0.4633], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウウラ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5897, -1.0537], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0907, 0.7171], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] くんくんッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6686, -0.9686], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わァッァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8624, -0.9582], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] なんの 具 だろ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1339, -0.3442], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0912, 0.5643], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.4451, -1.5473], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3516, -0.7919], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1903, -1.4678], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] うんッがんばるッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1361, -0.5111], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6412, -0.8282], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6412, -0.8282], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.2102, 0.5182], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2546, 0.1204], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 半 端 に 稼 いだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6106, 0.1253], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0156, -0.3847], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3315, -0.0826], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムシャッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0603, -1.3082], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2370, -0.1823], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] 実 はコレ 持 ってきたッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.8321, 0.5725], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6412, -0.8282], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3576, -0.7137], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 離 れないように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9496, 0.5143], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5885, -0.9475], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.1970, -0.6729], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] うわうわッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5301, -0.8133], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あなたがいてほしいんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5065, -0.0487], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] スーコクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0477, -1.3176], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シャリ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5938, -0.8562], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.3956548795104027'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.5343, 0.2043], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6749, -0.6868], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0778, -0.0636], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8082, 0.4056], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.2952, -0.0781], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6271, -1.0815], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5459, -0.1091], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6903, -0.8157], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0635, -0.3080], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6001, 0.2744], device='cuda:0', grad_fn=),\n", + " '米津玄師')]\n", + "'train_loss: 0.4180378019809723'\n", + "[('[CLS] 書 きすぎ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.1053, -0.3088], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムム [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.3326, -1.5786], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] お 金 ためて 買 ったんだァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0917, -0.6885], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ひとなめで [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0361, -0.3900], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9742, -1.4330], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.4191, -1.6966], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 考 えた 矢 先 に [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9244, 0.2400], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8397, -1.0145], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 眠 り 続 けられますように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.0384, 0.6577], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.5738, 0.9269], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] もう 一 度 初 めから 歩 けるなら [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8713, 0.4977], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 今 ちょうどそれ 歌 おうと 思 ってた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.8118, 0.3689], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9875, 0.2955], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] なんかなまあたたかな 空 気 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4104, -0.1837], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 花 びらが 散 ればあなたとおさらば [SEP] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7937, 0.1405], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.6778, -1.7800], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8636, -1.0506], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ぴょん [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8621, -1.1089], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 見 捨 てるアドバルーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0497, -0.4357], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2652, -0.1010], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8994, 0.1030], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] コォォ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0584, -1.5940], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2117, -0.2271], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] その 目 から 伝 わってきた [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8707, 0.3438], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.4645, -1.5782], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8636, -1.0506], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ずっと 叶 わない 思 いばかりを 募 らせていて�� [SEP] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.9287, 0.4347], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7786, 0.1441], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] プラッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.3893, -1.5607], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4302, -0.9061], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] えッえッどういうこと [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2199, -0.6047], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 鬼 みたい [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.2231, -0.4357], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2984, -0.1390], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] あんなええもん 持 ったらこうなるわ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.3572, -0.0790], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ハフハフ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6504, -0.9587], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] わアアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6574, -0.6583], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] れた 心 も [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7857, 0.3264], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 苛 ついて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1745, -0.3733], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.2906, -0.7785], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] あせもとかできちゃって [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3872, -0.6597], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.37308334559202194'\n", + "[(tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3373, -0.8822], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.3000, -1.4076], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.0594, -0.0679], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9749, -1.1599], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.5174, -0.5225], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.1954, -1.4083], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1776, -0.1263], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.4121, 0.0169], device='cuda:0', grad_fn=),\n", + " '米津玄師'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5522, -0.7509], device='cuda:0', grad_fn=),\n", + " 'ちいかわ'),\n", + " (tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.4982, -0.7482], device='cuda:0', grad_fn=),\n", + " 'ちいかわ')]\n", + "'train_loss: 0.45381829142570496'\n", + "[('[CLS] イィィィヤャャャャャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6777, -1.0338], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ハァハァハァ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8538, -1.2960], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 が 愛 したあの 人 は [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6019, -0.0895], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ああだのこうだの 知 ったもんか 幸 先 の 空 は 悪 [SEP]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8073, 0.0109], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] Yonezu ) 砂 の [UNK] 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.1743, -0.3113], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] やっぱりおかしいよ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([-0.3706, -0.2663], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ムムッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.7704, -1.8725], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ッパ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9340, -1.1088], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 擦 り 切 れて 擦 り 切 れて [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.5666, -0.2077], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 御 目 通 りありがたし [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.8900, 0.1979], device='cuda:0'),\n", + " '米津玄師')]\n", + "[('[CLS] わッわッ 何 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.5261, -1.0020], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ウララララ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8660, -1.1706], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] エッエッどういうコト [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6909, -1.1312], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] グジャアッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいか���',\n", + " tensor([ 1.0596, -1.4549], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9662, -1.1532], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 何 から 話 せばいいのか [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1211, -0.3177], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 住 み 着 いたまま 離 れないんだ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7524, 0.1273], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] 解 れていくボタンの 穴 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.0726, -0.4919], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 醜 くも 地 を 這 って [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.7604, 0.5078], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] [UNK] めく 星 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.1659, -0.2002], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9662, -1.1532], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] きッ 消 ッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6476, -0.8469], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ありがとッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.3102, -0.7105], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ムチャ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0661, -1.5249], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 陶 器 みたいな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3849, -0.8728], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 怨 念 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([ 0.3614, -0.3942], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] バキシバキ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6969, -1.2475], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 袖 が 触 れてしまった [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.6876, 0.0530], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] みゃァアアア [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.6601, -0.7963], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 僕 たちは [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.2009, -0.2365], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "[('[CLS] 最 後 まで 思 い 馳 せる [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-0.0992, -0.1870], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ツップ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.0525, -1.5444], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] じゅグス [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9116, -1.2705], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ズズ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.2162, -1.5316], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 「 神 秘 的 」 っていうのかな [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.0579, -0.1921], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] 忘 れた 物 を 取 りに 帰 るように [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(1, device='cuda:0'),\n", + " '米津玄師',\n", + " tensor([-1.4847, 0.8379], device='cuda:0'),\n", + " '米津玄師'),\n", + " ('[CLS] ゴクッ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.5579, -1.6716], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] [UNK] [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.9662, -1.1532], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] ンーン [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 1.5084, -1.7859], device='cuda:0'),\n", + " 'ちいかわ'),\n", + " ('[CLS] シミュ [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] '\n", + " '[PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]',\n", + " tensor(0, device='cuda:0'),\n", + " 'ちいかわ',\n", + " tensor([ 0.8408, -0.6119], device='cuda:0'),\n", + " 'ちいかわ')]\n", + "'test_loss: 0.3728242665529251'\n", + "Model saved to ../models/model_20240110_163719.safetensors\n" + ] + }, + { + "data": { + "image/png": "iVBORw0KGgoAAAANSUhEUgAAAjcAAAHFCAYAAAAOmtghAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjguMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8g+/7EAAAACXBIWXMAAA9hAAAPYQGoP6dpAAC3YklEQVR4nOydd3hb9fX/X1eSLe+9E8fZg0xISCBhBwJhly9lFSiU0ZZSfkBpoaVQoKUUWiAFGmgpEMrelEIYYQQCYYbsvZ3hxPHeS7q/P64+V5Ktbdly7PN6Hj2Sr66uPpJl36P3eZ9zNF3XdQRBEARBEPoJllgvQBAEQRAEIZpIcCMIgiAIQr9CghtBEARBEPoVEtwIgiAIgtCvkOBGEARBEIR+hQQ3giAIgiD0KyS4EQRBEAShXyHBjSAIgiAI/QoJbgRBEARB6FdIcCMI/YAFCxagaRrfffddrJcSUy677DJSUlK8ts2fP58FCxbEZkEhrGPHjh1omtYn1igI/QUJbgRB6Nf09eCmsLCQL7/8ktNOO633FyUI/RRbrBcgCIJwsKHrOi0tLSQmJnb7WHa7nSOOOCIKqxIEQSHKjSAMID7//HNmz55NamoqSUlJzJw5k3feecdrn6amJm666SaGDRtGQkICWVlZTJs2jRdeeMHcZ9u2bVxwwQUUFRVht9vJz89n9uzZrFixwu9zz5s3D03T2LJlS5f7br75ZuLj46moqABg+fLlnH766eTl5WG32ykqKuK0005j9+7dYb3eoUOHsnbtWj799FM0TUPTNIYOHWreX1dXZ77W+Ph4Bg0axPXXX09jY6PXcTRN49prr+Wxxx5j3Lhx2O12nn76aQDuvPNOZsyYQVZWFmlpaRx22GE88cQTeM4kDrQOf2mpUH5XKh35ySef8POf/5ycnByys7M555xz2Lt3b1jvlSD0J0S5EYQBwqeffspJJ53EpEmTeOKJJ7Db7cyfP58zzjiDF154gfPPPx+AG2+8kWeeeYY//elPHHrooTQ2NrJmzRoqKyvNY5166qk4HA7uu+8+hgwZQkVFBUuXLqWmpsbv81988cXcfPPNLFiwgD/96U/mdofDwbPPPssZZ5xBTk4OjY2NnHTSSQwbNox//OMf5Ofns2/fPj755BPq6+vDes1vvPEG5557Lunp6cyfPx8wlBIwgrhjjz2W3bt387vf/Y5Jkyaxdu1abr/9dlavXs2HH36Ipmnmsd58802WLFnC7bffTkFBAXl5eYARnPz0pz9lyJAhAHz11Vf88pe/ZM+ePdx+++1B1+GLUH9XiiuvvJLTTjuN559/nl27dvHrX/+aiy++mI8//jis90sQ+g26IAgHPU899ZQO6N9++63ffY444gg9Ly9Pr6+vN7d1dHToEyZM0AcPHqw7nU5d13V9woQJ+tlnn+33OBUVFTqgz5s3L+x1nnPOOfrgwYN1h8Nhblu4cKEO6P/73/90Xdf17777Tgf0N998M+zj//jHP9aTk5O9to0fP14/9thju+x7zz336BaLpct79uqrr+qAvnDhQnMboKenp+tVVVUBn9/hcOjt7e36XXfdpWdnZ5vvaaB1bN++XQf0p556ytwW6u9K/d6vueYar2Ped999OqCXlZUFXK8g9FckLSUIA4DGxka+/vprzj33XK9qIqvVyiWXXMLu3bvZuHEjANOnT+fdd9/llltuYfHixTQ3N3sdKysrixEjRvDXv/6VBx54gOXLl+N0OkNax+WXX87u3bv58MMPzW1PPfUUBQUFzJ07F4CRI0eSmZnJzTffzGOPPca6deu6+/J98vbbbzNhwgSmTJlCR0eHeTn55JPRNI3Fixd77X/CCSeQmZnZ5Tgff/wxJ554Iunp6VitVuLi4rj99tuprKykvLw87HWF87tSnHnmmV4/T5o0CYCdO3eG/fyC0B+Q4EYQBgDV1dXouk5hYWGX+4qKigDMtNNDDz3EzTffzJtvvsnxxx9PVlYWZ599Nps3bwYM/8lHH33EySefzH333cdhhx1Gbm4u1113XdC00dy5cyksLOSpp54y1/XWW29x6aWXYrVaAUhPT+fTTz9lypQp/O53v2P8+PEUFRXxhz/8gfb29qi9J/v372fVqlXExcV5XVJTU9F13fT/KHy9d9988w1z5swB4PHHH+eLL77g22+/5dZbbwXoEhiGQji/K0V2drbXzyrlFcnzC0J/QDw3gjAAyMzMxGKxUFZW1uU+ZTzNyckBIDk5mTvvvJM777yT/fv3myrOGWecwYYNGwAoKSnhiSeeAGDTpk28/PLL3HHHHbS1tfHYY4/5XYdSHx566CFqamp4/vnnaW1t5fLLL/fab+LEibz44ovous6qVatYsGABd911F4mJidxyyy1ReU9ycnJITEzkySef9Hu/J57+G8WLL75IXFwcb7/9NgkJCeb2N998M+J1hfO7EgTBN6LcCMIAIDk5mRkzZvD66697fZt3Op08++yzDB48mNGjR3d5XH5+PpdddhkXXnghGzdupKmpqcs+o0eP5ve//z0TJ07k+++/D7qWyy+/nJaWFl544QUWLFjAkUceydixY33uq2kakydP5sEHHyQjIyOk43fGbrf7VDBOP/10tm7dSnZ2NtOmTety8ayq8oemadhsNlN1AkMteeaZZ0JeR2ci/V0JguBGlBtB6Ed8/PHH7Nixo8v2U089lXvuuYeTTjqJ448/nptuuon4+Hjmz5/PmjVreOGFF0xlYsaMGZx++ulMmjSJzMxM1q9fzzPPPMORRx5JUlISq1at4tprr+WHP/who0aNIj4+no8//phVq1aFpKqMHTuWI488knvuuYddu3bxr3/9y+v+t99+m/nz53P22WczfPhwdF3n9ddfp6amhpNOOins90SpQC+99BLDhw8nISGBiRMncv311/Paa69xzDHHcMMNNzBp0iScTielpaV88MEH/OpXv2LGjBkBj33aaafxwAMPcNFFF3H11VdTWVnJ3/72N5+VUP7W4YtQf1eCIPghpnZmQRCigqqa8XfZvn27ruu6vmTJEv2EE07Qk5OT9cTERP2II44wq5QUt9xyiz5t2jQ9MzNTt9vt+vDhw/UbbrhBr6io0HVd1/fv369fdtll+tixY/Xk5GQ9JSVFnzRpkv7ggw/qHR0dIa33X//6lw7oiYmJem1trdd9GzZs0C+88EJ9xIgRemJiop6enq5Pnz5dX7BgQdDj+qqW2rFjhz5nzhw9NTVVB/SSkhLzvoaGBv33v/+9PmbMGD0+Pl5PT0/XJ06cqN9www36vn37zP0A/Re/+IXP53zyySf1MWPGmO/VPffcoz/xxBNe73ugdfiqltL10H5X/qrkPvnkEx3QP/nkk6DvmSD0RzRd9+g0JQiCIAiCcJAjnhtBEARBEPoVEtwIgiAIgtCvkOBGEARBEIR+hQQ3giAIgiD0KyS4EQRBEAShXyHBjSAIgiAI/YoB18TP6XSyd+9eUlNTpRGWIAiCIBwk6LpOfX09RUVFWCyBtZkBF9zs3buX4uLiWC9DEARBEIQI2LVrF4MHDw64z4ALblJTUwHjzUlLS4vxagRBEARBCIW6ujqKi4vN83ggBlxwo1JRaWlpEtwIgiAIwkFGKJYSMRQLgiAIgtCvkOBGEARBEIR+hQQ3giAIgiD0Kwac50YQBEGILk6nk7a2tlgvQ+gHxMfHBy3zDgUJbgRBEISIaWtrY/v27TidzlgvRegHWCwWhg0bRnx8fLeOI8GNIAiCEBG6rlNWVobVaqW4uDgq37iFgYtqsltWVsaQIUO61WhXghtBEAQhIjo6OmhqaqKoqIikpKRYL0foB+Tm5rJ37146OjqIi4uL+DgSZguCIAgR4XA4ALqdQhAEhfosqc9WpEhwIwiCIHQLmdMnRItofZYkuBEEQRAEoV8hwY0gCIIgdJPjjjuO66+/PuT9d+zYgaZprFixosfWBLB48WI0TaOmpqZHn6evIYZiQRAEYcAQLO3x4x//mAULFoR93Ndffz0sA2xxcTFlZWXk5OSE/VxCcCS4iRIOp05lYyv1LR2MyE2J9XIEQRAEH5SVlZm3X3rpJW6//XY2btxobktMTPTav729PaSgJSsrK6x1WK1WCgoKwnqMEDqSlooSe6qbmX73R5z20JJYL0UQBEHwQ0FBgXlJT09H0zTz55aWFjIyMnj55Zc57rjjSEhI4Nlnn6WyspILL7yQwYMHk5SUxMSJE3nhhRe8jts5LTV06FD+/Oc/85Of/ITU1FSGDBnCv/71L/P+zmkplT766KOPmDZtGklJScycOdMr8AL405/+RF5eHqmpqVx55ZXccsstTJkyJaz34LXXXmP8+PHY7XaGDh3K/fff73X//PnzGTVqFAkJCeTn53Puueea97366qtMnDiRxMREsrOzOfHEE2lsbAzr+XsDCW6iREayEdm3tDtpae9eCZsgCMLBiK7rNLV1xOSi63rUXsfNN9/Mddddx/r16zn55JNpaWlh6tSpvP3226xZs4arr76aSy65hK+//jrgce6//36mTZvG8uXLueaaa/j5z3/Ohg0bAj7m1ltv5f777+e7777DZrPxk5/8xLzvueee4+677+bee+9l2bJlDBkyhEcffTSs17Zs2TLOO+88LrjgAlavXs0dd9zBbbfdZqbivvvuO6677jruuusuNm7cyHvvvccxxxwDGKrXhRdeyE9+8hPWr1/P4sWLOeecc6L63kcLSUtFiVS7DZtFo8OpU93URmF6YvAHCYIg9COa2x0ccvv7MXnudXedTFJ8dE5p119/Peecc47Xtptuusm8/ctf/pL33nuPV155hRkzZvg9zqmnnso111wDGAHTgw8+yOLFixk7dqzfx9x9990ce+yxANxyyy2cdtpptLS0kJCQwMMPP8wVV1zB5ZdfDsDtt9/OBx98QENDQ8iv7YEHHmD27NncdtttAIwePZp169bx17/+lcsuu4zS0lKSk5M5/fTTSU1NpaSkhEMPPRQwgpuOjg7OOeccSkpKAJg4cWLIz92biHITJTRNIyPJUG+qG9tjvBpBEAQhUqZNm+b1s8Ph4O6772bSpElkZ2eTkpLCBx98QGlpacDjTJo0ybyt0l/l5eUhP6awsBDAfMzGjRuZPn261/6dfw7G+vXrmTVrlte2WbNmsXnzZhwOByeddBIlJSUMHz6cSy65hOeee46mpiYAJk+ezOzZs5k4cSI//OEPefzxx6murg7r+XsLUW6iSEZSPBUNbdQ0yXRcQRAGHolxVtbddXLMnjtaJCcne/18//338+CDDzJv3jwmTpxIcnIy119/fdBJ6J2NyJqmBR0w6vkYVdnl+ZjO1V7hpoR0XQ94jNTUVL7//nsWL17MBx98wO23384dd9zBt99+S0ZGBosWLWLp0qV88MEHPPzww9x66618/fXXDBs2LKx19DSi3ESRTKXcNIlyIwjCwEPTNJLibTG59GSX5CVLlnDWWWdx8cUXM3nyZIYPH87mzZt77Pn8MWbMGL755huvbd99911YxzjkkEP4/PPPvbYtXbqU0aNHY7UaAaLNZuPEE0/kvvvuY9WqVezYsYOPP/4YMH7Hs2bN4s4772T58uXEx8fzxhtvdONV9Qyi3ESRjCRjJka1KDeCIAj9hpEjR/Laa6+xdOlSMjMzeeCBB9i3bx/jxo3r1XX88pe/5KqrrmLatGnMnDmTl156iVWrVjF8+PCQj/GrX/2Kww8/nD/+8Y+cf/75fPnllzzyyCPMnz8fgLfffptt27ZxzDHHkJmZycKFC3E6nYwZM4avv/6ajz76iDlz5pCXl8fXX3/NgQMHev19CAUJbqKIUm4kLSUIgtB/uO2229i+fTsnn3wySUlJXH311Zx99tnU1tb26jp+9KMfsW3bNm666SZaWlo477zzuOyyy7qoOYE47LDDePnll7n99tv54x//SGFhIXfddReXXXYZABkZGbz++uvccccdtLS0MGrUKF544QXGjx/P+vXr+eyzz5g3bx51dXWUlJRw//33M3fu3B56xZGj6X2xhqsHqaurIz09ndraWtLS0qJ67HsWruefn23jyqOG8fvTD4nqsQVBEPoaLS0tbN++nWHDhpGQkBDr5QxITjrpJAoKCnjmmWdivZSoEOgzFc75W5SbKOJOS4nnRhAEQYguTU1NPPbYY5x88slYrVZeeOEFPvzwQxYtWhTrpfU5JLiJIhmSlhIEQRB6CE3TWLhwIX/6059obW1lzJgxvPbaa5x44omxXlqfQ4KbKOKulpLgRhAEQYguiYmJfPjhh7FexkGBlIJHEZWWqpG0lCAIgiDEDAluokimlIILgiAIQsyR4CaKqLRUbXM7TueAKkITBEEQhD6DBDdRRKWlnDrUtUhqShAEQRBigQQ3USTeZiE53mhfLeXggiAIghAbJLiJMjKCQRAEQRBiiwQ3USYzWXrdCIIg9HeOO+44rr/+evPnoUOHMm/evICP0TSNN998s9vPHa3jBOKOO+5gypQpPfocPYkEN1EmU8rBBUEQ+ixnnHGG36Z3X375JZqm8f3334d93G+//Zarr766u8vzwl+AUVZW1ifnOfUlYh7czJ8/35whMXXqVJYsWRJw/+eee47JkyeTlJREYWEhl19+OZWVlb202uDICAZBEIS+yxVXXMHHH3/Mzp07u9z35JNPMmXKFA477LCwj5ubm0tSUlI0lhiUgoIC7HZ7rzzXwUpMg5uXXnqJ66+/nltvvZXly5dz9NFHM3fuXEpLS33u//nnn3PppZdyxRVXsHbtWl555RW+/fZbrrzyyl5euX9kMrggCELf5fTTTycvL48FCxZ4bW9qauKll17iiiuuoLKykgsvvJDBgweTlJTExIkTeeGFFwIet3NaavPmzRxzzDEkJCRwyCGH+Jz/dPPNNzN69GiSkpIYPnw4t912G+3txhfjBQsWcOedd7Jy5Uo0TUPTNHPNndNSq1ev5oQTTiAxMZHs7GyuvvpqGhoazPsvu+wyzj77bP72t79RWFhIdnY2v/jFL8znCgWn08ldd93F4MGDsdvtTJkyhffee8+8v62tjWuvvZbCwkISEhIYOnQo99xzj3n/HXfcwZAhQ7Db7RQVFXHdddeF/NyRENPxCw888ABXXHGFGZzMmzeP999/n0cffdTrTVF89dVXDB061HxThg0bxk9/+lPuu+++Xl13IMRQLAjCgEXXob0pNs8dlwSaFnQ3m83GpZdeyoIFC7j99tvRXI955ZVXaGtr40c/+hFNTU1MnTqVm2++mbS0NN555x0uueQShg8fzowZM4I+h9Pp5JxzziEnJ4evvvqKuro6L3+OIjU1lQULFlBUVMTq1au56qqrSE1N5Te/+Q3nn38+a9as4b333jNHLqSnp3c5RlNTE6eccgpHHHEE3377LeXl5Vx55ZVce+21XgHcJ598QmFhIZ988glbtmzh/PPPZ8qUKVx11VVBXw/A3//+d+6//37++c9/cuihh/Lkk09y5plnsnbtWkaNGsVDDz3EW2+9xcsvv8yQIUPYtWsXu3btAuDVV1/lwQcf5MUXX2T8+PHs27ePlStXhvS8kRKz4KatrY1ly5Zxyy23eG2fM2cOS5cu9fmYmTNncuutt7Jw4ULmzp1LeXk5r776KqeddlpvLDkkMhLVfClJSwmCMMBob4I/F8XmuX+3F+KTQ9r1Jz/5CX/9619ZvHgxxx9/PGCkpM455xwyMzPJzMzkpptuMvf/5S9/yXvvvccrr7wSUnDz4Ycfsn79enbs2MHgwYMB+POf/9zFJ/P73//evD106FB+9atf8dJLL/Gb3/yGxMREUlJSsNlsFBQU+H2u5557jubmZv7zn/+QnGy8/kceeYQzzjiDe++9l/z8fAAyMzN55JFHsFqtjB07ltNOO42PPvoo5ODmb3/7GzfffDMXXHABAPfeey+ffPIJ8+bN4x//+AelpaWMGjWKo446Ck3TKCkpMR9bWlpKQUEBJ554InFxcQwZMoTp06eH9LyRErO0VEVFBQ6Hw3zjFfn5+ezbt8/nY2bOnMlzzz3H+eefT3x8PAUFBWRkZPDwww/7fZ7W1lbq6uq8Lj2JVEsJgiD0bcaOHcvMmTN58sknAdi6dStLlizhJz/5CQAOh4O7776bSZMmkZ2dTUpKCh988IFfy0Rn1q9fz5AhQ8zABuDII4/sst+rr77KUUcdRUFBASkpKdx2220hP4fnc02ePNkMbABmzZqF0+lk48aN5rbx48djtVrNnwsLCykvLw/pOerq6ti7dy+zZs3y2j5r1izWr18PGKmvFStWMGbMGK677jo++OADc78f/vCHNDc3M3z4cK666ireeOMNOjo6wnqd4RLzqeBaJxlR1/Uu2xTr1q3juuuu4/bbb+fkk0+mrKyMX//61/zsZz/jiSee8PmYe+65hzvvvDPq6/aHmZZqFOVGEIQBRlySoaDE6rnD4IorruDaa6/lH//4B0899RQlJSXMnj0bgPvvv58HH3yQefPmMXHiRJKTk7n++utpawvtS6uudx2/0/m89tVXX3HBBRdw5513cvLJJ5Oens6LL77I/fffH9brCHTO9NweFxfX5T6n0xnWcwU6Xx922GFs376dd999lw8//JDzzjuPE088kVdffZXi4mI2btzIokWL+PDDD7nmmmv461//yqefftplXdEiZspNTk4OVqu1i0pTXl7eRc1R3HPPPcyaNYtf//rXTJo0iZNPPpn58+fz5JNPUlZW5vMxv/3tb6mtrTUvKgfYU7hLwUW5EQRhgKFpRmooFpcQ/DaenHfeeVitVp5//nmefvppLr/8cvNEvWTJEs466ywuvvhiJk+ezPDhw9m8eXPIxz7kkEMoLS1l7153oPfll1967fPFF19QUlLCrbfeyrRp0xg1alSXCq74+HgcDkfQ51qxYgWNjY1ex7ZYLIwePTrkNQciLS2NoqIiPv/8c6/tS5cuZdy4cV77nX/++Tz++OO89NJLvPbaa1RVVQGQmJjImWeeyUMPPcTixYv58ssvWb16dVTW54uYKTfx8fFMnTqVRYsW8YMf/MDcvmjRIs466yyfj2lqasJm816yktl8RcoAdru9V0vmVLWUeG4EQRD6LikpKZx//vn87ne/o7a2lssuu8y8b+TIkbz22mssXbqUzMxMHnjgAfbt2+d1Ig/EiSeeyJgxY7j00ku5//77qaur49Zbb/XaZ+TIkZSWlvLiiy9y+OGH88477/DGG2947TN06FC2b9/OihUrGDx4MKmpqV3OZz/60Y/4wx/+wI9//GPuuOMODhw4wC9/+UsuueQSv0JBJPz617/mD3/4AyNGjGDKlCk89dRTrFixgueeew6ABx98kMLCQqZMmYLFYuGVV14xrSMLFizA4XAwY8YMkpKSeOaZZ0hMTPTy5USbmJaC33jjjfz73//mySefZP369dxwww2Ulpbys5/9DDBUl0svvdTc/4wzzuD111/n0UcfZdu2bXzxxRdcd911TJ8+naKiGJnYFK0NsOEdcrcZH87mdgct7YEjbkEQBCF2XHHFFVRXV3PiiScyZMgQc/ttt93GYYcdxsknn8xxxx1HQUEBZ599dsjHtVgsvPHGG7S2tjJ9+nSuvPJK7r77bq99zjrrLG644QauvfZapkyZwtKlS7ntttu89vm///s/TjnlFI4//nhyc3N9lqMnJSXx/vvvU1VVxeGHH865557L7NmzeeSRR8J7M4Jw3XXX8atf/Ypf/epXTJw4kffee4+33nqLUaNGAUaweO+99zJt2jQOP/xwduzYwcKFC7FYLGRkZPD4448za9YsJk2axEcffcT//vc/srOzo7pGTzTdn+TRS8yfP5/77ruPsrIyJkyYwIMPPsgxxxwDGAalHTt2sHjxYnP/hx9+mMcee4zt27eTkZHBCSecwL333sugQYNCer66ujrS09Opra0lLS0tei+kphTmTUS3xjOyeQEOJ3z129kUpCdE7zkEQRD6EC0tLWzfvt1sxCoI3SXQZyqc83fMg5vepseCm45W+FMeALMtT7K1KYF3/9/RjCuM4nMIgiD0ISS4EaJNtIKbmI9f6DfY7JBkSGzDE+oBmS8lCIIgCLFAgptokloIQEm80UtHKqYEQRAEofeR4CaapBpdJAfZagGpmBIEQRCEWCDBTTRxBTeFlmpA5ksJgjAwGGDWTaEHidZnSYKbaJJqlKPn6kZwI2kpQRD6M6rPWKidewUhGOqz5DkqIhJiPn6hX+FSbjKdlYCkpQRB6N/YbDaSkpI4cOAAcXFxWCzyfVmIHKfTyYEDB0hKSurSsDdcJLiJJi5DcXqHEdyIciMIQn9G0zQKCwvZvn17l9EBghAJFouFIUOG+J2XFSoS3EQTl3KT3GpMWhXlRhCE/k58fDyjRo2S1JQQFeLj46OiAEpwE01cyo29tQILTjEUC4IwILBYLNLET+hTSII0miTngmZB051kUytN/ARBEAQhBkhwE02sNkg2RjDka9XUNLXhdEqJpCAIgiD0JhLcRJs0IzWVr1Xj1KG+tSPGCxIEQRCEgYUEN9HG5bspdnUploopQRAEQehdJLiJNq6KqSFxxnwpqZgSBEEQhN5Fgpto41JuBtlqABnBIAiCIAi9jQQ30cal3ORrMoJBEARBEGKBBDfRxqXc5OhVAFQ3SlpKEARB6F1W7qrhN6+upLy+JdZLiQkS3EQbl3KT4ZARDIIgCEJsePKL7bz83W7eXb0v1kuJCRLcRBvXZPCUjhri6BBDsSAIgtDrNLQYbUia2x0xXklskOAm2iRlgSUOgFxqxFAsCIIg9DpNbUZQ09bhjPFKYoMEN9FG00zfjdGlWJQbQRAEoXdRik27Q4IbIVp4VEyJciMIgiD0Ns2i3AhRxyO4EeVGEARB6G2UctMmyo0QNbzSUqLcCIIgCL2L8txIWkqIHh7KTWObY8DKgoIgCEJsaGmXtJQQbdKMcnDpUiwIgiD0Nrqu09RmlIK3O/QYryY2SHDTE7iUm0JLDSDDMwVBEITeo83hxOmKaUS5EaKHy3OTh6HcSMWUIAiC0Fu0tLkDGjEUC9HDpdyk0kgCrZKWEgRBEHqNpvYO87YYioXoYU+DuCRA9bqRtJQgCILQO6geNyBpKSGaaJq7Ygpp5CcIgiD0Hk0ewY0oN0J0kREMgiAIQgxoaRflRoKbnkKZirVqqhtFuREEQRB6B0/lpk1KwYWoYjbyqxHPjSAIgtBrNLdLWkqCm55CRjAIgiAIMUAMxRLc9Bwu5aZAq6KmWZQbQRAEoXcQ5UaCm57Do5GfKDeCIAhCbyHKjQQ3PYeH56amqQ1dH5imLkEQBKF38VRupEOxEF1cyk2S1kqis4n61o4gDxAEQRCE7tMsfW4kuOkx4pMgIR0wysFrGsV3IwiCIPQ8TZKWkuCmR/GomJIuxYIgCEJv4JmWcurgcA48W4QENz2JjGAQBEEQepnmNm8bxEBUbyS46UlkBIMgCILQy3gqNzAwTcUS3PQkZsWUKDeCIAhC7+DpuYGBaSqW4KYn8fLciHIjCIIg9DwtnZUbSUsJUUVGMAiCIAi9TOe0lCg3QnQRz40gCILQy3ROS4lyI0QXl+cmj2qqG1tjvBhBEARhINDSObgR5UaIKin5AMRrDpyNlTFejCAIgjAQaOqSlpI+N0I0scXTnpBt3GzaH+PFCIIgCAMBNX4h3mac4iUtJUQdp0u9SWwpj/FKBEEQhP6Ow6nT6gpm0hPjADEUCz2AJc0wFad1VNDa4QiytyAIgiBEjmcZuApuRLkRoo4tfRBgjGC45bXVdAzACFoQBEHoHTwrpVITbIAYioUeQHMpNwWWGt5Yvof/9+KKASkRCoIgCD2PUm4S46zEW41T/EA850hw09O4ysFPKnYSZ9V4Z3UZv3jue0lRCYIgCFFHNfBLireKoVjoQVyN/PKo5l+XTCPeZuGDdfv52TPLurTIFgRBEITuoNJSCaLcCD2KS7mhfh/Hj83jyR8fTkKchU82HuDKp78zS/YEQRAEobuoc0pSvJU4qyg3Qk/hUm5o2A+ODo4alcOCy6eTFG/l8y0VXPbUN6LgCIIgCFGhub0DgETPtJQ08ROiTnIuaFbQnUaAAxwxPJtnrphOqt3G19ur+PPC9TFepCAIgtAfaG4zVJrEOLdyI2kpIfpYrOAqB6d2l7l5akkWD190KAD/+XInb6/aG4vVCYIgCP2IpjYfyo2kpYQeIX2IcV2zy2vzcWPyuOa4EQDc8tpqdlQ09vbKBEEQhH6Edym4BohyI/QUGSq42dnlrhtPGs3hQzNpaO3gF89/L/4bQRAEIWJUtVSiGIqFHkcFN7W7utxls1p46MJDyUqOZ+3eOu5+R/w3giAIQmQ0eyo3pqFYgpteZ/78+QwbNoyEhASmTp3KkiVL/O572WWXoWlal8v48eN7ccURkFFsXNeU+ry7MD2RB86bDMAzX4n/RhAEQYgMzyZ+YiiOES+99BLXX389t956K8uXL+foo49m7ty5lJb6DgL+/ve/U1ZWZl527dpFVlYWP/zhD3t55WFipqV8vy7o6r/ZLv4bQRAEIUxUnxsv5UbSUr3LAw88wBVXXMGVV17JuHHjmDdvHsXFxTz66KM+909PT6egoMC8fPfdd1RXV3P55Zf38srDJN2l3NTuBt1/v4EbTxrN9KFZhv9GRjQIgiAIYWIGN/E2jw7F0uem12hra2PZsmXMmTPHa/ucOXNYunRpSMd44oknOPHEEykpKfG7T2trK3V1dV6XXidtEGgW6GiBhnK/u3n6b9aV1fHfFZKeEgRBEEKnyfTcWIhzVUuJctOLVFRU4HA4yM/P99qen5/Pvn37gj6+rKyMd999lyuvvDLgfvfccw/p6enmpbi4uFvrjghbPKQWGbd9mIo9KUhP4MqjhwHw4jf+01iCIAiC0JkWc/yCjXibFRBDcUzQNM3rZ13Xu2zzxYIFC8jIyODss88OuN9vf/tbamtrzcuuXYGDix7DNBV3LQfvzLlTB2OzaHxfWsOGfTFQmgRBEISDEnNwZrzVVG7EUNyL5OTkYLVau6g05eXlXdSczui6zpNPPskll1xCfHx8wH3tdjtpaWlel5gQgqlYkZeawEmHGO/Bi99EPxhzOnXW7KkVT48gCEI/w2cpuKSleo/4+HimTp3KokWLvLYvWrSImTNnBnzsp59+ypYtW7jiiit6conRRZmKa0ILVi6cbgRDr3+/O+qN/d5eXcbpD3/O/R9siupxBUEQhNjiORU8XkrBY8ONN97Iv//9b5588knWr1/PDTfcQGlpKT/72c8AI6V06aWXdnncE088wYwZM5gwYUJvLzlywlBuAI4amcPgzETqWjpYuLosqkv5fmc1ACt31UT1uIIgCEJsUcpNQpx0KI4Z559/PvPmzeOuu+5iypQpfPbZZyxcuNCsfiorK+vS86a2tpbXXnvt4FJtIGCXYl9YLBoXHG6oPS9E2Vi89UADALuqmqJ6XEEQBCG2NHkqN2aH4oFXCm6L9QKuueYarrnmGp/3LViwoMu29PR0mpoOwpOyp3Kj6xCCafqH04p58MPNfLujms376xmVnxqVpWwtN4KbsroWWjsc2F2OekEQBOHgxnNwpnQoFnqe9MHGdXsTNFWG9JD8tARmj80D4IUoGYsbWzvYW9sCGDHWnurmqBxXEARBiC26rnuNXxBDsdDz2OyQUmDcDtF3A3DhDEPxeS1KxuLOYx1KJTUlCILQL2hzOHE4jRRUghiKhV4jTFMxwDGjchmUkUhtczvvrQne3DAYym+jEN+NIAhC/6ClzR3EJMZZibNJh2KhNwjTVAxgtWicNy16xmLlt1GIciMIgtA/aGrvACDOqhFntZjKjXQoFnoWs0txeEHKeYcPxqLB19uruigv4bL1gJGWKs5KBCS4EQRB6C94TgQHxFAs9BJmWio8c3BheiInuIzF3Z03pYKj48cYxyutEkOxIAhCf6DJnAhuBDd2MRQLvUJ6+J4bhepY/Oqy3RGPTXA4dba5DMUquNlV1YSuD7weCIIgCP0NzzJwcCs3Th3TaDxQkOCmN+nc6yYMjh2dS0FaAtVN7Xyy4UBET7+nupm2DifxNgszhmcB0NDaQXVTe0THC8Tu6ibKakUVEgRB6C3cyo3Rwi7O5j7FDzT1RoKb3kR5btrqoaUmrIfarBZOPMRQW5btrIro6VVKanhOMknxNgrSEoDo+25a2h2c+vclnPHwFwPu24IgCEKscA/NNE7tylAMA89ULMFNbxKXCMm5xu0IUlOTB2cAsCLCmVAquBmRmwLAkKwkIPrBTVltC3UtHVQ0tHKgvjWqxxYEQRB802I28HMpN1Z3J/yBZiqW4Ka3idBUDHDokAwAVu+ppSOCD6o7uEkGoNgV3ES7141nQLOvriWqxxYEQRB8o9JSCS7PjaZp7nJwSUsJPUp6ZOXgAMNzUki122hpd7Jxf33Yj99abpiJR+R1Um4qoxvcVDR4BDfiuxEEQegVmj2GZiqUeiPKjdCzRNClWGGxaEwqTgciS011SUtl90yvG0/lpqxWlBtBEITeoLlTtRS4TcWi3Ag9SwRdij2ZUpwBwMowg5vqxjYqG9sAGJYZBxveYViyUSXVk8GNpKUEQRB6h+ZOfW6AAdulWIKb3sZUbnZG9PBITcXbKgzVpig9geQNr8GLFzFmzf0AlNU2RzWq9wpuRLkRBEHoFTo38QPPLsUDq3JVgpvephuGYoApLlPx5vIG6ltC70/j5bfZvwaAhL3fkBBnwanD3proeWMONEhaShAEobfxlZYaqF2KJbjpbZShuKUGWmrDfnheagKDMhLRdaNqKlS8/DbVOwDQKjYxJtO4P5qpKU/lZr+kpQRBEHqF5jZjcGaST+VGghuhJ7GnQKLRHThS9WZyBKZirzLwqu2urTozk/YC0Q1uKjopNzLeQRAEoedRyk2Cl6HYqJYS5UboeWJgKlbTwEfkJHn5fabYjEAnWr1unE7dK7hp63BS0wPjHQRBEARvmtuNACZJDMUS3MSEjMh73QBMKTZySaEqN60dDlOZGZXUCB3uVNHIji1A9JSb2uZ207iWmmB0yRTfjSAIQs+j0lJepeCSlhJ6jYwS4zrC4GbCoDSsFo39da0hDacsrWzC4dRJsdvIad/rdV9B4wZjnygFN8pMnJEUR3Gm0SRwX5008hMEQehpTEOxp3IjhmKh1+hGl2Iw5oaMzk8FQktNefptNJWSKpgEQHL9dlJporSyKSreGGUmzk2xU5huDObcVyvzpQRBEHoasxQ8rmtaSpQboefppucG3L6b5SEFNy6/TW6K20w8aKq5jgmW7dS3dlDb3H1vjPLb5KbaKTCDG1FuBEEQepqWNu/BmeBOS4lyI/Q83RjBoJiiKqZKa4Luu7XcpdzkucvAyRwKRYcCcGSCsY5opKZM5SbVTkGaEdyI50YQBKHnaTLTUu5Tu5mWkiZ+Qo+jDMVNldDWGNEhlKl49Z5aHM7AH1qvMvBql3KTNcwMbqbGGamqaAY3OSkeyo30uhEEQehxmtt8lIJLWkroNRLSjQtE3OtmZF4KyfFWmtocbC73PyFc13XvtJQP5WaMM3oVU57KTWG6MZizL49gqG9p5/b/rmHt3vAbKgqCIPQVHE6d1g5VCu5OS4mhWOhd0ruXmrJaNCYODp6aKq9vpaG1A6tFY0iqExoPGHdkDoXCyQDktO8lnYao9LpR1VK5KXYK0u1A3w5uXlu2m/98uZM/vr0u1ksRBEGImBZXSgo6G4qNJn6i3Ai9g2kq7o7vxkhNrdxd43cf5bcZkpWEvc6lEiVmGcpRYiZkDQdgomV79D03LuWmvrWDhtaObh+7J9hVbZidv99Z4/XPQRAE4WCi2eP/V0Kc+9QuhmKhd4miqXh5AOXG22+zw9iYOdS9gys1NUnbFpXgxrNaKsVuI8VuyKN9Vb1RfYLaHE6+21Ed49UIgiBERrNHGbimaeZ2t6FYghuhN+hml2JwKzeb9tfT6EcZ8fbbeJiJFYVTAKMcfG9NS7ekyw6Hk8rGNsAIbgCPcvC+Gty417V0a0UMVyIIghA5SrnxHL0AYigWehtTuYm8101BegIFaQk4dVjjZ0K4r2ngPpUbyzYcTp2ymsiDkKrGNnQdLBpkJsUDuBv59dGKKc/Xu3RrZQxXIgiCEDlNPiqlQAzFQm/TzS7FimATwt09bjzTUp7KjWEqHqxVkEVdt1JT5S6/TXaKHavFkEXz0/puI78Oh5Pyendws2p3DXUtMuRTEISDj+Y238qNu0Ox9LkRegOl3DSWQ3vkJ/5AQzQbWzvY60q7DM/x6E7sqdwkpEH2KKD7pmLPSimFUm76YiO//fWtOHWIs2qUZCfh1OGbbVWxXpYgCELYNLe7hmZ2SUsZXzRFuRF6h8RMsKcZt9+8Bur3R3QYpdz4mjG1vcLw22Qnx5OZaHWrRJ7BDZipqYndNBVXeFRKKZTnZn8fTEuV1RhBZX5aArNG5gDwhfhuBEE4CGluM4KXxC5pKeNnMRQLvYOmwXG/Bc0Ca1+HR6bB1/8CZ3jlyJMGZ6BpsLe2hXJXANHa4WBPTTOfbzFO1CNyU6BuDzjbwRoPaUXeB/Hw3XSn182BBh/BTR8ewaBUraL0RGaNMIKbL8V3IwjCQUhTW2DlZqAZim3BdxF6jCOvgZIj4e0bYO9yePfXsOJZOP1BY7BlZ5wO0J1gjTM3pdhtjM5LZeP+es585Asa2zqob/GunPLy22QMAYv3h99Ubizbebg7wY3H6AVFX66WUj6gwowEjhieBcCGffVUNLR6vQZBEIS+jurT1VW5GZiGYgluYk3RoXDlR7DsKfjwLihbCY/PhrGnGfc3VUFThTGHqrkabAnwk/dMIzDAzJHZbNxf71WRFGfVyE62U5SRwI9mlMD+FcYdnVNSAAUT0TULhVTRVLkn4pdywEdaSo1gqGxso7XDgd1m9fnYWLDXVSlVkJ5AdoqdcYVprC+r48utlZwxuSjIowVBEPoOzebQTH+GYgluhN7GYoXDr4RxZ8IHv4dVL8GGt33v294Ey56G0x8wN/365DEcMyqXxHgrOSl2clLiSU+M82rkxHplJh5GF+wp6Nmj0So2UNK2idqmdtKT4rruFwRfwU1mUhzxNgttHU7K61opzkoK+7g9hWrgV+QKwGaOyGZ9WR1LJbgRBOEgo6nNt3IzUDsUS3DTl0jJg3P+BVMvh51fQGIGJGVDUo5xXb4OXrsC1v8PTv2rmV5Kirdx/Ni8wMf21ePGA8ugw6Big+G7qW4iPSk97OVX+KiW0jSNgrQESqua2FfX0seCG0O5URVdM0dk88Tn26WZnyAIBx3+mvi5OxRLKbgQa0qOhGNuMtSc8T+AYUdD/iGGspOQbpSP7/o6vGP66k7sict3M0GLvBzcl3IDbt9Nb5iK1+6t5efPLmNvTfDyepWWKsowlJvpw7KwWjR2Vjaxuzr896CupV3mUwmCEBOagyg3Ay0tJcHNwYQtHsacatxe99/wHhtEuXFXTG2ntLIx7KW1tDuocxmZczuZcQt6sZHfPz7Zwrtr9vGfL3cG3K+1w2EqTUq5SU2IY5Jr0nq4VVP1Le0cfe8nnPfPLyNYtSAIQvcwg5t474TMQDUUS3BzsHHIWcb1+v+BM8QPa3ONYUYGyCjxvU/BBJxYydNqWLdxI4vW7efrbZWsL6tjT00z9UE696pAId5qIS3R+4/LHMFQ2xraervBmj11AGxzjZ3wR3mda702C1nJ8eb2mSOygfBHMWza30BtczurdtcOuG9IgiDEniazWsr7tC6GYuHgYPjxEO/qW7NnGRQfHvwxSrVJzgN7iu994hKpSxtJRt1Gmnd+x1Xbu+5y8RFD+NPZE30+3DMl5WVkxqMcvK5nlZvapnYzpbatIrD6pNJWhekJXuudNSKHf3yylaVbK9B1vctr8ccejzRYVWObOXYillQ1tvHO6jLOmlJEWkL4BnFBEA4eWszxC96n9TibdCgWDgbiEmD0KcbtdW+G9phgKSkXyUOnAXB6zn6mFGcwPDeZnBS7Gfn/d/lenE7fprSKBmMaeE5q1/4wXo38ProL/ntt2M0KQ2HtXvfw0J2VjXQE+KbS2UysOKwkk3ibhf11reZE9VDYU+0OblSgF2se+mgzt725hmeCpOgEQTj4MQdn+ikFlw7FQt/HTE29BXoIDvhgZmIXccWHAXBWXjlv/mIWH//qOL77/Ymsu+tk7DYL9a0dfs3GpnLjo/mdUm70mt2w5H5Y/gzs/i74usNkjUdw0+7Q2V3tXyna26kMXJEQZ2XqEGNe15dhVE15GpBVii7WfL3dmJNVWhl5Y0ZBEA4Omv008RNDsXDwMPJEiEsyZkWVrQi+f4jKDfkTjOvy9V6bbVYLYwuNOVieAYQn7rRUfJf7VCO/CU0eFV7bFgdeSwQov41ie4DUVJmrUqowo2v6aNbI8H03nmkppWLFkobWDjbuM94Pz8nngiD0T1r8lILbxVAsHDTEJ8Gok4zboVRNhRrc5I4xrut2Q4t3oDC+yBXcdAogFAcajBOoL+UmJyUeiwbHaivcG3skuDECrwxXA8KtAUzFqoFfYSflBuBINWdqW6XfNFxnPNNSfUG5WbWrBrX08j6SJhMEoecw01J+lBunDo4Q/5/1ByS4OVhRqal1/w2emqoK0J3Yk8RMSCkwblds8rprQpFRIr02qHLTNbixWS0MTrEwy7LGvXH3N9BaH3g9YVDf0m6aiOdOKAQCm4qV56bIh3IzeXA6KXYbNU3trCvzHcx5ouu6t3LTB4KJ70urzdv762K/HkEQehZ/TfzibO7T/EBSbyS4OVgZNQesdqjaBvvX+t/P0Q61u43bwZQbgLyxxvWBDV6bJwxSyk0tuo9gKlBwA3BC0maStFZaEvKMcnRnB+xcat6/9UADn2+OvDPw+jIjUCpKT2BaieGZCVQOroKbgrSuyo3NamH6MGOQZijdiqub2s1vTdA3lJvvS2vM25WNrQHN1YIgHPz4a+KnDMUwsEzFEtwcrNhTDe8NBE5N1e4C3WEM3EwtCH7cXFdw08l3Mzo/FZtFo7qp3WenYeUz8RfcHMP3AJRmz4IRxxsbXampdoeTHz3+NRc/8TUb9gVXSnyx2pWSGj8oneG5ycbh/VQ7tbQ7qGo01utLuQF3v5tQmvnt6WRcjrXnRtd1lnsoN7puDC4VBKF/ouu6f+XG6m5nMZBMxRLcHMx4Vk35w9NvE0rPFhXcHNjotTkhzsqo/FTA7W1R6LruUS3lI1jQdaY0G2bi1UlHGr16wAxuPt5Qbk40/9ZV4RMua11rmjgoneG5Ri+f8vpWGlo7uuyrgrPEOCvpib77v0wuzgCM5nzB2FPjXY0Ua+Vme0Uj1U3txNss5KQYBu/9dWIqFoT+SpvDafppOpeCa5rmLgeXtJRwUDD6ZLDEGSmk8g2+9wnVTKzI9Z2WApigTMV7vdWVxjaH+a0hx0e1FBWbyWrbS6tu42ttAgw7BtCMQaD1+3jxm1Jz1xW7fHt6gqGquCYMSiM9Mc48qW/3od6UqQZ+GQl+m/QNyzHUn721zUHnRamS85F5RlAV6+BGpaQmDUo352aVi+9GEPotLW3uoKVzWgrc6o0oN0HYtWsXu3fvNn/+5ptvuP766/nXv/4VtYUJIZCY4U7x+FNvQjUTK1TFVO2uLobfCYNcpuJOyo1SbZLjrV26YwKw+QMAvnaOY2e9BZKyoHAyANVrFvHppgPmrit314S2Tg+a2xxsKTcUFmV8VsHJtoquysteZSb2USmlyE6OJzXBhq7DziB9YlRwM3lwBmB0Bo5lVYIyEx9WkkmeK00oFVOC0H9pajcU6jirZlZHeRI3AMvBIwpuLrroIj755BMA9u3bx0knncQ333zD7373O+66666oLlAIwrgzjet1foKbcJWbpCxIyTduH+hUMTXId6+bYGZiNr8PwCfOKe70yPDjAChb/h5OHcYWGCmvrQcaqAsyx6oz68rqcOrG8+e5uiEPz0lxHa+rcrOv1j16wR+apjHcFSBt9xEgeaIqpSYOSkPTjJLLqhh6XL7f6QpuhmSY74ekpQSh/9LspwxcMRC7FEcU3KxZs4bp06cD8PLLLzNhwgSWLl3K888/z4IFC6K5PiEYY08DzQr7V0Pl1q73q+AmSHdiL/ykpsYVGifv/XWtXo3hVBrGZ3DTUmdWRX3inEJZbYtRbeVSnHLLlwI6Pz12OMVZieg6rNkdXmpKladPdClLgIep2L9yEyi4AU/1J/AYBmUoLslOJivJSIfFKjXV0NrBpv2G4nbYEFFuBGEg4M9MrHB3KZY+NwFpb2/Hbjf+aX744YeceaahHowdO5aysrLorU4ITlKWy8MCvHAh7Fvtvk/Xw1duwCO48a6YSoq3McJl1l3r4bsJqNxs+wScHTizRrBDL6S1w0ltczsUH4HDaieXKiYl7GfuhEIzrbMizNSUMjgrTxBgmop9dSl2e278p6U8j+Gv6kqhlJtBmYnkuJoYxiq4Welq3jcoI5G8tATyUo0A7oB0KRaEfou/MnDFQOxSHFFwM378eB577DGWLFnCokWLOOUUY5Dj3r17yc7OjuoChRA48Q4jlVSxER4/Ab78Bzid0FwNra4gJGNI6MfL810xBe5OxZ6+GxXc5PjoTswmw29jGX0yWcmGqlFW2wJxCWyyG+Mefjq4lIQ4K1NcFUord9WEvlZgtatr8ngfys32isYufXn8Dc3szLAc9zH8Ud/SbgRrGAGFMlTHKrgxU1KuXj/5acbvRBr5CUL/xZwr5cvzyMCcLxVRcHPvvffyz3/+k+OOO44LL7yQyZMNc+hbb71lpquEXqRoCvx8KYyeC442eP938Ny5UPqVcX9qEcQFVim8MHvd+KqYMgIIzzEMfodmOp2mmZhRc8h3+T/21bZQ2dDK2/WjATjaajQhnGwGN6GnpVraHWx2pWEmeAQ3xZlJWC0aTW0Os8xcsdeltBQFUW5CCW6UapOZFEey3eZWbupj47kxzcRDMgBM5UbmSwlC/6XJVG58n9LjbEa11EBSbnyHeUE47rjjqKiooK6ujszMTHP71VdfTVJSUtQWJ4RBcg5c+AJ89wS8fyts/chICUF4KSlwBze1pdDaAPYU867xPkzFB/x5bspWQGM5xKdAyUwK01exvqyOfXUtbF3ewOKOCfzaCmllX4GjnfFFaVg02FfXwr7aFnOaeCA27a+nw6mTlRxPkcf+8TYLQ7KS2F7RyLYDjRRWfAmvXUnLKQ9Q12L0tglVualqbKOmqY2MpK5l7spvMyjTCJRimZbSdZ3lLtXrMNdk87w0tR6jgstqCaHXkSAIBxXuoZm+T+liKA6R5uZmWltbzcBm586dzJs3j40bN5KXlxfVBQphoGlw+JXw088gfyLorg9yOGZiMHw8ya7fY4V3amq8S7nZXd1MbZORjvFrKN68yLgefhzY7GawUlbTzIvf7mKdXkJrXDq01cOe70mKtzHa1Sgw1JJwpSCNL0rr0rNGVTttO9AAXzwETZW0rX0bgFS7jdQE3w38FMl2m5nW8afeqDLwQRnewc2BGBh4t1U0UtPUjt1mYZxrint2sjG01OHUqWyU1JQg9Ef8Dc1USFoqRM466yz+85//AFBTU8OMGTO4//77Ofvss3n00UejukAhAnLHwFUfwZHXQnwqjD4l/GP48d2kJ8YxJMtQ51SVkl9DsasEnFFzAChwpaXeXbOPLeUNJMTFYRlxnLGPq1txuL4bNXbBMyWlUL6bvWVlsGMJAB11+wCjgV8oBEtNmWbiDOM9Uc0DD8RAuVF+m0mD04l3GQhtVgvZroBLGvkJQv9EGYr9VUvFi6E4NL7//nuOPvpoAF599VXy8/PZuXMn//nPf3jooYeiukAhQmx2OPlu+O0uOOTM8B/vZ8YUePe7cTp1U7nxMhQ3HIA9xjwpM7hxKTebXQ33TptUSNyoE4x9XMGN6bsJUblRAZbyAnmiqp2ydn9oDOoEtMYDrrWE5kEaluO/6grcaanBKi2V6k4D9TaqM7FKSSlUOXgs1CRBEHoe01AcpM+NKDdBaGpqIjXVSB988MEHnHPOOVgsFo444gh27twZ1rHmz5/PsGHDSEhIYOrUqSxZsiTg/q2trdx6662UlJRgt9sZMWIETz75ZCQvY2AQyjwpX/iZMQXu1NSaPXXUNrebvROyUzw8KVsWAToUTIK0QqCrx+WCw4vNZn7s/gZa681y8FW7jMApEO0OJxtc08An+lBulOpySM1ic1tcizHluygEPw/AiCBDOHfXeHtucmPouVHDMg/tFNzkR6GRX2VDa0y7LguC4B+zFDxInxtRboIwcuRI3nzzTXbt2sX777/PnDnGN/Py8nLS0tKCPNrNSy+9xPXXX8+tt97K8uXLOfroo5k7dy6lpaV+H3Peeefx0Ucf8cQTT7Bx40ZeeOEFxo4dG8nLEALhp9cNuFNAa/bWmumXjKQ47DaPP6xNrpTU6JPNTSotBcYcpqklmYbZOXOooazsXMro/BQS4izUt3YEbZ63aX89bQ4nqQk2irO6KjHDc5NJoYlpjhXmtsS2ajScFIas3ARu5Len2hjN0NlzU9XYFjQ4iyb1Le1sVM37SjK87utuI7/1ZXVM//NH3PTKym6tURCEnsFdCh4kLSVN/AJz++23c9NNNzF06FCmT5/OkUceCRgqzqGHHhrycR544AGuuOIKrrzySsaNG8e8efMoLi7269t57733+PTTT1m4cCEnnnii+fwzZ86M5GUIgcgbZ1zXlEKb94ld9brZXtHIDtdJ36sM3NEOW12VWq6UFOBV/XTB4cVuA7BSb7Ytxma1mCpMMN/NWpeZeEJRus8BmLkpdk6zr8KuddCWVgKAFQeZNITtudlR0dglWGlpd5jpp+JMw3Oj1CuHU6e6qfdSUyt31aLrRnpMlX8r3MFNZMrNu6vLcDh11nUamCoIQt+gKUgTPzEUh8i5555LaWkp3333He+//765ffbs2Tz44IMhHaOtrY1ly5aZqo9izpw5LF261Odj3nrrLaZNm8Z9993HoEGDGD16NDfddBPNzc1+n6e1tZW6ujqvixACSVmQnGvc7pSaykmxU5iegK7DZ5sND4uXmXjvcmithYQMGDTV3JyaEMe4wjRyUuz84NBB7v2Hu4Z/Kt+NKzUVzHfjOQncF5qmcZb9OwBKC0+BRCNdk6PVBhya6UlxltEvp7ndwf5OwYEyE6fYbaQlGiWYcVYLGUlGFVZv+m7c/W0yu9znni8VmXLz+RYjldfQ2hHh6gRB6ElagoxfGIiG4oj63AAUFBRQUFDA7t270TSNQYMGhdXAr6KiAofDQX5+vtf2/Px89u3b5/Mx27Zt4/PPPychIYE33niDiooKrrnmGqqqqvz6bu655x7uvPPO0F+Y4CZ3LDQeMIKbQYd53TW+KJ2y2hY+2WAEN15m4u2fGdfDjgaL9x/bG9fMpLXDSXqiRxn2sGMADcrXQe1uj2Z+NQGXtyZApRQAbY1Ma18GwLLkoxmZvBiaq8nRakNWbuKs7n452w80eqWz9niUgXsqRzkpdmqa2qloaGUMqSE9T3fp3LzPk+6kpepa2lnpmvXV2CbBjSD0RZpcf5v+B2ca/59EuQmC0+nkrrvuIj09nZKSEoYMGUJGRgZ//OMfcTrDe/M6pxN0XfeZYlDPq2kazz33HNOnT+fUU0/lgQceYMGCBX7Vm9/+9rfU1taal127doW1vgFNAN+NSk0p9cJLuTGDm2O7PC4hzuod2IChEpXMMm5/Ps8sB19XVkdrh8Pn0jocTtaVudJS/oKbzYuI11spdebyTXMxHUmGEpVDbdAGfp74893s7tTAT6HKwXvLVOx06ixXlVIl/pWbAxEYir/cWmkaiRtaOrqMshAEIfY0txvn3WCDMweSchNRcHPrrbfyyCOP8Je//IXly5fz/fff8+c//5mHH36Y2267LaRj5OTkYLVau6g05eXlXdQcRWFhIYMGDSI93X0yGzduHLqus3v3bp+PsdvtpKWleV2EEAkwY6pzQGEGN+0tsOtr4/bQo0N/ruN/a1wve4rB7CcrOZ52h856VzVUZ7ZVNNLS7iQ53sqw7GTfx1z/FgDvOqezrbKRpnhj7llxfIPfTp6+8NfrZk+NYSYe3CW46d3S620VjdQ2t5MQ527e54lqRFhe3xq2yfnzzRXm7Q6nTusA+ucoCAcLzS7lxm8puGkoHjh/vxEFN08//TT//ve/+fnPf86kSZOYPHky11xzDY8//jgLFiwI6Rjx8fFMnTqVRYsWeW1ftGiRX4PwrFmz2Lt3Lw0NDea2TZs2YbFYGDx4cCQvRQhECL1uzF1VWmr3t9DRYnQ4zh0T+nMNPQpGzAZnB9rie5g8OLCpWKWkDilKw+JrpEB7i1mx9Z5jOtsONFJryQCgxN7Qdf8AeA7h9GRPp+7ECvcIht7x3KiU1KRBGeY3tM7r0TQjOAnX5PzFlgqvnxvFdyMIfY5g1VJiKA6Rqqoqn+XXY8eOpaqqKuTj3Hjjjfz73//mySefZP369dxwww2Ulpbys5/9DDBSSpdeeqm5/0UXXUR2djaXX34569at47PPPuPXv/41P/nJT0hMDGMwpBAauf4rpgrSEshOdve1MZUbVydghh0Tfo+d2bcb16te5oQs46TqL7hZtTuI32brx9DWgDO1iBX6CGqb29ndbjTkK7L5VoP8McxzjIMH/tJSuam92+tGpaQO7VQCroizWshyzcUKx3ezp6aZbRWNWC0aca6cfWOr7zShIAixI1i11EA0FEcU3EyePJlHHnmky/ZHHnmESZMmhXyc888/n3nz5nHXXXcxZcoUPvvsMxYuXEhJiVG2W1ZW5tXzJiUlhUWLFlFTU8O0adP40Y9+xBlnnCFdkXuK5GxIygF0qNjkdZemaYz3CCzM4Mb02xwT/vMVTYFDzgZ05pY/DsAKHxVT3+2o4vmvjc/FtJIs38dypaQsh5xJUYYRnKyqNtaYZwl96jjAcFeX4l3VzV7/HJTfaHCm97DY3vbcbFJT0X10aVbkRdDI73NXJdzkwemkJxqvSSqmBKHv0dIW2uDM9gHU5yaiaqn77ruP0047jQ8//JAjjzwSTdNYunQpu3btYuHChWEd65prruGaa67xeZ+vFNfYsWO7pLKEHiRvnKHGHNgIRd49jCYUpfHZJo9qqbZGIy0FkQU3ACf8Htb/j5w9H3OYdgzfHxhNbXO7aUIurWzi6meW0eZwcvL4fOZOKOh6jI422Oj6HI47k+F7beypaea7yjh+aoVMvSasJeWn2UmMs9Lc7mBXdRMjclNodzjNQMF/Wqrngxtd19niGmcxIjfF7355qXbWl4Wn3Cxx+W2OGpnD/1aVUdHQKhVTgtAHcaelfOsVSnkV5SYIxx57LJs2beIHP/gBNTU1VFVVcc4557B27VqeeuqpaK9RiCXKN+PTd2MoBRYNspLjofRLo9NwerHRdTgSckbBoT8C4PbEVwCd1a4UVF1LOz95+luqGtuYMCiNB8+f4ttvs/0zaKk1fD9DjjDTSmUdRll2Skd1WEvSNM1tKnaNYdhX24JTB7vNYio1CjMtVd/znpuqxjZqm9vRNHf6zBfhzpdyOnWWbq0E4KhRuSTbDblblBtB6HsEmwoe7+oeP5AMxRH3uSkqKuLuu+/22rZy5UqefvppmfXUnwgwY2pqSSbxVgvDcpKxWjTY3g2/jSfH3gIrX2KKYy3HWlaxcvdYjhiexS+e+54t5Q0UpCXwxI8P91/xtP6/xvW408FiZbjrpF+hG8FYQmslOJ1gCT22H5abzLqyOtNUvMtj7ELn1gVKualsbA3Y2iAaqPL0QRmJfs2EEP58qXVldVQ1tpEcb+XQIRkku97rhhYJbgShL+H0qGL09z9RlBtB6EyAXjf5aQm8d/3RPH/VDGNDd/w2nqQPgulXAfBr20us2FnFHf9by5LNFSTGWfn3j6eZJ+suODpgwzvG7XHGNHQ1HbwSI7jRdAc0h6feDO/U62aPHzMxuEcwtDt0apvb/R7z622V/G/l3rDW0ZmtrpTU8AApKYA8VQ4eYpdi1ZX4iOHZxFktpNiNf5pSLSUIfQuVkoLghmKplhIEhZoxVb0T2pq63D08N4XsFLuRBipbYWwMp7+NP466EUdcChMsO0jY8j+e/aoUTYO/XzDFf4UUQOlSaKqExCyjvBx3KXc7Nmp0V+qmsTys5bjLwY1gwm0m7hrc2G1W0hKMYMCf78bp1Ln6mWX88oXl7KuNfFq3CrbU9HJ/hDtfSvW3OWpUDgDJruBG0lKC0LfwDG4S4nyf0uOlFFwQOpGcA0nZ+KqY8mLnUtCdkDXCUF66/bzZOI+4FoAbLC9jo4Pfzh3LnPE+DMSerH/buB57KlgNE3JReqL5R1+luTr4NoQX3AxzVUxtO9BJucnw3YIgx/S4+PbdbK9sNFWdslr/s9GCEapyk5sa+nyplnYH3+wwWjocNdI7uJFScEHoWzR7lIH7S4EPxA7FYXluzjnnnID319TUdGctQl8ldxzs/NxVMTXF9z7RSkl5EHfUtdR8/ijDLfu4fcxuLjn6zOAP2vqxcT36FHOTxaIxNDuZDfvqabBlQsduY2ZWGKguyOX1rTS0dvjtcaPISbGz7UCjX+VmrceE7e5MD996QFVKBVZuVJfiA/XBfUDf7qiircNJfpqdkXlG0JTiMhRLtZQg9C2agwzNBM8OxQOnFDws5SY9PT3gpaSkxKvpntBPUBVTPnw3Jj0Q3GBPRR//AwB+lLM5uDG3djdUbgbN0iU1ptJKLXZjBAMN+8NaSnpSnNm0cEdFo98eN4rcIOXg6zyCm6pG/76cQLR2ONjlCrJGBlVujPW0OZwBfUDg9tscNTLXfM9T7IYKJmkpQehbBKuUAk/lZuAor2EpN1LmPUBRvpvyDb7vb6yA/WuM29Hw23iQOXEurFmAdevHoOuBq7C2LTauiw6DxAyvuw4pTGPh6n1oKXnQSNhpKTBKrSsb29hS3mCmkvympYI08lu7191IsCZC5aa0sgmHUyfFbvMeXOoDu81KRlIcNU3t7K9rJSMp3u++ym9ztMtvA5il4GIoFoS+RXNb6MrNQGriJ54bITgFrq7TWxbBjs+73q+25Y2HlNzoPvfQo8ASBzU7oWpb4H1VcDP8uC53/XjmUO45ZyITRo80NoSZlgJ3H5mvt1fS7tCxWTS/VVtmIz8fnhtd1zspN5EFN54pqVDKzfNdvptApuLKhlYzZTZzZLa5XVVL9ZVS8P+t3MtFj3/Va8NJBaGv0hJkrhSIoVgQfFM8HSb8n9Gg76VLoHqH9/1mSiq6qg0A9hQYcoRxe8tH/vdzOt3BzYjju9ydmhDHhdOHkJhZZGyIRLlxpbZU597CjASjv48PcgLMlyqvb6XSI6CJ1HOz1WVuDmYmVoRSDv6Fq3Hf2IJU8lLdgVtfq5Z6eukOlm6t5OMN4aUXBaG/EVJayiZ9bgShK5oGZ/3DGL/QXAXPXwAtbuWhR/w2noycbVxvDRDclK8z1Ji4JBh8uP/9UvKM6zBLwcE9Y2p3kEopCDyCwTMlBdFRbkJBpa72B1Bu1DwpVSWlMPvc9BFDsRoj0V3lZl9tCze9stLsgi0IBxshGYqV50aUG0HoRFwiXPA8pBQYxuLXrwKnA+rK3Cbeklk989wjXMHN9iXG3ChfKNWmZBbYAvhPkl1pswiUm+GdgohBGb7NxODpuem63rV7jMAw2fXPqDpCQ7EqSw80U8oTlULzp9zout6lv42iL5WC67puptbCmZXlizeW7+HVZbt58ovt0ViaIPQ6za4vHP4a+MHALAWX4EYInbQiI8CxJcCm9+CjO42hmgCFk7uYeKNG/gRjTlR7I+z6yvc+2z4xrn34bbwwlZsDRiorDIZkJXn5mf2VgYNbuVGl156sKzOCmyOGG56WqgjSUrqum8pNyGmpIPOltlc0sre2hXirhenDvKet96XZUvWtHbS0G7+77io36vG9NcFdEKJNcwieG7t0KBaEIAyeaqSoAL74Oyy+x7jdUykpMGZAjTjBuO3Ld9PRajQRhODBjVJunB3QUhPWMhLirF6pKF/diRWepdd1nUy4yrCr1JHqCNJSBxpaqW/pwKJBSbZ/BcmTvNTA86UWbzRSUoeVZHSZUZPqKgXvC9VSngFNd5Wbqkbj8TVNkalnghBrmjya+PlDKTdOHRzOgVExJcGNED4Tz4Wjf2XcVhVMQ3swuIHAvptd30B7kxG45I8PfBybHRIyjNsRloMrBgfw3CTEWU2fiqcqUNfSTmmVMcZC+Vqqm9pwhvkPR6WkBmcmBTQSeqIa+fkLCN5bsw+Akw7p2gVaKTdNbY6Y/3P0TKt1V7lRxu7uNFIUhFgSiucmzuY+1Q+U1JQEN0JkHP97GHOacdtic1c09RTDXRVQ+1Z3DUo8S8BDmcDdLVOxO7gJlJYCD9+Nxwl4vUu1GZSRyFDXsZy6EfSEQ7hmYnArN+X1LV1SZeV1LXy70xi5cMoEX8GNW8mJtan4QIOnctP1tYSDCmpEuREOVppDUG6UoRgGjqlYghshMiwWOOdfMOkCmP0Ho2S7J0nJNXw94B6xoDCDm64l4D5JdgU33VBuNA0K04MFN6piyq0KqJTUIUVpxFktpLoGbIZbMbUtzDJwcJeCt7R3TZW9v3Yfug5TijN8VoHZbRZsrrL3WKemyj3Sai3tzm75gKpcv5uG1o5uf6NdtG4/a/ZI1ZXQu5jBTbz/nrxxVveXPlFuBCEY9hQ4558w67reeT5VNeXpu2muhr3fG7eHHxvacVK6UzFlBBP5qQlm109/+CoHN4ObwjQAslwjHcJNi7iVm9CDm4Q497TyA53KwReuNlJSp070PZhU0zSPiqkYKzedUlGR+m50XffqNxRpp2gwzNhX/ec7rnnu+4iPIQiRYBqK/UwEB+Pvd6A18pPgRjh4MH03H7srnXZ8bkwjzx4F6YNDO05y5GmpI4Zn84NDB3HjnNFB981J7TqCQVVKjS8ygptM1xiEcOdLRZKWAsjzUQ5e2dDK19uN5n1zJxT6fazZpTjG5eBdgpsQJp37oqnNQavHt9jqbqSmVMfp3dVNYfunBKE7uMcvBJ6mpNQbCW4Eoa8xeDrEp0BTBexbZWzb6ioB99GV2C/Kc9MQ/giGeJuFB8+fwnnTioPu21m5ae1wsHl/PWCkpcBDuQkjLdXS7jAbCYaTlgJ3ObhnI78P1u3HqcPEQekUZ/mvvOor86U6KzUHIizj7pwKjMZ0dqcu5mShdzE7FAcwFIPbVCxpKUHoa9ji3SXnqmoqwDwpv3TDUBwO7l43xslu8/4GOpw66Ylxpq8lI8kosQ6n182OykZ0HdISbKZpOVR8NfJbuLoMgLl+UlKKlD4ygkE18Mt0vXflfkrbg1HZKbjpTlpKBTe+jitEn3dXl/GL576nPkwjfn+kyZWWSg4S3Ay0LsUS3AgHF2a/m4+hphSqtoJmNQZshoppKO7ZuUSdlRs1dmF8UZo56DIrKXzlxtNMHMrATE+UcqPUj5qmNr7cGjwlBfQ5z834onTj54iVG+/HdScttaXcHdxUyDDPHufvH23mndVlfLheZos1uf4eg6elRLkRhL6L8t3s+go2vGPcHjQVEtJDP4ZpKA4/LRUOuZ08N+s6mYkBMpOV5yb04GZrefhmYveaXGkpl9qxaN1+Opw6YwtSvXr4+KIvKDdtHU4zCFG+pQMRem4qG6KTlnI6dTPgBKgQ5aZH0XWdnZVGryjP932gor5sqLSxP9xdigeGJ0yCG+HgIms4ZA4zOgwvud/YFk5KCjwMxQegGz1SgpGbYqSAKhqMEQyqUmr8IHdwE0m1lGkmzgvPTAweaSmXuvDuGlUlFVi1gb4xGVwFinFWjVH5qUAUPTcRBiVldS1mxQoYBm2h5zhQ32q+39sqJLhpdHluPHtR+SJOqqUEoY+j1JtGl/ISjpkY3J4bZ7tRSt5DqGqplnYn9a0drDcrpdwqk6qWCiclov6hqynl4eA5X6qupZ0lring/krAPUnpA2kpFZTlptjdKbYIlRsV3KjMXqRpqa0eKSmQOVU9zQ6XagOi3AA0uZpqJgdLS9mMD7qkpQShr6L63QDEJcOgaeE93mZ3p7Ei6HUTKknxNrMl+rKd1TS2ObDbLF5djsOtltJ13TyZjoxAuVGl4PvrWvho/X7aHTqj8lIYmZca9LHuaqnYlYIr83Buqt1sShipcqOMv2pGWKSGYk8zMXRNdwnRZUelO6DZUdE4oEvv2zqcZpopKUhaSgzFgtDXGXa0MfIBYOgso4oqXLrR6yYclKn4s02GQjK2IBWbRyv0rOTwqqXK61tpbHNgtWgMyYoguHGpHU1tDl5dthuAuSGkpKBvpKVUIJObmmCOk6hqbIvo26hSbpR3KWLlxhXcqOqtCgluepSdHsFNc7uDfRFWy/UHPFXUpCAz5sRQLAh9HXsqlMw0bnuqOOGQEvkIhnBQpdqfuoKbQ4q8jc8qLVXb3E5HCN+olGozJCspaIdkXyTbbWZ66YstqkoqeEoKILUvpKXqVHBjJyMxzhwJUdkYvnqjlJuRZnAToXJTbpxspw/LAiQt1dN4pqVgYKem1Jw3u83i9aXJF/E28dwIQt/ntAeNmVbTLo/s8cmuiqnGnq2YUsqN+gesmvcp0hPj0DTD11zbHFw5UCrB8CCVTYFQ6g0Ys7LGFgRPSUHfUG6U5yYv1Y7FopnVX5H4blQp+Ig8I7iJdHim+p3MGJYNRBZoCaGjlBtV/bO9oiHQ7v0a1cAvJYiZGJDxC4JwUJAzEo6+0fDPREJKvnHd08pNqvf6xncKbmxWC+mJRjojFOVgqytIUifkSMj1WNPcCQUh98rpC8GN6nGj/Da5HgbpcFFDM1VaqqapLWz/Rl1LuxlwKeVGPDc9h67r7KwwlJuZI4xgcutAVm5Uj5sgfhuQtJQgDAy6MTwzHJRyA2DRYFxBWpd9ssKYLxXpTClPVDk4hFYCrugL1VJq4Geu633t3JQwVFraHWYJ7XDXe+nUjWAlHFSaMD/NzlCXmtbU5jArWIToUtXYRn1rB5oGx40xUsvbB3A5uFJuglVKgTst1SZ9bgShH9NLhuJcj/EIw3KSSfTRIj2cRn6e3YkjRQUExVmJXZSkQLg7FMeuWsqt3BgBmpmWqg/PVKre6zirRnZyvNm6PlxTsamk5aaQHG81UyWi3vQMym9TlJ5oplO3DeC0VIPZnViUm85IcCMMTHrNUOxWbsYX+e6i7O51E/iE2NzmYE+NMTAzku7EihnDDTn/kiNKwhrfkOKSvmOVltJ13ayWUgFarqtiKty0lApuMpPi0TSNjBB/B51xK2nGKAxznpiYinsE5bcpyU5imEtx213dTEt7bCfVxwqzx00onhsxFAvCAMCzS3EP4um58aeSmOXgQZQb9Q01IynO7I8TCSeOy2PZ70/kqqOHh/U4z9lSeg92dvZHdVO72dNDBRG5EaalVKWUeh/Vdbi9btyjMJJd6zKOI8pNz6CUm5LsZHJT7KTabeg6lFY1BXlk/0SpqCGlpazGFxkJbgShP+Op3PTgidpTuelcKaXIDLGR3zaPFEh30DSN7BR72EM3leemw6nTGgNpW6kzmUlx5rfQvAgNxapSKtsVjKjp7NUh+J48cY/CSHEdz1iPjGAIj11VTWzeXx90P6XcDM1OQtM0U73ZdmBgpqaUciOG4q5IcCMMTFQpeKARDDu+gMaKbj1NXqodi2a0+PeXljINxUFUg2iYibuD57fDWKSmlK/Gs9or0moppaxkJRuPDzU16Em7w2kOcFQBp1JupNdN6Oi6zkX//oozH/kiqHfKU7kBd0uEgVox1RCOcmOTDsWC0P+JSwC7K9jwlZra+C4sOBVeuaxbT5Nst3Hv/03ir+dO9ptKCle56Y6ZuDtYLJppXIxFxZTqZaM6Exu33cFNOKkylQLMdr33qrtwOMFNaVUTHU6dpHgrBS6Ds1JupEtx6Byob2VXVTPN7Q6+3xl41pup3OQkAe6/hYFaMdUkpeB+keBGGLgEKgdf9rRxvWMJVG7t1tP8cFox504d7Pd+t3ITOCWiPDfDutHAr7vEstdNZzMxuJWbNoczpCaIiqpOnpuMCAaYbnH5bYbnJmNxdUpWacjKCCeMD0S2eKSUVu6u9btfTVOb2WhxSJYR3Ki/hYGallLtDFLCUG7EcyMI/R1/5eANB2DLIvfPK1/o0WVkJiu/h/8Toq7rZgpkaHbsgpuUGJaDe45eUNhtVrMJYjipqc6GYqXchGMoVmnCkR5KmpmWiqCp4EDFc3zCyl01fvdTn//8NDtJrpO56lE0YJUb03MTTodi6XMjCP0b01TcKS215jVwdoDNlf5Y+RI4e+7bjun3CBDc1DS1U99i/CNT31pjgXsyeN/w3EBkjfy6pKXM1GDoyo2aKeVp8M5OVsqNBDeh4jlVfdXuWr9doneYZeDu4F4pN9VN7UHTuv0R9XeYHFKfG0NdlLSUIPR3zOBmv/d2pdQc/zvDl1NbCju/6LFlKPWgvrXD7z+enVXub62+GgH2Fsq4GElaStd1Hli0ifs/2BjRcytlpnNwE4mpuHNaKhJDcedKKYCcVGUoHngn2kjxVG4aWjv8NuVzK5fu4D4p3kZhuvElZCA281MKakjKjc34vyGGYkHo7/hKS5Wvh7IVYImDKRfD+LON7T2YmkpLiMNl2aCm2fdJ0WxelhW7lBRAakLkIxjeX7uPhz7azMMfb6Gstjnsx5vdiT0MxcbP4XcpVqXaqhRcBTehDs/Udd2rgZ9CKTfVTW0hTXkX3EGiMquv2OXbd+NLuQF3amogTgc3m/iJctMFCW6EgYtpKPZIS6kgZvTJkJwNUy4yfl73X2jrmX+eFovmkZryfXItdX1rHZIdu5QURG4obm5z8Me315s/b4/gRNR5aKYi3Mng7Q4nda4UnyoFz/Colgql6upAQyv1LR1YNKNbriIzyT3lPZg5+Y3lu3ny8+0hrbm/0tLu7rp9yvgCwL/vxp/nzDQV95Lv5rsdVX0mBaYMxdKhuCsS3AgDl87KjdMBq142bk++wLgungGZw6CtAda/3WNLCTZfSqWlSmLot4HIg5tHF28xT2IA2yvDOxE1tzmodz1nV8+NawRDiL1l1InJokGGy4ys3v/WDifNIbTyV36b4qwkEuLc35ptVotZ/Rao101rh4PfvLqKu95ex77a8OZi9Sd2VDai65CWYOP4scbf48rdNT739Ry94MnwHFc5eC8oN8tLqzn3sS+54ulvY9KluzNNpucmHEOxBDeC0L/pbCje/inUl0FiJoyaY2zTNJh8oXF75fM9tpSsIJ4P9Y891spNJJPBSyubeOyzbYC7AeGOML9lq5RTQpyF1E7fUsNVbio95kqpEu7keKsp24dSDu4rJaXIDmEEw+7qZrNqZW+IKbp2hzPsAaF9HdOUnZfClOIMANaX1XWZFVXf0m76mLoENyot1Quem837jef4vrSG70trevz5gtEgfW78IsGNMHBJ8VBudB1Wvmj8POH/wOahDkw+37je9inU7umRpWQGmS+1s1Nn1ljhNhSHXgp+19vraOtwctTIHC6bORQIv3TX02/TeWyE2cgvROWms5kY8B6eGULKIVC36FAqplSaEWB/iMrN9S+t4Ig/fxTSmIKDBdWfZnhOCoMzE8lOjqfdobO+rM5rP/X5z06OJzUhzus+pdzsqGzC4afSKlp49i9asHRHjz5XMHRdp6ktkg7FsVecegMJboSBi0pLOdqgdjes/5/x8+SLvPfLHAolswAdVr3UI0vJCtCluLnNYZY5xz4tFV4p+Ccbyvlw/X5sFo07zjyEYTmRdZQt91MpBW4PTnldaEFC5x43iqwwTMVbyv0rNzkhVG/t8EjL7Qtx3StKa3Dq8NX2qpD2PxhwV5wlo2kakwYbXcM7+27cwX3Xz/+gzETibRbaOpzsrQnfqB4OnjPD3l1dxv4Qf3c9QZvDSYcrmEsOS7kZGBPUJbgRBi5xCWB3DbP89t/Q3gTZo2DQYV33NVNTL/TIoM3MAPOl1MTj1ASbaXyNFeGkpVo7HNz5v7UAXD5rKCPzUs22+buqmsP6lq0ClzwfwU1uiuG5qWvp6JLO8EVVp0opRUYYIxjMIaZ5PtJSrqApUJfinR7KTSjBjcOpmyfSfqXcuIJcpb5MdqWmOncq3lmlBmZ2VcqsFs0sD9/aw52KPX+nHU6d574u7dHnC0STh3qaFFaHYlFuBKH/owZofveUcT35AsNn05lDzgJbIlRsgr3fR30ZgZQbTyNluJO8o004huInPt/OjsomclPtXDd7FABF6a5v2Y7wvmWrlJMv5SYt0Wb+4w6l142vtBR4loMHDm6a2jpMc/RIH8qNWmOgyeA7PZSbULxClQ2t5rf0jfv6R3Cj6zpbXQrYyDwjaHEHNzVe++6sCJyWdY9h6FlTsTKJn+AyPz//9U5aY6SEqL/BhDgLVkvw/wtiKBaEgYTy3bTWAhpMOt/3fglpMO504/aK6Pe8yQwwX6rUrJSKrd8GICUhtOCmrLaZhz/aAsDvTh1r+iQsFs1MrYWTmnIPzewa3GiaRm5K6L4bd1rK+1hu31OQGV+uE2hWcrxZZeWJUm4CNfJT1W9ASNVSZR77bNpf3ycqdbpLeX0rjW0OrBaNIa7P9uTBGYDxHnvOCtvRaWBmZ3prgKYyiV80fQgFaQlUNLSxcHVZjz6nP8Lx2wDE2aTPjSAMHFRwAzDsaMgo9r+vSk2teRU6otteP7By499v0NuEmpa6+531NLc7OHxoJmdPGeR131DXt+wdYZSDu4dmJvi83+27CV25yU7unJYKrUtxIDMxuCeD+1NuHE6dXR7BTSi+Dc/gprqpvV90QFbvY7HLMwPG34EaL7LaIzUVzFDv7nXT02kp43dakJ7AxUcMAWDBFzt69Dn90dgWeqUUuJUb6VAsCAOBZI/gRgUv/hh+HKQWQnM1bP4gqssI1OfG7HHTB4KbUKqlDtS38vaqMjQN7jhzfJdUWiQpBF9DMz2JTLnpnJYKbXjmVuW38ZGSAo/hmX4CkLLaZi/fw766lqBKzL5O5eKb+oHvxt/72Dk11dzmMH1JQ/38DahAsyd73ei67g6MU+K5YPoQ4q0WVu6uZXlpdY89rz+U5yZk5UZKwQVhAKGUm7gkGHdG4H0tVph0nnF7RXR73gTqc1Oqetz0hbRUCMrN7mojGCtMS2B8UXqX+5UpNBzlJlC1FLiVmwMhqCD+lBv3fKnAaalAPW4AclyBVkVDq8+gRakQaiZSk0eDQn+UdXpd/SG4McvAOylgk10VUytcFVMqLZueGGeqa51RhuS9tS3mSIJoU9fSYQalWcnx5KTYOWNyEQBPx6AsXCk3oXQnBrBLh2JBGECoyqgpF4E9Nfj+U35kXG96D6p3RG0Zyu/R1ObwqvjpcDjZXW18a+8Tyo1LAm9ud/itdlJplvx03ykkpdyE2sjP4dSpavTvuQF3xVQok8FNQ3FKZIZiZYIdkecvLeXudqza43uigptxhWnmrK5gZezKl6NmCPWH4MafcqOa+a3YVYOu626/TYDPf2ZyvFnt1lO+G5VmTLXbsLuGUKq+Te+sLuv1BovqC0ZSiIN0lXLj1OnxfkB9AQluhIHNiNnwi2/hlL+Etn/uGBhxAuhO+PqfUVtGit3m0SHXfXLdW9NCh1Mn3mahIM13sNCbeH5LbPTzDVmdiPP9+GNUcLOrujmkb5GVDa04dWNcgvKzdMZUboIENw6nbr6/XdJSyaoU3L9y43DqZvmyP+UmKd5mnnAqfKzH7DadlUS+63e6rzbwupXnZubIHAA27T/4J2C7lRvv93F8UTpWi8aB+lb21bV4VAsGVi6Huz5XPRbceKSkFBMHp3PYkAzaHTrP93JZeGPYhmL36X4gpKYkuBEGNpoGuaPBGkb/mCN/YVx//x9o8T3BOPxluIdnevpuVH+P4sxEc1RALLHbLNhc6/CXmtpX5zZd+iI/zU5inBWHUzdVqUAoNSY7xe635NU9GTxwkFDT1Ga2KcpMCt9QvKe6mbYOJ/FWC4Mz/SsJ5ggGH12K3QMgk8yANVivGxUwHjPaaF2wad/BXTHlOTCzc1oqMd7K6HxDRV25q4YdHu9XIFSQ1FPl4O5J8t4B9mWzhgHw3NelvRo0NIUxegHchmIYGKZiCW4EIVxGzIbcscYwze//E7XD+poM3lfGLig0TXOXg7f4Dm7MtJQfpUnTNDPFFkpqSqkxuX5UG3B7cYIpNypwTE+MM2V6hXr/61s6/CpKWw4Y6aBhOckBe4u4fTddA6UdHkqEeo8CVUzpum4GN7NGZGOzaNS3doTc2bgvsr3CGJiZnhjXxfsEMKVY+W5qQ1Zu3Eb1nlG11O+y83rnTiggL9XOgfpW3l3Te2XhSrlJCdFzo5RhEOVGEARfaJpbvfnqMXBEx8Bo9lnxUA6UmXJIjMcueOKumAqclipI9x+MuEt3gwc3ysugUk++UCXiFQ2tOAP4CSr9mInBONGqwi5/IxhUOmhUvu+UlELNl+o8GVzXdXffouwk8z0K1OumqrHN/KY9ODPJLKU/mJv5KXVleG6yz8aUqt/Nyl017HA18PPX40ZhVkz1UFrKXSnl/TmMs1q4+IgSAJ77qvdSU27PTWjBjaZpA6qRnwQ3ghAJE8+DpByo2w3r/xuVQyoPiKeh1bM7cV/BXTHluxw8mHIDHr1uwlBu/JmJwUgDaZrREj9QWkmdoHw137NaNNITA5eDKyOvSpv4I8fPZPADDa00tTmwaEagUhCCcqP8NjkpduJtFsa4nnvzQey7CVZxpsrBV+2uMaemB1du3GmpnkjZmWkpH5+d0ycVArBqT03A4DqaqKqw5BANxeBWbyS4EQTBN3EJMP0q4/bSR6Iyb8qn56YPNfBTqIopX8qNrutmuiSQAXpYGI38gpWBg/HtWZXTB/Ld+OtxowhWDq4CitFBlBvPcnBP1DTwogyjcV1eCMGNUnVU6bhSjTYexBVT/srAFaPyUkiMs9LY5kDXjYDaV1DhiTGeBOpbO3qkyWGFD0OxYkhWEjaLRku7s9fSherLRVKIaSlwm4olLSUIgn+mXQFWuzFratfX3T5c5y7F3imMvuG5AXfFlC9DcX1rh9kW3p+hGNzBTSgpBPfohcDVYqH4bqr8+CYUgYZnOp26OQ18VBDlJtuPcrOjU7AaiqFY9bhR76dbuTl4gxtVBq7603TGZrUwcZC7R1Ioc9US4qwMzkwEesZ3489QDMZ6h2SHP1akOyjlJiVEQzEMrC7FEtwIQqSk5MJk1yyqLx/p9uE6z5dSKQxNw/yn3Rcw01I+SsH3u1SG1ARbQC+AauS3t6Y56ODBQEMzPckNoWJK9csJptz4Skvtrm6mud1BvNVizsfyR7Zf5ca7IaMKWA7Ut9Lh54SjuhO7lRsjuNm0v6HXUiDRRNd1M/gY6adXEMDkYndw42sauC9UaiqcBpGhogLVHD+fneFh+MiiganchOi5gcBdirdXNPLjJ7/hm+1V0VlgjIl5cDN//nyGDRtGQkICU6dOZcmSJX73Xbx4MZqmdbls2LChF1csCB4ccY1xvf5tqNrWrUN1Vm7MFEZ6otk0rC+glJt6H9VS+1UZeJCePDkp8aTYbTh1vOYs+cI0FIcY3ARSboKlpdzKTde0lPLbDM9NxmYN/K/TPYLBey2dy5pzXOXtTt29ts6U1XorN0Ozk4i3Wmj2KKc+mNhf13Vgpi+U7wZCT8sWpas0X3Rnv4Fnnxvfn0NTjezhyeQKd4fi0P83uLsUdw2K31i+h083HeD5r3dGZ4ExJqbBzUsvvcT111/PrbfeyvLlyzn66KOZO3cupaWBHecbN26krKzMvIwaNaqXViwIncgbByNPBPRuN/XrPF9K+W36UqUUBB7BsK9TCsUfmqaZ1S+B+pLouh5yWkrdH6hTbFUA3wR4luN3DTQ2lRvBTbCUFLg9N50Dls5zwqwW90RzfxVTnT03NqvF9KocjBVTSrUZkpVkDsz0haqYgtCVm1BbAoSLZ/NHf58dpRpt7+HhnYpwq6XArdz4MhTvdQXK/WEoK8Q4uHnggQe44ooruPLKKxk3bhzz5s2juLiYRx99NODj8vLyKCgoMC9Wa9/5VisMQMymfs9Ac03Eh+k8X6ovDcz0JFBwE0qllCKUGVP1rR20uiT0YGmpvFA8N6Zy4/tYmQE8N6aZOC+wmRjcnp6apnavE4mvni35rhJ3f74bs7Q+zZ2aHFPgSk2V983gRtd1vxVLWyuU3yZwwDI4M9FUwPwZjzvTU8FNtav5o6Z1bf6oCMdHFg2awuxQDBBnM3xLvtJSe6pVcBN91SsWxCy4aWtrY9myZcyZM8dr+5w5c1i6dGnAxx566KEUFhYye/ZsPvnkk4D7tra2UldX53URhKgy/HjIOwTaG+H7pyM+jNnnprHNMBMrf0akwU3FFnjrl1AT3d4bKi3lazK4+0QcPLhxt8v3n5ZSqk2q3UZikJLXUDw3gfrcgFs9C5SWCkW5yUyKR/X4UwFVbVO72T/HU40L1MjPs/qs0EMNU6Xom/qgctPS7mDOg5/x46e+9ekjUrO5ggUsmqZx/3lT+M0pY5hakhnScysVLNpznpTfJjMp3m/zRvV6drm6WPc06stFOGmpQIZiVXLvLz16sBGz4KaiogKHw0F+fr7X9vz8fPbt2+fzMYWFhfzrX//itdde4/XXX2fMmDHMnj2bzz77zO/z3HPPPaSnp5uX4uLiqL4OQfBq6vfpX+G7p8AZ/j835QNp7XDS3O5wKzeRTgP/8A9GB+V3b4ns8X5Q1RmB0lL5ARruKULpdXMghDJwRTDlRtd1M90UrqHY4VEpFawMHMBi0Ux1SH0TVqM0clPtXjO6VArPV1qqrsV39dloD1NxX2NdWR2byxv4bNMB/rWkqw8t2GwuT44dncs1x40MWimlMGeMRVl9CNTjxnzuVDtJ8cZYkV3VgX1k3UXXdfdsqXBKwf0Yip1OnbIa4/NX1dh2UBrVOxNzQ3HnD62u634/yGPGjOGqq67isMMO48gjj2T+/Pmcdtpp/O1vf/N7/N/+9rfU1taal127dkV1/YIAwMQfwpAjoa0e3r4eFpwKBzaGdYjEOKtp+KtqbDMNxRGlpVrqYPMi4/bGd6B8ffjH8ENyoGqpcNJSIfS6Ud/AQwlugqUk6lo66HD90w7XULyrqonWDifxNkvIZfmdG/mZPYs6eajcyk3XdauAJzMpjoQ49zd0FWBtOdDQ5yY8exrE5y3azJZOqTO3chM8uAkXNR3+QH1rVBv5Bepxo9A0rddMxa0dTvP3HupUcMD0OHX23FQ0tppqjsOpU9Psf3jswULMgpucnBysVmsXlaa8vLyLmhOII444gs2bN/u93263k5aW5nURhKhjs8Nl7xjTxeOSofRLeOwoWPwX6AjtW6SmaeZJd1dVsykPR5SW2rgQHB7P+8Xfwz+GH9xpKR/KTafKnkAMcwUJZbUtNLf5Lgc3uxOHECypfRpaO8weIJ6o9FByvNUrUPDEn3KjUlIjclMCzpTypHMjP38zkgJ1KS5zpQoK0r1bARRnJpEQZ6Gtw2ket7vsqmri16+s5PvS6m4dx3MYapvDya9fXWWeiJvbHGb6Y0SIPppwyEk1fn8t7U6/40EiIVCPG096y3fT5PH3Eo6h2N/4hb013p+9yn7gu4lZcBMfH8/UqVNZtGiR1/ZFixYxc+bMkI+zfPlyCgsLo708QQgfixWO+Dn84isYNQccbbD4HiPI2bY4pC7G6uS6YleN6+c40hLCmFiuWPuGcT16rnG9+pWoeW+Uobjz4MwOh9M8kYfiuclMjjfHHfhTb0IZmqlIjreS6ApafKk3Zo+bAN++PTsUe37z3xxGSkrRuZGfv27T+QEa+XWulFJYLBqj8lRqqvu+m5qmNn785De8smw39yzsnsqngpvzpg0mxW5jeWkNT32xHfAemOlPPesOSfE28/MZTVOxCoz99bhR9FavG5USToyzhhxsg/+01N5OLQX6Q8VUTNNSN954I//+97958sknWb9+PTfccAOlpaX87Gc/A4yU0qWXXmruP2/ePN588002b97M2rVr+e1vf8trr73GtddeG6uXIAhdyRgCF70M5z4FyXlQsQn+cxb8YzosfRgaK/w+VP3DX+769hxRZ+LmatjykXH7pDth2LHg7IAv/xH+sXzgr1rqQEMrTt0obw72DVcRzHdTbio3wY+naZq5ny9TsQoy/FVKgTst5XDq1HkEb6HOlPKkq3LjO7hRwzP3+/DcdO5x44lay8Z93fPdtHY4uPo/y8wT8rKd1d365r7b5Tc5fGgWt542DoC/vr+R7RWNbKtQM6V8D8yMBqEYy8OlIoTPDsAwc3hnz3qhzEqpMMzE4E5LtXXqc9M5uKlsFOWmW5x//vnMmzePu+66iylTpvDZZ5+xcOFCSkqMCatlZWVePW/a2tq46aabmDRpEkcffTSff/4577zzDuecc06sXoIg+EbTYMI5cO03cPhVEJdkBDkf/B7uHwsv/xi2ftzFeKyqdZRyE5HfZsM74GyHvPGQOwaOusHYvuzpgIFVqPhLSymVIS/VHvK3SbNiyo9yE2oDP4VSeHwrN4ErpcBo4a88DJ6pKXMaeAhl4Ipss5GfKu33nZZSyk19a0eXgNFUbnwoYUpF6k45uK7r/ObVVXyzo4pUu43irEScOny0oTziYyrlpjgriQsOL+aokTm0dji5+dVVpim7J/w2ip4oB3enpQIrN+5eNz2r3DRE0OMG/Cs3nqlEgIool9LHgpgbiq+55hp27NhBa2sry5Yt45hjjjHvW7BgAYsXLzZ//s1vfsOWLVtobm6mqqqKJUuWcOqpp8Zg1YIQIomZcNrf4Fcb4fR5UHSoEXisexOe+QH882hocrc7z3IpB+pbZ7A2/z5RKanxPzCuhx8HhVOgo7nbjQbBc/yCwyt1E46ZWGH2uvFxMmho7WB9mXHiDiXN5fncvmYLBetOrOg8PNPh1M0p1mEpN8mqkV8rzW0O0zA8tFPAmpoQZ0527uy76TxXypPRBd0vB39g0Sb+u2IvNovG/IsP44dTjWrSD9buj+h4Tqdu9ksZnJmIpmncc85EkuKtfLOjiqe+2AGE3rcmEnokuFFpqWDBjevzvL+u1Wc1YbRQnrJwzMTg31CslBvlyekP5eAxD24EYUCQkAbTLoerF8NPlxhqjj0N9q+BN35mKjiZnU68Q8JNSzVVGf4ecAc3mgZH32jc/uZf0No9j4aSwh1O3WywB6GPXvBEdSne4aPXzaOLt1DV2EZJdhJTh4bW5+SY0TkAPPtVaZeZVaEoN9B1eObOykbaOpzYbRaKwwg2lbm1oqHVHICalmAjw0cTuPx0374b91yprrPFVKC1vaIxor4qL3+3i4c/3gLA3T+YwNGjcjnpEKOY4/MtB/yavANRXm9U3dgsmvk5KM5K4pa5YwGodVXhhFIGHimmehdFU2yohuL0pDjz89WT6o2aKxVOGThAvNVQVLsEN67P2dhC4zMlnhtBEMKncJKh5ly+EGwJsPl9WPoQ0LX7adhpqfVvGf6agomQM9K9fezpkD0SWmqM9FQ38OyI6pmaCnX0gifD/KSldlU18fgSw4T6u1PHhTxb6+xDB5GfZmdfXQtvLt/jdV9VmMqNSkuplNTIvNArpQCylXLT0GZWNA3105U3P9V3xVQgz01RegIpdhsdTj3sE+nnmyv43eurAbj2+JGcf/gQAMYWpFKclUhLu5PPNh8I65iA2d+lMCPBa/7WxTNKmDEsy/y5JyqlFKbnJorzpSqDTJP3pDcqpprMuVLRSUupaqlJg41hpVItJQhC5BRMhLn3Grc/ugtKv+qi3ISdljJTUp18aBYrzPp/xu0vHwm5PN0XFotmyuGe0rsyxIaVlnKdCA7Ut1Lf4u6t8Zf3NtDW4eTI4dnMOST01hB2m5UrjxoOwGOfbvPqARNqWspUbhqN9WyOwEwM3tVSweaEuRv5uX8vDa0d5nBSX8GNpmmMUr6bMCqmth5o4OfPLqPDqXPm5CJ+NWe01zFPGlcARJaaUmbi4kzv12mxaNz7f5NIjreSk2IPODCzu5hpqSidoFs7HNS7PuehGOV7I7gxuxNHmJby7FDc3OYwA/9JrnlekpYSBKF7HPZjowGg7oBXf0Kexe0VSYyzhtS8zqThAGx3detWKSlPJp0PqYVQXwarXurWsn1NBncrN6GvOS3BLeOrAOC7HVW8s6oMTYPbTj8k7KqaC2cMIT0xju0Vjby3xt1HS5WCBzOFZnaa8bXJZYIdFUYZOLirpdocTlbvqQX8D4D0NYJBmYlTE9zlzZ0Zkx9+OfhTX2ynvrWDaSWZ/PWHk7q8v3PGG8Hkxxv2+xyfEIhdVW6/TWeG5iSz6MZjefuXRwUcmNldQpkxFg7qxB9n1UhLCK6UuCumejC4caUMo2EoVimpFLvNDMz6w3wpCW4EIZZoGpz+oJEyqtvD+G9+g4bxj2dIVlJ4J/b1/wXdaZiWs4Z1vd9md4+J+OLv4AzfU6FI9VEOvi8CQzF4f9N1OnXuensdABccXswhReE33Uyx2/jxzKEAzF+8xTQ9V4VYztt5eKap3OSFp9wkxFnNoGTZTqO0319DxgJXCbuv4KZzjxtPRkUQ3CzdWgnAVccM95num1aSSWZSHNVN7Xy3M7yGfv6UG0VRRmJYactIiLah2N1CID6kv8fe6HXTFMFcKfBtKFZm4qKMBPc0e/HcCILQbeyp8MOnwZZA6q5P+Kn1bSCCzsRr3zSuO6ekPJl6GSSkQ+UWWP+/iJYLvkcwRJKWAu9eN28s38Oq3bWk2G3ceNKYiNd3+cyhJMZZWbu3js82V6DretChmQrP4ZkdDifbXK30w01Lgbu6Zo/rBOJPuSnwYSj2153YkzFhzpjaX9fCtgONaBocMSzb5z42q4UTxhrqzaJ14aWmTOUmy/+aexoV3FQ1tkZlNEWFOVcqNEXSLAc/0BDVERCeRKrcuDsUu9elqtuKMhJNVbOhtYOW9si//PQFJLgRhL5AwQSYex8AN9leZpq2ITy/Tf0+2PG5cXv82f73s6calVpgVE5FiPrGqCaD17e0m/9ww6mWArdys66sjvve3wDAtSeMDC8l14nM5HgunG6YZB9dvIWmNodZ2RWOoXhHZRNtDieJcVafqZZgdPZo+DOIm2mp2q7KTUGABoaq183OysaQTkZfbTNUm0MK00hP8t/5WqWmPli3L6wT9O6awMpNb5CdbMeigVOPjjHWNBMHSWcqSrKT0DRjlllVD3lXlKE4JUzlJs5VLeWVlqpxBzepdlu/KQeX4EYQ+gqHXQoTz8OmOflH/EMcqX8f0sgGANb9F9Bh8OFGh+RATPsJaBbY+UXYwz0VnbsUq3RKqt0WdgWHUjPeXbOP/XWtDMlK4vJZQyNalydXHTOMOKvGV9uq+HC9oUDYbZagvUE8DcUqJTUyLwVLGJVSCk+VKCHO4rcZoQpuyutbzYnM7h43/oOq3FQ7GUlxOHXMBnmBUMHNkcN9qzaKo0flYLdZ2FXVzMYQU14dDqdZdTM4hsGN1WMiezS6FKtuvTkhdt1OiLNS5Pqd9ZTvRn2pCFu5caUhPQ3Fe1y/s0EZRl8i98DXg9t3I8GNIPQVXP6b7dpg8rUaZi/7BTx1KpR+Ffyx/qqkfJE+CEadbNyOsCw8uVNwo6p88iPwU6heN4rfnTo25NLvQBSmJ3L2lEEA3PeeEcRlh+Cb8FRuzM7EYZqJFTkewUxJlv+RA7mpdjQNOpzu9FkonhtN08x02dq9tUHX86XLb3PkiMDBTVK8jaNH5QKhV03tq2vB4dSJt/oP4nqLvChWTIWazvRENSnsKd9NpJ6bQMrNoAwjIMvuNDbkYEWCG0HoS9hTWHHSS3yUdQG6LQFKl8KTJ8Pz58O+Nb4fU7vHmEIOcMhZoT3PtMuN65XPQ3vXmUbB6DyCwayUCjMlBd4+lBnDsjh5fEHYx/DHz44bgaa5PS+BhmYqPDsUby6PrAxc4TloMVDPojirxVQGlAoWqMeNJzNdgUowf0xZbTM7KpuwaHC4R88Zf6gS/A/W7Quyp4Hy2wzKTIxI5Yom0TQVm4biENNS0PPl4I1tkY1f8GkornWnpaDr2JCDlfDeGUEQepwfzJwAM/8JtbfDp/fC8mdh03uw6X0YfYphCNYdRrM+pwPqXM3qhhxpqDKhMPJESBsMdbuNxn+TzgtrjZ0ng0cyekGRbLcxrjCNreUNEZV+B2JEbgqnjC/gXVdJeLBKKYCMZCMt1dzuMEu4w5kG7omn5yZYQ8aCtAQO1Leyr7aFCYPSPboTB35P504oZN6Hm/lscwX1Le2k+pkir1SbiYPSQ5o0P3tcHhYN1uypY29Ns3ny84eqlIrEmxRtohvcuNJSIRqKwSO4OdBDyo3L3+avRYA/3IZiI7hxOnXKXGmpogzjc+bZfPJgRpQbQeirpA+CMx+CX3zj6lujw6Z3YdWLsPoVIxW1/i3Ys8zYP5wAxWI1PD4AyxaEvbSUTtVS+yPocePJs1dMZ9GNxzBhUHpEjw/ENce5OzWHklpItduwuZQH1XtnVJhl4ApPn0awURoqMNxX10JLu8OcbVWYFjhYGJ2fwvCcZNo6nHwcYOClCm6OCOK3UWSn2JlaYoy9CKVqapc5Uyp2fhtFVIObxvAMxdDzyo17cGa4aSnvPjcVjca4DIvm/vz1F8+NKDeC0NfJGQk/XGBM9962GNCM4MRiM4zBFqsxoHPcmeEd99CL4dO/uI3FuaGXXrvTUsY3SHdlT2Q9TLJT7CF1f42EiYPTOXpUDks2V4TkBdE0jYykeNNzkBRvNf0I4eJ5Quw8MLMz+R69btT7mRhnJS0x8L9pTdOYO7GAf3yylffW7OOsKb7Vuy9dZuIjgvhtPJlzSAHf7qhm0br9Zu8gf/Qp5SbAdPhwcVdLhf75HK7KwSuN3k3RTtM1RTpbyuxQbJjWVRl4flqCGfjk9BPPjQQ3gnCwUDjZuESL9EFGmmvjQsNYfMqfQ36oKkHtXC0VSVqqN/jzDyby+JJtXHJkSUj7ZybFmf/cR0VYKQXeyk1JkJEDBR5diss8zMShpOnmTijkH59sZfHGAzS1dXTxYuyqamJ3dTNWi8bhQ4P7bRQnHZLP3QvX89W2Smqb2gOWj+92eW7CGS7aU+SlRSe40XXdo89N6MrNoMxE4qwabR1O9tY2R13NaoxwKrhbuTGCo71mSsodkJpjQ6QUXBCEg5aplxnXYRqL/RqKe7j7bKQUZyVx11kTQj7JeA4wHRWhmRiM4CQhzkJGUpzpafCHezJ4K/vqVAO/0N7P8UVpDM5MpLndwacbuw68VKrNpMHpYfk0huYkMzo/hQ6nzicb/ae8oI8qN91UHzz7I4WTlrJaNEqyeyY1peu66bmJVLlRTfw6V0qBZ7WUBDeCIBysKGNxc7Xh3wkRz1LwDofT/IYcaVqqr5HhoVBEaiYG43169WczefVnR3pNyfZFgUcjv1ArpRSapjF3glFl9q7HPC1FqP1tfDHnEOO4gXw3bR1Osy9PLBv4KaLluVEpqcQ4a9iVST3lu2ntcJqdl8MObjoZivfUeFdKgVuhOtg9NxLcCMJAJkJjsWcTv4qGNpy68W21p3wzvU20lBuACYPSGRmCIdlzBEMoPW46M3diIQAfbyintcPdrVjXdb4Ksb+NL44fa/S7+XJbpd9uxWW1zei60agwJwyFo6dQwU1Da4fZzTcSKkIctuoLc8ZUlCumPOe5JcaFmZayefe5cSs37s+Ze3xFm9lQ8mBEghtBGOgcdknYHYuT491pKZWSyk2xY41xf5NoocrBIfIeN+GSn2qcYGqb281v+4G6E3dmyuAMCtISaGjt4PPNFeb20qom9ta2EGfVzOqncJg4KIOEOAtVjW1sPeC7C7J7GniYw157iBS7jYQ44/TWHfUmEjOxoqeUG5WSSoyzhv33ppQb1aG4c48bcAf2HU6d2ub2bq83VkhwIwgDnbQiw1gM/jsWN9eA0934KzXBI7hRAzP7qN8mErJc/+BT7DaKeul1pSW6T8irdhv9dQrDSPNZLBqnuFJTC1e7U1OqBHzy4IywUytg+DQOG2IERV9vr/K5T1/y24CRpstzBYvdC25Uj5vwlZueCm6UmTjc7sTQtRTcl6E43mYhPdEI7tXoiYMRCW4EQYCpnToWt9TBhoXwzk3w8FS4twT+MR22fwa4c/0t7U5T2g404PFgQw3XHJmX0mtKhKZppu9GfWMO16CtgpsP1+83fRXKTBxJSkox3dXR+Bs/wc2u6tgPzOxMNHw3kfS4UQxzjWDYXd3klSbsLo0RloGDMVsNDM9NU5t7sGfnBo39oUuxlIILggAjZ7s7Fv/zaKjcanRB9qRyMzx9Bkw8j+TZd5mbt1UYqYr+YiYGOGFsHiePz+eHU4t79Xnz0xLY4WocCOF5bgAOH5pFTko8FQ1tfLm1kqNH5bjnSUVgJlao4ObrbVXout4l4NttNvDrG8oNRKdiqjtpqdwUOyl2Gw2tHeyqagrJdxUKja2RjV4At3Lj1N2/sxS7jbQE72PlJNvZdqDxoO5SLMqNIAjexuKKTUZgkzUcpl0B5z8H16+Gw68ENFj9MvZHZ/DjuA+x4GRruSG796e0VHaKnX9eMo0TXfOVegtPpSbeajEVpFCxWjTmjFdVU2Vsq2ikvL6VeKuFwyLw2ygOLc4kzqqxr67F9Nd4sqvKpdz0gR43CqXclNd1R7kJv8eNQtM0MzUVTVOxMkgnh9njBiDO5j7lq3SZmgbuSU6q6nVz8KalRLkRBMFg5i8BHVLyYcTxkDnU+/7T7ocpF8HbN0LZCu60PskPtMX8rfwXQGG/Um5ihWcTxIIQG/h1Zu6EAp7/upQP1u7nkMI0AA4dkkFCmJU1niTGW5k0OINlO6v5enslQzp1W+6Tyk000lINkaelwPDdrN5TG1XfjUpLJUWQlor3aEews9JYk6/+S2q+VEUUOjzHClFuBEEwiE+C424xJoZ3DmwUg6bCVR/D3L/SQBJTLNv4Z/vvONKyVoKbKNA5uImEI4Znk5EUR2VjG499ug3ont9G4c9309LuoNx1EuxLnhs1aiNQWmpXVRM/feY71rgGpHbG3Z04Mj9ZT5iKu6XcWN3B8vYKQ23zNRDV9NwcxF2KJbgRBCE8LFaYcTVXpT7KEscEkrVWFsTdx7Dqz2O9soMezwAxXL+NIs5q4aRxRjpNNWnrjt9GYQY3O7yDG/UcyfFWr+aHsSYU5eaJz7fz/tr9/OXdDT7v746hGGC4y1S8LZrKTYTdicFIlSn1xq3c+Apu1GRwUW4EQRhgtCXlcUX7r/nAMRW71k7Bu1cYk8qjidMJrb57q/RHPKeqd2eUxdyJBeZtu83ClCEZ3VkWAFNLMrFoxqR0Vf4Pbr9NX+lxowgluFm5uwaApVsrugyKdDp1s5ooJ8LmlD2h3ChDcSTKDbjVGzXx3tdQ2ByzS3H4yo3TqfPsVztZu7c2pk0AJbgRBCEiku022ojjmvb/x0J9FpqzA179Cax4PjpPULsHHj8e7h0KH94BbdHtF9IX8UxLhdPjpjOzRuaQ6vpmP7UkE7stcr+NIi0hjkOKDA+Pp3qj/DbFWX3HbwPu4KaiodXnSbatw8navXWAUT307uoyr/vrWtrNMQeeHavDQaXpDtS3Rq0cvDueG3Cbin018FPkeLx34bKtooHfv7mG/3t0KR0S3AiCcLChJoN3YGNe2k1w6CWgO+HNn8M3j3fv4HuWweMnQNkKcLbD5w/CP2bA+rfBzwiA/oBqPAfhdSfujN1m5WRXz5vjxuR2e12KGcOM9NY32yvNbW4zcd/x24DbJ9Ph1Klu6qpAbNxXbzazA/jfKu/gRvV4SUuwmQMnwyUjKc58bHeqtjzpjucG3KZi9Wfk21AcuXLz7Y5qwGgaGen7Fg0kuBEEISKSPfps5KYnwRkPwYyfGRsW3gQf3Gb0ywmXtW/AU6dCwz7IOwTO+gekD4HaXfDSj+D586Bqe5ReRd8i3mYxjbDdrTz6wxmH8PcLpnD5rGHRWBrg21S8q491J1bE29yl9L5MxStcKamxBUb/mW93VHml28zuxN2Yl+bZmHF/XUuQvUNDeW4i6XMD7l43ABbNd38q5bmpb+2gpT08xelbl6p3+NCsiNYXLSS4EQQhIjwNjflpCWCxwCl/gaN/ZWxc+hA8fBg8ehR8eh+U+zZtmug6fPpXeOUy6GiBUSfDFR/AoRfDL742jmuJg80fGCrOp/d5jYToL/zp7Alcf+IoxrtSQJGSmhDHWVMGeZ3Muos6YW3a32D6UfqqcgMejfx8+G5W7qoBYM74AqaWZKLr8I5Haqq7ZmJFvqtz975oBTcuz01KhGkpu4eaUpCW4HNafVqCzfTmVIVZMbVsp6HcTBsaeV+laCB9bgRBiAjPf67mtz9Ng9m3G4rL8meNcQ37VxuXT+6GnDEw/FhILYTUAqOnTmohJGXDB7+H1S8bxzniFzDnj0ZlFhhl6rNvh0kXGKrQ9k+N49nT4Iif9fIr71nmjC8wG/H1NbKS4xmdn8Km/Q18s72KUyYUsNts4Ne3lBswfDcb99cHDG6mFKeTlRTHsp3VvL1qL1ccZShdld0sA1coH5WnKtQdzA7FEcyWAm/lxpffBgzFKTvZzr66Fiob2vzu15nyuhZ2VjahaXSraWQ0kOBGEISI8FRuulT2TDzXuDRVwcaFsO6/sPUTqNhoXPxhsRnNAqde5vv+3NFw6X8ND85Hd8Jn98GUCyEhvfsvSAiJ6cOyzODmmNE5psLRJ5Ub1aW4U3BT39LOFteE80mDM5hQlM6db69jeWkNu6qaKM5KMj033VVuop2WUlPBkyNNS9ncFW2Bgpac1Hj21bWEZSr+zqXajMlPJS0htm0BJC0lCEJEpCR0Skv5IinLSCv96BX49RY453E46gaYfCEMP95QeBJd3/BS8uHi1/0HNgpNg5nXQc5oaKqEL/4enRckhMR0ZSreUWmmpNISbOYk6b6Ev3Lw1btr0XXDJ5STYicvLYEjXK9LpaZUOiaS0QueqMB/f5QMxWoqeFI3DcUQOLgxuxSHE9y4zMSx9tuAKDeCIERIiocsHlJ34sQMmHSe7/s6Wg3VxhLiP2yrDWb/wTAYfznfmHuVVhTaY3sKXTcCr37OdNeJa93eOtaXGaXUfVG1AY8uxZ2CG2UmnlycYW47fXIhX26r5O1Ve/nZsSPcc6W6YSgGyFNpqWgpN92YCg7eaalBPiqlFEqxqgzDc/PdTsNMHGu/DYhyIwhChHjK4t1pOAeAzR56YKMYexoUz4COZlh8T/eev7uUr4e/T4aXfxzbdfQCBekJlGQn4dThzeV7gL7ptwH/yo3ptxmcYW6bO6EQq0VjzZ46tlc09tm0lNnEL8LgxrM8e1CACrecMLsUN7V1mH2DpvUB5UaCG0EQIkIZiq0WrVvlshGjaXDSH43by58NXo0VLqH20zmwCZ4+E2p2wro3jUCnn6PUm882VwB9V7lR1VLl9d6BxcpdxiwpT+UmKzmeWSNzAHh75d6oGYoLPAzFejd7NOm6bqalutvnBoKlpcLrdbOitAaHU6coPcFn1+PeRoIbQRAiQnUxHZSRiNUSo3TMkBkw9nSjeeCHd0TvuFs/gfuGwQsXQf1+//tVboWnz4DGcve25c9Gbx19lBmuWVWqg29xH+txo/Cl3OyrbWFfXQsWDSYM8i63P31SIQBvryoz0zE53VRu8lyl4K0dTmqb27t1rNYOJ6rpb8QdikMMbtQXlkCDRz1Rzfv6gmoDEtwIghAho/JS+PMPJvLAeZNju5AT7wDNCpvehZ1Lu3+8yq1Gr53matj4Djx6pNEZuTNV22DB6a5mg+PhzEeM7ateAkf3TmJ9nRnDvE9gfVa5cQU3dS3uZnRqntTo/NQujfBOPqSAOKvGxv311DQZv8Puem4S4qxkugaKdtdUrFJSAElxESo3rrRUqt0WsKLJ9NyEqNz0Jb8NSHAjCEKEaJrGRTOGxP6bWs4oOOxS4/YHt3VvPENLHbx4EbTUQNGhkD/RqMh66Ufw5i+M+wGqd8CCM6B+L+SONcrTJ18AybnQeMBoNNiPGZyZ6DW1vDirbwY36YlxZhpGVf24+9tkdN0/KY5jR7vHVVg0yIhCFVh+lEzF5lypeCuWCNVSpdwE611jem4agwdkHQ4n36vmfSWi3AiCIESH426BuCTY853RU0eh61Cx2Rjm+elfA4+DcDrhjZ/CgQ1GY8ELX4SrPoJZ1wMarHgWHpsFa143UlF1uyF7FFz6FqTkgjUOJp1vHGv5cz35amOOpmnmKAboe6MXFJqmdUlNrfRRKeXJ6ZPcVXdZyfERBxGeqOBmfzcb+bnLwCMvdFbKja+ZUp54KjfBvEIb9tXT2OYg1W5jjGucRayR4EYQhIOf1AKY+Uvj9kd3GqMZnj3X8M08Ms0Y5vnJn+DRmbD0YXD6mJez+B6j4aDVDuc/ZxzTZoeT7oTLF0LGEKgphVcvN66zRsCP/wep+e5jHHqxcb3pPWgo7/oc/QgV3GQlx0dcudMb5Hg08nM6dVYpM7FHpZQnJx6Sb44o6K6ZWFEQJeXGHJoZYXdigHjXWIVgyo2ay9Xh1IN6hdTIhUNLMmPnv+uEBDeCIPQPZv7SSAtVbTNGM2xZZPhmbAkw5EgoPsKYWfXB7+GJOd7VVWvfNLodA5zxdxg81fvYJTPhZ1+4g5fMoUZgk1bovV/eOBg0FXSH4b3px5w0Lp/8NDunTOiboyIUnvOltlU0Ut/aQUKchdH5KT73T7HbOGFsHtD9MnBFfnp0ysHdaanIg8mjRuWSlRzPiYfkB9zPbrOS5mrUWRHEd2MOy4zxyAVP+m64LQiCEA72VDj9QUO1yRkNxdNh8OGQPwFs8UaK6vv/GMHNnu/gn0cb6awRJxjKDhgzraZc6Pv4CWnGhPKZ10HaILD7Pjly6MWwZ5lRNXXktf22sV9eWgJf/+7EWC8jKJ5pKeW3mTgo3efASMUlR5awaN1+r9Rbd1DDM7sb3CjlJqUbys1Jh+Rz4rgT0UL4XOak2Klr6aCyoZWReb4/77qum52JY+6/80CCG0EQ+g/jzjAuvtA0mPpjGHkivH29Yfr96C74+E9GKfnw4+Gku4I/R+6YwPdP+D9477eGd2fP911VIKFXMbsUN7RS3WQoEL7MxJ7MHJHDij/MibiXTGeilZZqiIJyA4QU2IChXG2raAzYpXhPTTP76lqwWbSg72tvImkpQRAGFumD4KKX4ezHjIGbuhMyh8G5TxpjHbpLQjqMO9O4vfyZ7h9P6Ba+lBt/ZmJPUuy2kIOAYLgng3evFDwanptwUJ6jQF2KlWozflA6iVEKBqOBBDeCIAw8NM1IP/3iG5hzt+GfSYqipH7oj4zrNa9BW1P0jiuEjQpudlc3s841C8ufmbinUONJKhtbaXc4Iz5ONDw34aA8RwcCeG76ot8GJLgRBGEgk1oAM6+FjOLoHnfoMZA+BFrrYIOPBoBCr6GCm/VldbQ7dLKT43u9dD0rKZ44q4aud51zFQ5N3Ry9EC6hzJdSlVJ9pXmfQoIbQRCEaGOxwJSLjNsDYBxDXya3U4fhycUZUUs3hYrFopGX2n3fTUM3h2aGS06QLsW1Te1s3F8PwNQ+0rxPIcGNIAhCT6CCm+2fQvXO2K5lAKOUG0Vvp6QUZsVUNxr5NbnSUr0V3GQH6VL8fWk1ug7DcpK7vM+xRoIbQRCEniCzBIYda9xe+ULw/ZtrYON78P6t8M5NsO1To2vyQMXphP9eC/NndmvSekKcu18LwOTi9GisLmyU76Y7yo27Q3FvGYoDKzdqntTUPua3ASkFFwRB6DkOvdhQbpbcbwzfzBoGWcMhe4Rx3doAO5bAjs9h3yqjckvx7eNGP52J5xpjHfLHx+51xIJP/+KuNvvPWXD5u8b7FgG5qUa/FoilcqMa+XXHc+NSbnrJUJzjUUbvCzUJ/PA+5rcBCW4EQRB6jnFnGEFM1TbYv9q4BCJ7JAw9ymg4uO5NqNsDX/zduORPMFJdh19pjIXoz2xYCJ/ea9xOLTIGlD59hjEGI3No2IfLTbWz9UAjJdlJZCZHp+twuLiDm+57bpJ6qRQ8x1UKXt/SQWuHA7vN/bxtHU6ztL4vNe9TSHAjCILQU8QlGuXm1TuMAKdqmzG8s2obVG0FSxwMnQVDj4aSWd7jHObeZzQaXPUSbHof9q+B939nDAH9wWNQMDFmL6tHqdhsDDAFmH41HPMbWHAqVGyCp880Apz0wWEdMtdl5o2JaqPr0FTJGOc2TrQsY+LeL2DRG1C31/gdzrou5EO5+9z0zqk7LdGGzaLR4dSpamyjMN1dZbZwdRmtHU6ykuMZnpPcK+sJBwluBEEQehJrHOSMMi7hEJcAh5xpXJqqjJ45i/9iBDn/Oh6Ouxlm3RCdxoN9hdZ6ePFHRgn9kCPh5D8b79+lbxkBTtU2d4CTGvpMq8OHZvK/lXs5Kcg8pajT1giPnwAHNnA8cHw8UAt84bp/9csw+uTgXa9dmIbiXkpLaZpGdko8++taqWxwBzefb67gN6+uAuCHUwf3evVZKIihWBAEoa+TlAXTr4JrvoKxp4Oz3Rgb8cRJcGBTrFcXHXQd3rwGKjZCaiH88GkjsAFD0br0LaN3UNVWw4PTWBHyoS89cigr/zCHMyYX9dDi/bD+bWMMB9CRlMdK53A+1A9Hn361kWYEWP+/kA/X24ZicHcpVr6bFbtquPqZ72hzOJk7oYDfnDK219YSDhLcCIIgHCyk5ML5z8IP/gX2dNj7vTEA9Mt/HPyVVZ8/COvfMlJ15/0HUjupLBnF8OO3DA/OgQ3wn7ONCrMQSU+Mi+pyQ0JVyR33O9quX89ZbX/iytYbaDjhz0bKDcIKbnq7FBzcpuLKhjY276/nsqe+oanNwVEjc5h3wRSslr6n2oAEN4IgCAcXmgaTz4drvoQRs6GjxfDivPQjaKmN9eoiY8tH8PEfjdun3mdMdPdF1jBjVEZynmHOfu0KcDp6b53hULfXqJQDmHQeSfE2Ul0l6fvrWmDMqaBZoGwF1JQGPZyu66Zy01uzpQByXAbslbtquPiJr6lpamdKcQb/vGSql8G4ryHBjSAIwsFI+iC4+DU4/UGw2mHjQpe/Y2OsVxYezdXw+tVGGfyhl8DUywPvnzMSLn4VbImw5UNYdHvvrDNcVr9ivKYhRxpBGR7TwWtbDRVuyExj3/XBR3S0tDtx6sbt3vLcgHu+1DNf7WR/XSuj8lJ46rLDe1U9igQJbgRBEA5WNA2m/QR+8h6kDYbKLUaAs+6tWK8sdD75MzRVQO5YOPVvxmsKRuFk+MGjxu0vH4Hlz/XsGsNF12GFKyU1+QJzc5dGfuPOMK5DSE0p1QYgMa4XPTce4ysGZybyzBUzYlZOHw4S3AiCIBzsDDoMrl5slJS3NcDLl8BHd/XdlI1i32r49t/G7VP/alSIhcr4H8CxNxu3374eSr+O+vIiZt8qOLDeUNQOOdvcrOZLmb1uxp5mXJd+CQ3lAQ/ZZE4Et2LpRZ9LcWYSYAzRfPaKGWaA1tfp27qSIAiCEBopuXDJm0aa5qt/GF2Rd30DOaMNZaSxAhoPGNetdZA1wlBACidD4SQomASJGb23Xl2Hhb82Ujfjz4Fhx4R/jGNvgf1rjcnrL10MV38Sdg+cHmHli8b1mLle72lBumu+lApuMoqh6FDYu9xIK069zO8hzQZ+vZiSApgzPp+/nDORWSNzKM5K6tXn7g4S3AiCIPQXrDY45c9QNAXeus412mGJ730rNhqX1S+7t2UOhREnGGpDyaye7aGz+hVDsYhLgjl/iuwYFgv84J/w5MlG/58XLjRSdPGupnLtzbB3Bez6Gmp3wVE3Gl6lnsTRYbw2gMkXet3l9tx4dCked4YR3Kz/X8DgRjXwS+lFMzFAnNXCBdOH9OpzRoOYBzfz58/nr3/9K2VlZYwfP5558+Zx9NFHB33cF198wbHHHsuECRNYsWJFzy9UEAThYGHSecYsqpUvGMbb5FxIznFdco2AomKTUalTthLKVkHNTqOT8ndPGpekHOPEO/5sKDkquoFOSx188Hvj9jE3dS/gsKfAhS8YjQ33rYJXLoPsUUZAU7bS6AmkqNxiqFs92XRu68eGQpaUAyNne93lcwTDuDONFOK2T43Sdj/qWWObSkvF/LR9UBDTd+mll17i+uuvZ/78+cyaNYt//vOfzJ07l3Xr1jFkiP9Isba2lksvvZTZs2ezf//+XlyxIAjCQUL++MCKSGYJjDrJ/XNTFez+zug1s+FtI5W17CnjkpRtpFjGnArDj3MrI5Hy2X3QsN+Yu3Xktd07FkDGEDj/GaN78eYPjIsiOc8oLd+8CLYthnX/NQK2nkL1tpn4Q3cTQhc+J4PnjDLM1Ac2GOuedJ7Pwza19n4Z+MFMTA3FDzzwAFdccQVXXnkl48aNY968eRQXF/Poo48GfNxPf/pTLrroIo488sheWqkgCEI/JykLRs+Bsx6BmzbDxa/DYZdCYhY0VcLyZ+HFi+C+4fD8+bBsAdTv8z6G0wkdbUY6SNd9P8+BjfCV63/83PuiNwS0ZCac8y+jvPrwq+Ccx+H/rYSbNsEFz8FR1xv7vX+rMRahJ2iphQ3vGLcnn9/lbqXcHKhvxeH0eH/Mqin/VW6i3IRHzN6ltrY2li1bxi233OK1fc6cOSxdutTv45566im2bt3Ks88+y5/+FDxP29raSmure1x7XV1d5IsWBEEYCFjjjJTKyNlw2oOw83PY+K5heq0phU3vGRcAW4JRleXsADxO2KmFRspl/NlQPAMsViPgefc3xr5jTvVWjqLB/2/v3uNjvPI/gH+eyWQSuY1browk7iIhJKoJi123RW2t3TZuVavb3ShtNLXr0t/+ovxIdLd+9IKuqip2td1glbYkRJSWECJBmoaQqCbSsHKhRGbO/nFkZExEVMzEk8/79XpemZzzzDzn+wT5Os+5BI+VR236vyx7Va4UAPv+BgyJa9hrA7JXyHhD9sT4hlpVt3ZzgoNGgdEkUFJxw5zsoNtoYN9fgdxkoPIaoLMeuHuVPTf3xW49NyUlJTAajfD2tlxi29vbG0VFRbW+Jzc3F3PmzMHGjRuh1dYvL4uPj4derzcfBoPhgdtORNRkOGjlo6gRS4CYTGDa18Av/gK0CZf1VddvjWu5o6emvBBIexdYOwJY2g3YMUvO4MrbK6dID19s2zgcmwG/TJCvv3oLKDnd8NeoniXVc1yt43ocNAo8b60bYzGo2KeHfLRW9SNwZnetH21enZg9N/Vi97t0526iQohadxg1Go2YMGECXnvtNXTu3Lnenz937lzExsaavy8rK2OCQ0T0UygK4B0kjwGz5DidygpAo61x3OpZKDgInNwqH9NUXAQOr779Of1nmlfttakuI4GOQ4HTSbIHaVJiww0u/s85IP8AAAUIqX3cDAB4651RVHYdRWXX0bO6UFFkL9fXb8tZU9WPqWqwx75SjzK79dy0bt0aDg4OVr00xcXFVr05AFBeXo4jR45gxowZ0Gq10Gq1WLBgAY4fPw6tVos9e/bUeh0nJyd4eHhYHERE1ABcWsoeBw8/wM1Lfu+sl0fn4XIV4T+dBiZ8AoROlOXeIUC/mfZpr6LIHigHnewh+ebe2x7UW+atKfWBA+qc/eV9ayPK4pqDigFzQvPjyR0Yv2of8i9Zjguyx47gAIDSC3KKffVYokeE3ZIbnU6HsLAwJCUlWZQnJSUhMjLS6nwPDw9kZWUhIyPDfERHR6NLly7IyMhA3759bdV0IiKqL61ODlQeswKYnQ9M21/rmBKbadUBiHxJvv5irhzj8qCqKm/PkrpjbZs71TpjCgDaPoYqFy80M1bAsWA/xrxzAGlnL5urb4+5qWfPjRANE9sXc+RYqy/mPFI7z9t1tlRsbCzee+89vP/++8jOzsbLL7+MgoICREdHA5CPlCZPniwbqtEgODjY4vDy8oKzszOCg4Ph6vqAUxOJiOjhepjry9yPn70C6A1yYb/9S3/65xRmAp/PBt7oAlzOk+sH1fJIqSbvmptn1qTR4JhLPwDACIcj+M+1m5j43kEkpn8H4PZsKdf69tzsjQfi2wDf7ryPgO6Q//XtGVxXCoCCu0/2aWzs+vAuKioKly5dwoIFC1BYWIjg4GB89tln8Pf3BwAUFhaioODeW8ETERHVm85FDmj++BngwHKgbR8goH/91u+5ekmuQJyxQe6NVc3dFxi+SC4qWAef2hbyA3D9phGrS7qjD7ZgrEsG9hs8sePED3jlk+M480MFKq7feixVn56b0gvA/v+XW1skz5fjjDT32ZdhMgG7XpWvtc5y4HjGP+V9egQoQtxtMQJ1Kisrg16vR2lpKcffEBE1VUIAG8bKFYUBQHGQe2wZHgfa9QXahMn1fYq/kZtgFmfL16U1/sPtoJODlHtNkttWaO7dq7I/twST1hxCRy83JMcONJf/K/07zPkkHenOL0CPCpiGLcbS8iF4O0XO6lIU2eR3JvTGqB6+dV9keyxwZM3t76M2At2eqPetAQBk/QtIfA7QuQFPvgN88qx8PSvXbo8V7+f3N4ddExFR06MowJhVQHIccHYfUHZB7vH0/THgUN0LycK3JxA6CQj5rRxEfR+sNs+85R+H8lEFLY51ehGDcuOh2bMQs6b9EoGte2LO5kzcNMp+CJd7rXNzpQA4+qF83X6QnHq/73W5A3l9Hwve/FH2+AByZlvQk0Bzf7lFxzfb77qKcmPC5IaIiJomd2/g16vk6yvn5X5UBQflcfEE0KwF4BUEeHUFvLoBnt3k1/tMaGqqHnNTfr0K1yqr4KLTIruwDEcLrkCrURA0OgbYckAmXP+ejt9M+QyGli7443o5DqfdvXbm3vdXue5Q4EDgN2uAZSFyj63TyfVfNPHgSjkeyaMN8Ph0mRT1HA+kJsiB00xuiIiIHgHNDfII+a383nhTrtvTwIOg3Z0d4apzwNVKI4pKr6O9pxv+cUg+6hrW3RteHs2AX70NrIiQu6anvYvHHp+G3a8MwvdXfkQHzzrG9FzOA45tlK9//qrcKDV8qlw/J/V1oOOQe8dT8QPw5a1B1oP/9/YjqJ7jZHKTtxco+15O/2/E7DpbioiIqFFycHxos7u8a0wHv1ZZha3HLgAAJjwmJ9OghT8wbIF8nfwacOkMWrrqENxGX/cHp/4VEEaZxLS7tTxK5ItyRejv0mRv0L3sjQcqy+X2ETUXI2wZCLSLkIOUq9f0acSY3BAREdmQt7tMborLbuDT49+j/EYV/Fu5ILJDq9snhU2VCwJW/Qj8e8a915gpOQ1k3tr+YdC82+XuPnIDVEA+sqrLDzlyQ1RAzvy6c4ZV9Ro+x/95941RGwkmN0RERDZUcyG/6kdS4x9rB42mRk+RRgP86i3A0VWuL1Nz+4rapCbIXpXOvwTahlnW9YsBNI7AuS/leKK72fUX2fPTZVTtU767j5HTwn/4BijMuHegdsTkhoiIyIaqBxXvyS7G8e9K4eig4Ldhba1PbBEADH1Nvk6eL8fU1Kb4Gzl1GwB+Ps+6vrkBCL3V61Jb783NH+UjrdydcpzR0AW1X8dZL2ddAXLNm0aMyQ0REZEN+XjI6eBp5+T2CsO7+6D1rd3CrYQ/BwT8DLh5DdgSDeR/Zb2tQmoCAAF0fUJOU69N/5flWj6nk4ELR2WZySiTlLfCgZT/k2WPTwNad7x746sfTZ34l9x2opHibCkiIiIbqu65qTahb7u7n6zRAE++DayIlFPV146QvSve3eXKyi3bAye3yHMHzb3757RsD4Q8Jcfl7Psb0Oc5ICkOuHhrlWWPtsAv/gfoEVV349v/HHDzlju9n0663ZPTyDC5ISIisqHq2VIA0L61KyLat6rjbMjHUxM/AQ6uAL47LBOLwuPyqNb914BPcN2f87NYIPMjIGeHPADASS/L+/4RcGx278Y7aGWS9PXbcmAxkxsiIiLyqdFzM6FvOyj1mXIe0E8eQgCl38kk57sjwIUjwI1y4Bd/ufdneHaRg4JPbpFbR/R5Hhgw6/4XJQydIJObnC+Aa5cfaFHDh4XJDRERkQ15uTvB28MJ12+a8JvetQwkroui3F5wMHjs/V989HLAv59crbhFwP2/H5CPxHx6AEWZclf1jkPlLCqt0+2vjs3kNHQ74caZRERENnax7DqMJgG/5vV4FNQYfb0C2FnHGB9XT+BPpxv0ktw4k4iIqBG7c1DxI6fXJLk9xJUCoOoGUHXd8qujfXYOr8bkhoiIiO6PswcQtd7erbgrrnNDREREqsLkhoiIiFSFyQ0RERGpCpMbIiIiUhUmN0RERKQqTG6IiIhIVZjcEBERkaowuSEiIiJVYXJDREREqsLkhoiIiFSFyQ0RERGpCpMbIiIiUhUmN0RERKQqTG6IiIhIVbT2boCtCSEAAGVlZXZuCREREdVX9e/t6t/jdWlyyU15eTkAwGAw2LklREREdL/Ky8uh1+vrPEcR9UmBVMRkMuH777+Hu7s7FEVp0M8uKyuDwWDA+fPn4eHh0aCf3VgxZsasVoyZMavRoxyvEALl5eXw8/ODRlP3qJom13Oj0WjQtm3bh3oNDw+PR+4PzYNizE0DY24aGLP6Parx3qvHphoHFBMREZGqMLkhIiIiVWFy04CcnJwQFxcHJycnezfFZhhz08CYmwbGrH5NJd4mN6CYiIiI1I09N0RERKQqTG6IiIhIVZjcEBERkaowuSEiIiJVYXLTQFasWIHAwEA4OzsjLCwMX375pb2b1KD27duH0aNHw8/PD4qiYOvWrRb1QgjMnz8ffn5+aNasGQYNGoSTJ0/ap7ENID4+Hn369IG7uzu8vLwwZswY5OTkWJyjtphXrlyJHj16mBf3ioiIwOeff26uV1u8d4qPj4eiKJg5c6a5TI0xz58/H4qiWBw+Pj7mejXGDAAXLlzApEmT0KpVK7i4uCA0NBTp6enmerXFHRAQYPVzVhQF06dPB6C+eK0IemCbNm0Sjo6OYvXq1eLUqVMiJiZGuLq6ivz8fHs3rcF89tln4tVXXxWJiYkCgNiyZYtFfUJCgnB3dxeJiYkiKytLREVFCV9fX1FWVmafBj+g4cOHi7Vr14oTJ06IjIwMMWrUKNGuXTtRUVFhPkdtMW/btk3s2LFD5OTkiJycHDFv3jzh6OgoTpw4IYRQX7w1paWliYCAANGjRw8RExNjLldjzHFxcaJ79+6isLDQfBQXF5vr1Rjz5cuXhb+/v5gyZYo4dOiQOHv2rEhOThanT582n6O2uIuLiy1+xklJSQKASElJEUKoL947MblpAI899piIjo62KOvatauYM2eOnVr0cN2Z3JhMJuHj4yMSEhLMZdevXxd6vV6sWrXKDi1seMXFxQKASE1NFUI0jZiFEKJFixbivffeU3W85eXlolOnTiIpKUkMHDjQnNyoNea4uDjRs2fPWuvUGvPs2bNF//7971qv1rhriomJER06dBAmk6lJxMvHUg+osrIS6enpGDZsmEX5sGHD8NVXX9mpVbZ19uxZFBUVWdwDJycnDBw4UDX3oLS0FADQsmVLAOqP2Wg0YtOmTbh69SoiIiJUHe/06dMxatQoDBkyxKJczTHn5ubCz88PgYGBGDduHPLy8gCoN+Zt27YhPDwcTz31FLy8vNCrVy+sXr3aXK/WuKtVVlZiw4YNmDp1KhRFUX28AMfcPLCSkhIYjUZ4e3tblHt7e6OoqMhOrbKt6jjVeg+EEIiNjUX//v0RHBwMQL0xZ2Vlwc3NDU5OToiOjsaWLVsQFBSk2ng3bdqEo0ePIj4+3qpOrTH37dsXH374IXbu3InVq1ejqKgIkZGRuHTpkmpjzsvLw8qVK9GpUyfs3LkT0dHReOmll/Dhhx8CUO/PutrWrVtx5coVTJkyBYD64wWa4K7gD4uiKBbfCyGsytROrfdgxowZyMzMxP79+63q1BZzly5dkJGRgStXriAxMRHPPvssUlNTzfVqivf8+fOIiYnBrl274OzsfNfz1BQzAIwYMcL8OiQkBBEREejQoQPWrVuHxx9/HID6YjaZTAgPD8fixYsBAL169cLJkyexcuVKTJ482Xye2uKutmbNGowYMQJ+fn4W5WqNF2DPzQNr3bo1HBwcrLLd4uJiq6xYrapnWqjxHrz44ovYtm0bUlJS0LZtW3O5WmPW6XTo2LEjwsPDER8fj549e2L58uWqjDc9PR3FxcUICwuDVquFVqtFamoq3nzzTWi1WnNcaoq5Nq6urggJCUFubq4qf84A4Ovri6CgIIuybt26oaCgAIB6/z4DQH5+PpKTk/H73//eXKbmeKsxuXlAOp0OYWFhSEpKsihPSkpCZGSknVplW4GBgfDx8bG4B5WVlUhNTX1k74EQAjNmzMDmzZuxZ88eBAYGWtSrMebaCCFw48YNVcY7ePBgZGVlISMjw3yEh4dj4sSJyMjIQPv27VUXc21u3LiB7Oxs+Pr6qvLnDAD9+vWzWsrh22+/hb+/PwB1/31eu3YtvLy8MGrUKHOZmuM1s9NAZlWpngq+Zs0acerUKTFz5kzh6uoqzp07Z++mNZjy8nJx7NgxcezYMQFALF26VBw7dsw83T0hIUHo9XqxefNmkZWVJcaPH/9ITyucNm2a0Ov1Yu/evRbTKa9du2Y+R20xz507V+zbt0+cPXtWZGZminnz5gmNRiN27dolhFBfvLWpOVtKCHXG/Morr4i9e/eKvLw8cfDgQfHEE08Id3d3879Xaow5LS1NaLVasWjRIpGbmys2btwoXFxcxIYNG8znqDFuo9Eo2rVrJ2bPnm1Vp8Z4a2Jy00Deeecd4e/vL3Q6nejdu7d5yrBapKSkCABWx7PPPiuEkFMp4+LihI+Pj3BychIDBgwQWVlZ9m30A6gtVgBi7dq15nPUFvPUqVPNf4Y9PT3F4MGDzYmNEOqLtzZ3JjdqjLl6PRNHR0fh5+cnxo4dK06ePGmuV2PMQgjx6aefiuDgYOHk5CS6du0q/v73v1vUqzHunTt3CgAiJyfHqk6N8dakCCGEXbqMiIiIiB4CjrkhIiIiVWFyQ0RERKrC5IaIiIhUhckNERERqQqTGyIiIlIVJjdERESkKkxuiIiISFWY3BBRkxMQEIBly5bZuxlE9JAwuSGih2rKlCkYM2YMAGDQoEGYOXOmza79wQcfoHnz5lblhw8fxh/+8AebtYOIbEtr7wYQEd2vyspK6HS6n/x+T0/PBmwNETU27LkhIpuYMmUKUlNTsXz5ciiKAkVRcO7cOQDAqVOnMHLkSLi5ucHb2xvPPPMMSkpKzO8dNGgQZsyYgdjYWLRu3RpDhw4FACxduhQhISFwdXWFwWDACy+8gIqKCgDA3r178bvf/Q6lpaXm682fPx+A9WOpgoICPPnkk3Bzc4OHhweefvppXLx40Vw/f/58hIaGYv369QgICIBer8e4ceNQXl7+cG8aEf0kTG6IyCaWL1+OiIgIPP/88ygsLERhYSEMBgMKCwsxcOBAhIaG4siRI/jiiy9w8eJFPP300xbvX7duHbRaLQ4cOIB3330XAKDRaPDmm2/ixIkTWLduHfbs2YM///nPAIDIyEgsW7YMHh4e5uvNmjXLql1CCIwZMwaXL19GamoqkpKScObMGURFRVmcd+bMGWzduhXbt2/H9u3bkZqaioSEhId0t4joQfCxFBHZhF6vh06ng4uLC3x8fMzlK1euRO/evbF48WJz2fvvvw+DwYBvv/0WnTt3BgB07NgRr7/+usVn1hy/ExgYiIULF2LatGlYsWIFdDod9Ho9FEWxuN6dkpOTkZmZibNnz8JgMAAA1q9fj+7du+Pw4cPo06cPAMBkMuGDDz6Au7s7AOCZZ57B7t27sWjRoge7MUTU4NhzQ0R2lZ6ejpSUFLi5uZmPrl27ApC9JdXCw8Ot3puSkoKhQ4eiTZs2cHd3x+TJk3Hp0iVcvXq13tfPzs6GwWAwJzYAEBQUhObNmyM7O9tcFhAQYE5sAMDX1xfFxcX3FSsR2QZ7bojIrkwmE0aPHo0lS5ZY1fn6+ppfu7q6WtTl5+dj5MiRiI6OxsKFC9GyZUvs378fzz33HG7evFnv6wshoCjKPcsdHR0t6hVFgclkqvd1iMh2mNwQkc3odDoYjUaLst69eyMxMREBAQHQauv/T9KRI0dQVVWFN954AxqN7IT++OOP73m9OwUFBaGgoADnz583996cOnUKpaWl6NatW73bQ0SNBx9LEZHNBAQE4NChQzh37hxKSkpgMpkwffp0XL58GePHj0daWhry8vKwa9cuTJ06tc7EpEOHDqiqqsJbb72FvLw8rF+/HqtWrbK6XkVFBXbv3o2SkhJcu3bN6nOGDBmCHj16YOLEiTh69CjS0tIwefJkDBw4sNZHYUTU+DG5ISKbmTVrFhwcHBAUFARPT08UFBTAz88PBw4cgNFoxPDhwxEcHIyYmBjo9Xpzj0xtQkNDsXTpUixZsgTBwcHYuHEj4uPjLc6JjIxEdHQ0oqKi4OnpaTUgGZCPl7Zu3YoWLVpgwIABGDJkCNq3b4+PPvqoweMnIttQhBDC3o0gIiIiaijsuSEiIiJVYXJDREREqsLkhoiIiFSFyQ0RERGpCpMbIiIiUhUmN0RERKQqTG6IiIhIVZjcEBERkaowuSEiIiJVYXJDREREqsLkhoiIiFSFyQ0RERGpyn8BmYRq99PPZHoAAAAASUVORK5CYII=", + "text/plain": [ + "
" + ] + }, + "metadata": {}, + "output_type": "display_data" + } + ], + "source": [ + "epoch = 1\n", + "net: torch.nn.Module = ClassifierModel().to(device)\n", + "optimizer = torch.optim.SGD(net.parameters(), lr=0.01)\n", + "\n", + "train_loss_values = [] # List to store loss values\n", + "test_loss_values = [] # List to store loss values\n", + "\n", + "debug_head = 10\n", + "\n", + "for e in range(epoch):\n", + " for input_ids, attention_mask, labels in train_loader:\n", + " \"\"\"Training loop\"\"\"\n", + " net.train()\n", + " input_ids, attention_mask, labels = to_device(device, input_ids, attention_mask, labels)\n", + " optimizer.zero_grad()\n", + " outputs = net(input_ids, attention_mask)\n", + " pprint(list(zip(labels, labels_to_nihongos(labels), outputs, outputs_to_nihongos(outputs)))[:debug_head])\n", + " loss = torch.nn.functional.cross_entropy(outputs, labels)\n", + " loss.backward()\n", + " optimizer.step()\n", + "\n", + " pprint(f'train_loss: {loss.item()}')\n", + " train_loss_values.append(loss.item()) # Append loss value to the list\n", + "\n", + " \"\"\"Validation loop\"\"\"\n", + " net.eval()\n", + " test_loss = 0.0\n", + " num_batches = 0\n", + " with torch.no_grad():\n", + " for test_input_ids, test_attention_mask, test_labels in test_loader:\n", + " test_input_ids, test_attention_mask, test_labels = to_device(device, test_input_ids, test_attention_mask, test_labels)\n", + " test_outputs = net(test_input_ids, test_attention_mask)\n", + " test_inputs_decoded = [tokenizer.decode(x) for x in test_input_ids]\n", + "\n", + " pprint(list(zip(test_inputs_decoded, test_labels, labels_to_nihongos(test_labels), test_outputs, outputs_to_nihongos(test_outputs)))[:debug_head])\n", + "\n", + " batch_test_loss = torch.nn.functional.cross_entropy(test_outputs, test_labels)\n", + " test_loss += batch_test_loss.item()\n", + " num_batches += 1\n", + "\n", + " avg_test_loss = test_loss / num_batches\n", + " pprint(f'test_loss: {avg_test_loss}')\n", + " test_loss_values.append(avg_test_loss)\n", + "\n", + "current_time = datetime.datetime.now().strftime(\"%Y%m%d_%H%M%S\")\n", + "model_save_path = f\"../models/model_{current_time}.safetensors\"\n", + "tensors = {name: param for name, param in net.named_parameters()}\n", + "save_file(tensors, model_save_path)\n", + "print(f\"Model saved to {model_save_path}\")\n", + "\n", + "# Plot the loss values\n", + "plt.plot(train_loss_values, label='Training loss')\n", + "plt.plot(test_loss_values, label='Validation loss')\n", + "plt.xlabel('Iteration')\n", + "plt.ylabel('Loss')\n", + "plt.legend()\n", + "plt.title('Loss vs Iteration')\n", + "plt.show()\n" + ] + }, + { + "cell_type": "code", + "execution_count": 10, + "metadata": {}, + "outputs": [ + { + "data": { + "text/plain": [ + "" + ] + }, + "execution_count": 10, + "metadata": {}, + "output_type": "execute_result" + } + ], + "source": [ + "from safetensors import safe_open\n", + "\n", + "tensors = {}\n", + "with safe_open(model_save_path, framework=\"pt\", device=\"cpu\") as f:\n", + " for key in f.keys():\n", + " tensors[key] = f.get_tensor(key)\n", + "\n", + "inference_model: torch.nn.Module = ClassifierModel().to(device)\n", + "inference_model.load_state_dict(tensors)" + ] + }, + { + "cell_type": "code", + "execution_count": 11, + "metadata": {}, + "outputs": [], + "source": [ + "import torch\n", + "from transformers import BertTokenizer\n", + "\n", + "def classify_text(model, text, tokenizer, max_length=20):\n", + " \"\"\"\n", + " モデルとテキストを受け取り、'ちいかわ' と '米津玄師' のどちらに該当するかの確率を出力する。\n", + "\n", + " Args:\n", + " model (torch.nn.Module): 分類モデル。\n", + " text (str): 分類するテキスト。\n", + " tokenizer (BertTokenizer): 使用するトークナイザー。\n", + " max_length (int): トークナイザーの最大長。\n", + "\n", + " Returns:\n", + " tuple: 'ちいかわ' の確率, '米津玄師' の確率\n", + " \"\"\"\n", + "\n", + " # テキストをトークナイズし、PyTorchのテンソルに変換\n", + " inputs = tokenizer.encode_plus(\n", + " text,\n", + " add_special_tokens=True,\n", + " max_length=max_length,\n", + " padding='max_length',\n", + " truncation=True,\n", + " return_attention_mask=True,\n", + " return_tensors='pt'\n", + " )\n", + " pprint(f\"inputs: {inputs}\")\n", + "\n", + " # モデルの推論\n", + " model.eval()\n", + " with torch.no_grad():\n", + " outputs = model(inputs['input_ids'].to(device), inputs['attention_mask'].to(device))\n", + " pprint(f\"outputs: {outputs}\")\n", + " probabilities = torch.nn.functional.softmax(outputs, dim=1)\n", + "\n", + " # 確率の取得\n", + " chiikawa_prob = probabilities[0][0].item()\n", + " yonezu_prob = probabilities[0][1].item()\n", + "\n", + " return chiikawa_prob, yonezu_prob\n" + ] + }, + { + "cell_type": "code", + "execution_count": 12, + "metadata": {}, + "outputs": [ + { + "name": "stderr", + "output_type": "stream", + "text": [ + "The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization. \n", + "The tokenizer class you load from this checkpoint is 'BertJapaneseTokenizer'. \n", + "The class this function is called from is 'BertTokenizer'.\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "(\"inputs: {'input_ids': tensor([[ 2, 4798, 20, 28447, 454, 7, \"\n", + " '494, 11, 27694, 1018,\\n'\n", + " ' 3, 0, 0, 0, 0, 0, 0, 0, 0, '\n", + " \"0]]), 'token_type_ids': tensor([[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, \"\n", + " \"0, 0, 0, 0, 0, 0]]), 'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 1, 1, 1, \"\n", + " '1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]])}')\n", + "\"outputs: tensor([[-1.1210, 0.4139]], device='cuda:0')\"\n", + "ちいかわ: 0.1772868037223816, 米津玄師: 0.8227131366729736\n" + ] + } + ], + "source": [ + "tokenizer = BertTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')\n", + "chiikawa_prob, yonezu_prob = classify_text(inference_model, \"晴れた空に種を蒔こう\", tokenizer)\n", + "\n", + "print(f\"ちいかわ: {chiikawa_prob}, 米津玄師: {yonezu_prob}\")" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + } + ], + "metadata": { + "kernelspec": { + "display_name": "pytorch-mnist-learning", + "language": "python", + "name": "python3" + }, + "language_info": { + "codemirror_mode": { + "name": "ipython", + "version": 3 + }, + "file_extension": ".py", + "mimetype": "text/x-python", + "name": "python", + "nbconvert_exporter": "python", + "pygments_lexer": "ipython3", + "version": "3.11.7" + } + }, + "nbformat": 4, + "nbformat_minor": 2 +}