Hugging Face's logo

USC-Applied-NLP-Group
/
SQL-Generation

TensorBoard
Safetensors
Model card Files Metrics Community
1
licesma commited on
Commit
37aa3d3
·
1 Parent(s): c0c5b84

Second attempt of dynamic rag

Browse files
Files changed (2) hide show
  1. rag_helper.ipynb +1081 -24
  2. train-data/expanded_sql_train_2.tsv +0 -0
rag_helper.ipynb CHANGED
@@ -9,7 +9,7 @@
9
  },
10
  {
11
  "cell_type": "code",
12
- "execution_count": 2,
13
  "metadata": {},
14
  "outputs": [],
15
  "source": [
@@ -21,12 +21,13 @@
21
  "import sys\n",
22
  "import os\n",
23
  "import sqlite3 as sql\n",
 
24
  "from huggingface_hub import snapshot_download"
25
  ]
26
  },
27
  {
28
  "cell_type": "code",
29
- "execution_count": 3,
30
  "metadata": {},
31
  "outputs": [],
32
  "source": [
@@ -35,7 +36,7 @@
35
  },
36
  {
37
  "cell_type": "code",
38
- "execution_count": 4,
39
  "metadata": {},
40
  "outputs": [],
41
  "source": [
@@ -56,7 +57,7 @@
56
  },
57
  {
58
  "cell_type": "code",
59
- "execution_count": 5,
60
  "metadata": {},
61
  "outputs": [],
62
  "source": [
@@ -72,7 +73,7 @@
72
  },
73
  {
74
  "cell_type": "code",
75
- "execution_count": 6,
76
  "metadata": {},
77
  "outputs": [
78
  {
@@ -82,9 +83,9 @@
82
  "Total dataset examples: 1044\n",
83
  "\n",
84
  "\n",
85
- "What is the maximum number of team rebounds recorded by the San Antonio Spurs in away games where they committed more than 20 fouls?\n",
86
- "SELECT MAX(o.team_rebounds_away) FROM game g JOIN other_stats o ON g.game_id = o.game_id WHERE g.team_abbreviation_away = 'SAS' AND g.pf_away > 20 AND g.season_id = '22003';\n",
87
- "13\n"
88
  ]
89
  }
90
  ],
@@ -110,7 +111,7 @@
110
  },
111
  {
112
  "cell_type": "code",
113
- "execution_count": 7,
114
  "metadata": {},
115
  "outputs": [],
116
  "source": [
@@ -136,7 +137,7 @@
136
  },
137
  {
138
  "cell_type": "code",
139
- "execution_count": 8,
140
  "metadata": {},
141
  "outputs": [
142
  {
@@ -144,7 +145,7 @@
144
  "output_type": "stream",
145
  "text": [
146
  "Response:\n",
147
- "game, other_stats\n",
148
  "\n"
149
  ]
150
  }
@@ -169,7 +170,7 @@
169
  },
170
  {
171
  "cell_type": "code",
172
- "execution_count": 9,
173
  "metadata": {},
174
  "outputs": [],
175
  "source": [
@@ -204,7 +205,7 @@
204
  },
205
  {
206
  "cell_type": "code",
207
- "execution_count": 12,
208
  "metadata": {},
209
  "outputs": [
210
  {
@@ -256,29 +257,1085 @@
256
  " other_stats_flags =[]\n",
257
  " for index, row in nba_df.iterrows():\n",
258
  " # Create message with sample query and run model\n",
259
- " message=[{ 'role': 'user', 'content': input_text + row[\"natural_query\"]}]\n",
260
- " inputs = tokenizer.apply_chat_template(message, add_generation_prompt=True, return_tensors=\"pt\").to(model.device)\n",
261
- " outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id)\n",
262
- "\n",
263
  " # Obtain output\n",
 
 
 
 
 
 
 
 
 
264
  " query_output = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)\n",
265
- " team_flags.append(\"team\" in query_output.lower())\n",
266
- " game_flags.append(\"game\" in query_output.lower())\n",
267
- " other_stats_flags.append(\"other_stats\" in query_output.lower())\n",
268
  " #print(\"Query: \", + row[\"sql_query\"])\n",
269
  " #print(\"Response: \",query_output)\n",
270
- " \n",
 
271
  " nba_df[\"team_flag\"] = team_flags\n",
272
  " nba_df[\"game_flag\"] = game_flags\n",
273
  " nba_df[\"other_stats_flag\"] = other_stats_flags\n",
274
- " nba_df.to_csv(get_path(\"expanded_dta.tsv\"), sep=\"\\t\", index=False)\n"
 
275
  ]
276
  },
277
  {
278
  "cell_type": "code",
279
- "execution_count": null,
280
  "metadata": {},
281
- "outputs": [],
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
282
  "source": [
283
  "run_evaluation(df)"
284
  ]
 
9
  },
10
  {
11
  "cell_type": "code",
12
+ "execution_count": 11,
13
  "metadata": {},
14
  "outputs": [],
15
  "source": [
 
21
  "import sys\n",
22
  "import os\n",
23
  "import sqlite3 as sql\n",
24
+ "from sql_metadata import Parser\n",
25
  "from huggingface_hub import snapshot_download"
26
  ]
27
  },
28
  {
29
  "cell_type": "code",
30
+ "execution_count": 4,
31
  "metadata": {},
32
  "outputs": [],
33
  "source": [
 
36
  },
37
  {
38
  "cell_type": "code",
39
+ "execution_count": 5,
40
  "metadata": {},
41
  "outputs": [],
42
  "source": [
 
57
  },
58
  {
59
  "cell_type": "code",
60
+ "execution_count": 6,
61
  "metadata": {},
62
  "outputs": [],
63
  "source": [
 
73
  },
74
  {
75
  "cell_type": "code",
76
+ "execution_count": 7,
77
  "metadata": {},
78
  "outputs": [
79
  {
 
83
  "Total dataset examples: 1044\n",
84
  "\n",
85
  "\n",
86
+ "Which game had the lowest combined score when the Philadelphia 76ers played in the 2019 season?\n",
87
+ "SELECT game_id, (pts_home + pts_away) AS total_points FROM game WHERE season_id = '22019' AND (team_abbreviation_home = 'PHI' OR team_abbreviation_away = 'PHI') ORDER BY total_points ASC LIMIT 1;\n",
88
+ "0021900630 | 177.0\n"
89
  ]
90
  }
91
  ],
 
111
  },
112
  {
113
  "cell_type": "code",
114
+ "execution_count": 8,
115
  "metadata": {},
116
  "outputs": [],
117
  "source": [
 
137
  },
138
  {
139
  "cell_type": "code",
140
+ "execution_count": 9,
141
  "metadata": {},
142
  "outputs": [
143
  {
 
145
  "output_type": "stream",
146
  "text": [
147
  "Response:\n",
148
+ "game\n",
149
  "\n"
150
  ]
151
  }
 
170
  },
171
  {
172
  "cell_type": "code",
173
+ "execution_count": null,
174
  "metadata": {},
175
  "outputs": [],
176
  "source": [
 
205
  },
206
  {
207
  "cell_type": "code",
208
+ "execution_count": null,
209
  "metadata": {},
210
  "outputs": [
211
  {
 
257
  " other_stats_flags =[]\n",
258
  " for index, row in nba_df.iterrows():\n",
259
  " # Create message with sample query and run model\n",
 
 
 
 
260
  " # Obtain output\n",
261
+ " \n",
262
+ "\n",
263
+ "\n",
264
+ " parser = Parser(row['sql_query'])\n",
265
+ " print(parser.tables) # ['users', 'orders']\n",
266
+ " team_flags.append(\"team\" in parser.tables)\n",
267
+ " game_flags.append(\"game\" in parser.tables)\n",
268
+ " other_stats_flags.append(\"other_stats\" in parser.tables)\n",
269
+ " \"\"\"\n",
270
  " query_output = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)\n",
271
+ " \n",
 
 
272
  " #print(\"Query: \", + row[\"sql_query\"])\n",
273
  " #print(\"Response: \",query_output)\n",
274
+ " \"\"\"\n",
275
+ " \"\"\"\n",
276
  " nba_df[\"team_flag\"] = team_flags\n",
277
  " nba_df[\"game_flag\"] = game_flags\n",
278
  " nba_df[\"other_stats_flag\"] = other_stats_flags\n",
279
+ " nba_df.to_csv(get_path(\"expanded_dta.tsv\"), sep=\"\\t\", index=False)\n",
280
+ " \"\"\"\n"
281
  ]
282
  },
283
  {
284
  "cell_type": "code",
285
+ "execution_count": 15,
286
  "metadata": {},
287
+ "outputs": [
288
+ {
289
+ "name": "stdout",
290
+ "output_type": "stream",
291
+ "text": [
292
+ "['team']\n",
293
+ "['game']\n",
294
+ "['game']\n",
295
+ "['game']\n",
296
+ "['game']\n",
297
+ "['game']\n",
298
+ "['game']\n",
299
+ "['game']\n",
300
+ "['game']\n",
301
+ "['game']\n",
302
+ "['game']\n",
303
+ "['game']\n",
304
+ "['game']\n",
305
+ "['game', 'other_stats']\n",
306
+ "['other_stats', 'game']\n",
307
+ "['game']\n",
308
+ "['game', 'other_stats']\n",
309
+ "['game']\n",
310
+ "['other_stats', 'game']\n",
311
+ "['game']\n",
312
+ "['game']\n",
313
+ "['game']\n",
314
+ "['game']\n",
315
+ "['game']\n",
316
+ "['game']\n",
317
+ "['game']\n",
318
+ "['game']\n",
319
+ "['game', 'other_stats']\n",
320
+ "['game']\n",
321
+ "['game']\n",
322
+ "['game', 'other_stats']\n",
323
+ "['game', 'other_stats']\n",
324
+ "['game', 'other_stats']\n",
325
+ "['game']\n",
326
+ "['game']\n",
327
+ "['game']\n",
328
+ "['game']\n",
329
+ "['game']\n",
330
+ "['game']\n",
331
+ "['game']\n",
332
+ "['game', 'other_stats']\n",
333
+ "['game']\n",
334
+ "['game']\n",
335
+ "['game', 'other_stats']\n",
336
+ "['game']\n",
337
+ "['game']\n",
338
+ "['game']\n",
339
+ "['game', 'other_stats']\n",
340
+ "['game', 'other_stats']\n",
341
+ "['game', 'other_stats']\n",
342
+ "['game', 'other_stats']\n",
343
+ "['game']\n",
344
+ "['game', 'other_stats']\n",
345
+ "['game']\n",
346
+ "['game']\n",
347
+ "['game', 'other_stats']\n",
348
+ "['game']\n",
349
+ "['game', 'other_stats']\n",
350
+ "['game']\n",
351
+ "['game']\n",
352
+ "['game']\n",
353
+ "['game']\n",
354
+ "['other_stats', 'game']\n",
355
+ "['game']\n",
356
+ "['other_stats', 'game']\n",
357
+ "['other_stats', 'game']\n",
358
+ "['game']\n",
359
+ "['game']\n",
360
+ "['game']\n",
361
+ "['game']\n",
362
+ "['game']\n",
363
+ "['game']\n",
364
+ "['game']\n",
365
+ "['game']\n",
366
+ "['game']\n",
367
+ "['other_stats', 'game']\n",
368
+ "['game']\n",
369
+ "['game']\n",
370
+ "['game', 'other_stats']\n",
371
+ "['game']\n",
372
+ "['game']\n",
373
+ "['game']\n",
374
+ "['game', 'other_stats']\n",
375
+ "['game']\n",
376
+ "['game', 'other_stats']\n",
377
+ "['game']\n",
378
+ "['game']\n",
379
+ "['game']\n",
380
+ "['game']\n",
381
+ "['game']\n",
382
+ "['game']\n",
383
+ "['game']\n",
384
+ "['game']\n",
385
+ "['game']\n",
386
+ "['game']\n",
387
+ "['game']\n",
388
+ "['other_stats', 'game']\n",
389
+ "['game', 'other_stats']\n",
390
+ "['game']\n",
391
+ "['game']\n",
392
+ "['game', 'other_stats']\n",
393
+ "['game']\n",
394
+ "['game']\n",
395
+ "['game', 'other_stats']\n",
396
+ "['game']\n",
397
+ "['game']\n",
398
+ "['game']\n",
399
+ "['other_stats', 'game']\n",
400
+ "['game']\n",
401
+ "['game']\n",
402
+ "['game', 'other_stats']\n",
403
+ "['game', 'other_stats']\n",
404
+ "['game']\n",
405
+ "['game']\n",
406
+ "['game', 'other_stats']\n",
407
+ "['other_stats', 'game']\n",
408
+ "['game', 'other_stats']\n",
409
+ "['game']\n",
410
+ "['game', 'other_stats']\n",
411
+ "['game']\n",
412
+ "['game', 'other_stats']\n",
413
+ "['game']\n",
414
+ "['game']\n",
415
+ "['game', 'other_stats']\n",
416
+ "['game']\n",
417
+ "['game', 'other_stats']\n",
418
+ "['game']\n",
419
+ "['game']\n",
420
+ "['game']\n",
421
+ "['game']\n",
422
+ "['other_stats', 'game']\n",
423
+ "['game']\n",
424
+ "['game', 'other_stats']\n",
425
+ "['game']\n",
426
+ "['game']\n",
427
+ "['game', 'other_stats']\n",
428
+ "['game']\n",
429
+ "['game']\n",
430
+ "['game']\n",
431
+ "['game']\n",
432
+ "['game', 'other_stats']\n",
433
+ "['game']\n",
434
+ "['game']\n",
435
+ "['game', 'other_stats']\n",
436
+ "['game']\n",
437
+ "['game', 'other_stats']\n",
438
+ "['game']\n",
439
+ "['game', 'other_stats']\n",
440
+ "['game']\n",
441
+ "['game']\n",
442
+ "['game']\n",
443
+ "['game', 'other_stats']\n",
444
+ "['game', 'other_stats']\n",
445
+ "['game']\n",
446
+ "['game', 'other_stats']\n",
447
+ "['game', 'other_stats']\n",
448
+ "['game', 'team']\n",
449
+ "['game']\n",
450
+ "['game']\n",
451
+ "['game']\n",
452
+ "['game']\n",
453
+ "['game']\n",
454
+ "['game']\n",
455
+ "['game', 'other_stats']\n",
456
+ "['game']\n",
457
+ "['game']\n",
458
+ "['game']\n",
459
+ "['game']\n",
460
+ "['game']\n",
461
+ "['game', 'other_stats']\n",
462
+ "['game', 'other_stats']\n",
463
+ "['game']\n",
464
+ "['game']\n",
465
+ "['game']\n",
466
+ "['game', 'other_stats']\n",
467
+ "['game']\n",
468
+ "['game']\n",
469
+ "['game']\n",
470
+ "['game']\n",
471
+ "['game']\n",
472
+ "['game']\n",
473
+ "['game', 'other_stats']\n",
474
+ "['game']\n",
475
+ "['game']\n",
476
+ "['game', 'other_stats']\n",
477
+ "['game']\n",
478
+ "['game']\n",
479
+ "['game', 'other_stats']\n",
480
+ "['game']\n",
481
+ "['game']\n",
482
+ "['game']\n",
483
+ "['game']\n",
484
+ "['game']\n",
485
+ "['team']\n",
486
+ "['game']\n",
487
+ "['game', 'other_stats']\n",
488
+ "['team']\n",
489
+ "['game']\n",
490
+ "['game', 'team']\n",
491
+ "['team']\n",
492
+ "['game', 'other_stats']\n",
493
+ "['game']\n",
494
+ "['other_stats', 'game']\n",
495
+ "['game']\n",
496
+ "['game']\n",
497
+ "['game']\n",
498
+ "['game']\n",
499
+ "['other_stats', 'game']\n",
500
+ "['other_stats']\n",
501
+ "['game']\n",
502
+ "['game']\n",
503
+ "['game']\n",
504
+ "['game']\n",
505
+ "['game', 'other_stats']\n",
506
+ "['game']\n",
507
+ "['game']\n",
508
+ "['game']\n",
509
+ "['game']\n",
510
+ "['game', 'other_stats']\n",
511
+ "['game']\n",
512
+ "['game']\n",
513
+ "['game', 'other_stats']\n",
514
+ "['game', 'other_stats']\n",
515
+ "['other_stats', 'game']\n",
516
+ "['other_stats', 'game']\n",
517
+ "['game']\n",
518
+ "['game']\n",
519
+ "['game']\n",
520
+ "['game']\n",
521
+ "['game']\n",
522
+ "['other_stats', 'game']\n",
523
+ "['game']\n",
524
+ "['other_stats', 'game']\n",
525
+ "['other_stats', 'game']\n",
526
+ "['game']\n",
527
+ "['game']\n",
528
+ "['game']\n",
529
+ "['game']\n",
530
+ "['game']\n",
531
+ "['game', 'other_stats']\n",
532
+ "['game']\n",
533
+ "['game']\n",
534
+ "['game']\n",
535
+ "['game']\n",
536
+ "['game']\n",
537
+ "['game', 'other_stats']\n",
538
+ "['game']\n",
539
+ "['game']\n",
540
+ "['game']\n",
541
+ "['game']\n",
542
+ "['game', 'other_stats']\n",
543
+ "['game']\n",
544
+ "['game']\n",
545
+ "['game']\n",
546
+ "['game']\n",
547
+ "['game', 'other_stats']\n",
548
+ "['game']\n",
549
+ "['game', 'other_stats']\n",
550
+ "['game']\n",
551
+ "['game']\n",
552
+ "['game']\n",
553
+ "['game']\n",
554
+ "['game']\n",
555
+ "['game']\n",
556
+ "['game']\n",
557
+ "['game']\n",
558
+ "['other_stats', 'game']\n",
559
+ "['other_stats', 'game']\n",
560
+ "['game']\n",
561
+ "['game']\n",
562
+ "['game']\n",
563
+ "['game']\n",
564
+ "['game']\n",
565
+ "['game']\n",
566
+ "['game']\n",
567
+ "['other_stats']\n",
568
+ "['other_stats']\n",
569
+ "['other_stats']\n",
570
+ "['other_stats']\n",
571
+ "['other_stats']\n",
572
+ "['other_stats']\n",
573
+ "['other_stats', 'game']\n",
574
+ "['other_stats']\n",
575
+ "['other_stats']\n",
576
+ "['other_stats']\n",
577
+ "['game']\n",
578
+ "['game']\n",
579
+ "['game']\n",
580
+ "['game']\n",
581
+ "['game']\n",
582
+ "['game']\n",
583
+ "['game']\n",
584
+ "['game']\n",
585
+ "['game']\n",
586
+ "['game']\n",
587
+ "['game']\n",
588
+ "['game']\n",
589
+ "['game']\n",
590
+ "['game']\n",
591
+ "['game']\n",
592
+ "['game']\n",
593
+ "['game']\n",
594
+ "['game']\n",
595
+ "['game']\n",
596
+ "['game']\n",
597
+ "['game', 'other_stats']\n",
598
+ "['game']\n",
599
+ "['game']\n",
600
+ "['game']\n",
601
+ "['game']\n",
602
+ "['game']\n",
603
+ "['game']\n",
604
+ "['game']\n",
605
+ "['game']\n",
606
+ "['game']\n",
607
+ "['game']\n",
608
+ "['game']\n",
609
+ "['game']\n",
610
+ "['game']\n",
611
+ "['game']\n",
612
+ "['game']\n",
613
+ "['game']\n",
614
+ "['game']\n",
615
+ "['game']\n",
616
+ "['game']\n",
617
+ "['team']\n",
618
+ "['team']\n",
619
+ "['team']\n",
620
+ "['team']\n",
621
+ "['team']\n",
622
+ "['team']\n",
623
+ "['team']\n",
624
+ "['team']\n",
625
+ "['team']\n",
626
+ "['team']\n",
627
+ "['team']\n",
628
+ "['team']\n",
629
+ "['team']\n",
630
+ "['team']\n",
631
+ "['game', 'other_stats']\n",
632
+ "['team']\n",
633
+ "['team']\n",
634
+ "['team']\n",
635
+ "['team']\n",
636
+ "['team']\n",
637
+ "['team']\n",
638
+ "['team']\n",
639
+ "['team']\n",
640
+ "['team']\n",
641
+ "['team']\n",
642
+ "['team']\n",
643
+ "['team']\n",
644
+ "['team']\n",
645
+ "['team']\n",
646
+ "['team']\n",
647
+ "['game']\n",
648
+ "['game']\n",
649
+ "['game']\n",
650
+ "['game']\n",
651
+ "['game']\n",
652
+ "['game']\n",
653
+ "['game']\n",
654
+ "['game']\n",
655
+ "['game']\n",
656
+ "['game']\n",
657
+ "['game']\n",
658
+ "['game']\n",
659
+ "['game', 'other_stats']\n",
660
+ "['team']\n",
661
+ "['game']\n",
662
+ "['game', 'other_stats']\n",
663
+ "['game']\n",
664
+ "['game']\n",
665
+ "['game']\n",
666
+ "['team']\n",
667
+ "['game']\n",
668
+ "['game', 'other_stats']\n",
669
+ "['game']\n",
670
+ "['game', 'other_stats']\n",
671
+ "['game', 'other_stats']\n",
672
+ "['team']\n",
673
+ "['team']\n",
674
+ "['game', 'other_stats', 'team']\n",
675
+ "['team']\n",
676
+ "['team']\n",
677
+ "['game', 'other_stats']\n",
678
+ "['game', 'other_stats']\n",
679
+ "['game', 'other_stats']\n",
680
+ "['game', 'other_stats']\n",
681
+ "['game', 'other_stats', 'team']\n",
682
+ "['game', 'other_stats', 'team']\n",
683
+ "['game', 'other_stats', 'team']\n",
684
+ "['game', 'other_stats', 'team']\n",
685
+ "['game', 'other_stats', 'team']\n",
686
+ "['team']\n",
687
+ "['team']\n",
688
+ "['team']\n",
689
+ "['team']\n",
690
+ "['team']\n",
691
+ "['team']\n",
692
+ "['team']\n",
693
+ "['team']\n",
694
+ "['team']\n",
695
+ "['team']\n",
696
+ "['team']\n",
697
+ "['team']\n",
698
+ "['team']\n",
699
+ "['game']\n",
700
+ "['game', 'other_stats']\n",
701
+ "['game', 'other_stats']\n",
702
+ "['game']\n",
703
+ "['game', 'other_stats']\n",
704
+ "['game', 'other_stats']\n",
705
+ "['game', 'other_stats']\n",
706
+ "['game', 'other_stats']\n",
707
+ "['game', 'other_stats']\n",
708
+ "['game', 'other_stats']\n",
709
+ "['game', 'other_stats']\n",
710
+ "['game', 'other_stats']\n",
711
+ "['game', 'other_stats']\n",
712
+ "['game', 'other_stats']\n",
713
+ "['game', 'other_stats']\n",
714
+ "['game', 'other_stats']\n",
715
+ "['game', 'other_stats']\n",
716
+ "['game', 'other_stats']\n",
717
+ "['game', 'other_stats']\n",
718
+ "['game', 'other_stats']\n",
719
+ "['game', 'other_stats']\n",
720
+ "['game', 'other_stats']\n",
721
+ "['game', 'other_stats']\n",
722
+ "['game', 'other_stats']\n",
723
+ "['game', 'other_stats']\n",
724
+ "['game', 'other_stats']\n",
725
+ "['game', 'other_stats']\n",
726
+ "['game', 'other_stats']\n",
727
+ "['game', 'other_stats']\n",
728
+ "['game', 'other_stats']\n",
729
+ "['game', 'other_stats']\n",
730
+ "['game', 'other_stats']\n",
731
+ "['game']\n",
732
+ "['game']\n",
733
+ "['game']\n",
734
+ "['game']\n",
735
+ "['game']\n",
736
+ "['game']\n",
737
+ "['game']\n",
738
+ "['game']\n",
739
+ "['game']\n",
740
+ "['game']\n",
741
+ "['game']\n",
742
+ "['game']\n",
743
+ "['game']\n",
744
+ "['game']\n",
745
+ "['game']\n",
746
+ "['game']\n",
747
+ "['game']\n",
748
+ "['game']\n",
749
+ "['game']\n",
750
+ "['game']\n",
751
+ "['game']\n",
752
+ "['game']\n",
753
+ "['game']\n",
754
+ "['game']\n",
755
+ "['game']\n",
756
+ "['game']\n",
757
+ "['game']\n",
758
+ "['game']\n",
759
+ "['game']\n",
760
+ "['game']\n",
761
+ "['game']\n",
762
+ "['game']\n",
763
+ "['game']\n",
764
+ "['game']\n",
765
+ "['game']\n",
766
+ "['game']\n",
767
+ "['game']\n",
768
+ "['game']\n",
769
+ "['game']\n",
770
+ "['game']\n",
771
+ "['game']\n",
772
+ "['game']\n",
773
+ "['game']\n",
774
+ "['game']\n",
775
+ "['game']\n",
776
+ "['game']\n",
777
+ "['game']\n",
778
+ "['game']\n",
779
+ "['game']\n",
780
+ "['game']\n",
781
+ "['game']\n",
782
+ "['game']\n",
783
+ "['game']\n",
784
+ "['game']\n",
785
+ "['game']\n",
786
+ "['game']\n",
787
+ "['game']\n",
788
+ "['game']\n",
789
+ "['game']\n",
790
+ "['game']\n",
791
+ "['game']\n",
792
+ "['game']\n",
793
+ "['game']\n",
794
+ "['game']\n",
795
+ "['game']\n",
796
+ "['game']\n",
797
+ "['game']\n",
798
+ "['game']\n",
799
+ "['game']\n",
800
+ "['game']\n",
801
+ "['game']\n",
802
+ "['game']\n",
803
+ "['game']\n",
804
+ "['game']\n",
805
+ "['game']\n",
806
+ "['game']\n",
807
+ "['game']\n",
808
+ "['game']\n",
809
+ "['game']\n",
810
+ "['game']\n",
811
+ "['game']\n",
812
+ "['game']\n",
813
+ "['game']\n",
814
+ "['game']\n",
815
+ "['game']\n",
816
+ "['game']\n",
817
+ "['game']\n",
818
+ "['game']\n",
819
+ "['game']\n",
820
+ "['game']\n",
821
+ "['game']\n",
822
+ "['game']\n",
823
+ "['game']\n",
824
+ "['game']\n",
825
+ "['game']\n",
826
+ "['game']\n",
827
+ "['game']\n",
828
+ "['game']\n",
829
+ "['game']\n",
830
+ "['game']\n",
831
+ "['game']\n",
832
+ "['game']\n",
833
+ "['game']\n",
834
+ "['game']\n",
835
+ "['game']\n",
836
+ "['game']\n",
837
+ "['game']\n",
838
+ "['game']\n",
839
+ "['game']\n",
840
+ "['game']\n",
841
+ "['game']\n",
842
+ "['game']\n",
843
+ "['game']\n",
844
+ "['game']\n",
845
+ "['game']\n",
846
+ "['game']\n",
847
+ "['game']\n",
848
+ "['game']\n",
849
+ "['game']\n",
850
+ "['game']\n",
851
+ "['game']\n",
852
+ "['game']\n",
853
+ "['game']\n",
854
+ "['game']\n",
855
+ "['game']\n",
856
+ "['game']\n",
857
+ "['game']\n",
858
+ "['game']\n",
859
+ "['game']\n",
860
+ "['game']\n",
861
+ "['game']\n",
862
+ "['game']\n",
863
+ "['game']\n",
864
+ "['game']\n",
865
+ "['game']\n",
866
+ "['game']\n",
867
+ "['game']\n",
868
+ "['game']\n",
869
+ "['game']\n",
870
+ "['game']\n",
871
+ "['game']\n",
872
+ "['game']\n",
873
+ "['game']\n",
874
+ "['game']\n",
875
+ "['game']\n",
876
+ "['game']\n",
877
+ "['game']\n",
878
+ "['game']\n",
879
+ "['game']\n",
880
+ "['game']\n",
881
+ "['game']\n",
882
+ "['game']\n",
883
+ "['game']\n",
884
+ "['game']\n",
885
+ "['game']\n",
886
+ "['game']\n",
887
+ "['game']\n",
888
+ "['game']\n",
889
+ "['game']\n",
890
+ "['game']\n",
891
+ "['game']\n",
892
+ "['game']\n",
893
+ "['game']\n",
894
+ "['game']\n",
895
+ "['game']\n",
896
+ "['game']\n",
897
+ "['game']\n",
898
+ "['game']\n",
899
+ "['game']\n",
900
+ "['game']\n",
901
+ "['game']\n",
902
+ "['game']\n",
903
+ "['game']\n",
904
+ "['game']\n",
905
+ "['game']\n",
906
+ "['game']\n",
907
+ "['game']\n",
908
+ "['game']\n",
909
+ "['game']\n",
910
+ "['game']\n",
911
+ "['game']\n",
912
+ "['game']\n",
913
+ "['game']\n",
914
+ "['game']\n",
915
+ "['game']\n",
916
+ "['game']\n",
917
+ "['game']\n",
918
+ "['game']\n",
919
+ "['game']\n",
920
+ "['game']\n",
921
+ "['game']\n",
922
+ "['game']\n",
923
+ "['game']\n",
924
+ "['game']\n",
925
+ "['game']\n",
926
+ "['game']\n",
927
+ "['game']\n",
928
+ "['game']\n",
929
+ "['game']\n",
930
+ "['game']\n",
931
+ "['game']\n",
932
+ "['game']\n",
933
+ "['game']\n",
934
+ "['game']\n",
935
+ "['game']\n",
936
+ "['game']\n",
937
+ "['game']\n",
938
+ "['game']\n",
939
+ "['game']\n",
940
+ "['game']\n",
941
+ "['game']\n",
942
+ "['game']\n",
943
+ "['game']\n",
944
+ "['game']\n",
945
+ "['game']\n",
946
+ "['game']\n",
947
+ "['game']\n",
948
+ "['game']\n",
949
+ "['game']\n",
950
+ "['game']\n",
951
+ "['game']\n",
952
+ "['other_stats']\n",
953
+ "['other_stats']\n",
954
+ "['other_stats']\n",
955
+ "['other_stats']\n",
956
+ "['other_stats']\n",
957
+ "['game']\n",
958
+ "['other_stats', 'game']\n",
959
+ "['game']\n",
960
+ "['game']\n",
961
+ "['game']\n",
962
+ "['game']\n",
963
+ "['game']\n",
964
+ "['game']\n",
965
+ "['game']\n",
966
+ "['game']\n",
967
+ "['game']\n",
968
+ "['other_stats']\n",
969
+ "['other_stats']\n",
970
+ "['other_stats']\n",
971
+ "['other_stats']\n",
972
+ "['other_stats']\n",
973
+ "['game']\n",
974
+ "['game']\n",
975
+ "['game']\n",
976
+ "['game']\n",
977
+ "['game']\n",
978
+ "['game']\n",
979
+ "['game']\n",
980
+ "['other_stats']\n",
981
+ "['other_stats']\n",
982
+ "['other_stats']\n",
983
+ "['game']\n",
984
+ "['game']\n",
985
+ "['game']\n",
986
+ "['game']\n",
987
+ "['game']\n",
988
+ "['game']\n",
989
+ "['other_stats']\n",
990
+ "['other_stats']\n",
991
+ "['other_stats']\n",
992
+ "['game']\n",
993
+ "['game']\n",
994
+ "['game']\n",
995
+ "['game']\n",
996
+ "['other_stats', 'game']\n",
997
+ "['game']\n",
998
+ "['other_stats', 'game']\n",
999
+ "['other_stats', 'game']\n",
1000
+ "['game']\n",
1001
+ "['other_stats', 'game']\n",
1002
+ "['other_stats', 'game']\n",
1003
+ "['other_stats', 'game']\n",
1004
+ "['other_stats', 'game']\n",
1005
+ "['other_stats', 'game']\n",
1006
+ "['game', 'other_stats']\n",
1007
+ "['game']\n",
1008
+ "['game']\n",
1009
+ "['game']\n",
1010
+ "['game']\n",
1011
+ "['game']\n",
1012
+ "['game']\n",
1013
+ "['game']\n",
1014
+ "['game']\n",
1015
+ "['game']\n",
1016
+ "['game']\n",
1017
+ "['game']\n",
1018
+ "['game']\n",
1019
+ "['game']\n",
1020
+ "['game']\n",
1021
+ "['game']\n",
1022
+ "['other_stats']\n",
1023
+ "['other_stats']\n",
1024
+ "['other_stats']\n",
1025
+ "['other_stats']\n",
1026
+ "['other_stats']\n",
1027
+ "['game']\n",
1028
+ "['game']\n",
1029
+ "['game']\n",
1030
+ "['game']\n",
1031
+ "['game']\n",
1032
+ "['other_stats']\n",
1033
+ "['other_stats']\n",
1034
+ "['other_stats']\n",
1035
+ "['game']\n",
1036
+ "['game']\n",
1037
+ "['game']\n",
1038
+ "['game']\n",
1039
+ "['game']\n",
1040
+ "['game']\n",
1041
+ "['other_stats']\n",
1042
+ "['other_stats']\n",
1043
+ "['other_stats']\n",
1044
+ "['other_stats']\n",
1045
+ "['game']\n",
1046
+ "['game']\n",
1047
+ "['game']\n",
1048
+ "['game']\n",
1049
+ "['game']\n",
1050
+ "['game']\n",
1051
+ "['game']\n",
1052
+ "['other_stats']\n",
1053
+ "['other_stats']\n",
1054
+ "['other_stats']\n",
1055
+ "['other_stats', 'game']\n",
1056
+ "['game']\n",
1057
+ "['game']\n",
1058
+ "['game']\n",
1059
+ "['game']\n",
1060
+ "['other_stats']\n",
1061
+ "['other_stats']\n",
1062
+ "['other_stats']\n",
1063
+ "['other_stats']\n",
1064
+ "['game']\n",
1065
+ "['game']\n",
1066
+ "['game']\n",
1067
+ "['other_stats', 'game']\n",
1068
+ "['game', 'other_stats']\n",
1069
+ "['game']\n",
1070
+ "['other_stats', 'game']\n",
1071
+ "['other_stats', 'game']\n",
1072
+ "['other_stats', 'game']\n",
1073
+ "['game', 'other_stats']\n",
1074
+ "['other_stats', 'game']\n",
1075
+ "['other_stats', 'game']\n",
1076
+ "['other_stats', 'game']\n",
1077
+ "['other_stats', 'game']\n",
1078
+ "['other_stats', 'game']\n",
1079
+ "['game', 'other_stats']\n",
1080
+ "['other_stats', 'game']\n",
1081
+ "['other_stats', 'game']\n",
1082
+ "['other_stats', 'game']\n",
1083
+ "['other_stats', 'game']\n",
1084
+ "['other_stats', 'game']\n",
1085
+ "['other_stats', 'game']\n",
1086
+ "['other_stats', 'game']\n",
1087
+ "['other_stats', 'game']\n",
1088
+ "['other_stats', 'game']\n",
1089
+ "['other_stats', 'game']\n",
1090
+ "['other_stats', 'game']\n",
1091
+ "['other_stats', 'game']\n",
1092
+ "['other_stats', 'game']\n",
1093
+ "['game']\n",
1094
+ "['game']\n",
1095
+ "['game']\n",
1096
+ "['other_stats', 'game']\n",
1097
+ "['other_stats', 'game']\n",
1098
+ "['other_stats', 'game']\n",
1099
+ "['game', 'other_stats']\n",
1100
+ "['other_stats', 'game']\n",
1101
+ "['game']\n",
1102
+ "['other_stats', 'game']\n",
1103
+ "['other_stats', 'game']\n",
1104
+ "['game']\n",
1105
+ "['game']\n",
1106
+ "['game']\n",
1107
+ "['game']\n",
1108
+ "['game']\n",
1109
+ "['game']\n",
1110
+ "['game']\n",
1111
+ "['game']\n",
1112
+ "['game']\n",
1113
+ "['other_stats']\n",
1114
+ "['other_stats']\n",
1115
+ "['game']\n",
1116
+ "['game']\n",
1117
+ "['game']\n",
1118
+ "['game']\n",
1119
+ "['game']\n",
1120
+ "['game']\n",
1121
+ "['game']\n",
1122
+ "['game']\n",
1123
+ "['game']\n",
1124
+ "['game']\n",
1125
+ "['other_stats', 'game']\n",
1126
+ "['other_stats']\n",
1127
+ "['other_stats']\n",
1128
+ "['other_stats', 'game']\n",
1129
+ "['game', 'other_stats']\n",
1130
+ "['other_stats', 'game']\n",
1131
+ "['game', 'other_stats']\n",
1132
+ "['other_stats', 'game']\n",
1133
+ "['game']\n",
1134
+ "['other_stats', 'game']\n",
1135
+ "['other_stats', 'game']\n",
1136
+ "['game']\n",
1137
+ "['game']\n",
1138
+ "['game']\n",
1139
+ "['game']\n",
1140
+ "['game']\n",
1141
+ "['game']\n",
1142
+ "['other_stats']\n",
1143
+ "['game']\n",
1144
+ "['game']\n",
1145
+ "['other_stats']\n",
1146
+ "['game']\n",
1147
+ "['game']\n",
1148
+ "['game']\n",
1149
+ "['game']\n",
1150
+ "['game']\n",
1151
+ "['game']\n",
1152
+ "['other_stats', 'game']\n",
1153
+ "['other_stats', 'game']\n",
1154
+ "['other_stats', 'game']\n",
1155
+ "['other_stats', 'game']\n",
1156
+ "['other_stats', 'game']\n",
1157
+ "['other_stats', 'game']\n",
1158
+ "['other_stats', 'game']\n",
1159
+ "['other_stats', 'game']\n",
1160
+ "['other_stats', 'game']\n",
1161
+ "['game']\n",
1162
+ "['other_stats', 'game']\n",
1163
+ "['game']\n",
1164
+ "['game']\n",
1165
+ "['other_stats', 'game']\n",
1166
+ "['game']\n",
1167
+ "['other_stats', 'game']\n",
1168
+ "['game']\n",
1169
+ "['game']\n",
1170
+ "['other_stats', 'game']\n",
1171
+ "['game']\n",
1172
+ "['other_stats', 'game']\n",
1173
+ "['other_stats', 'game']\n",
1174
+ "['game']\n",
1175
+ "['game']\n",
1176
+ "['game']\n",
1177
+ "['game']\n",
1178
+ "['game']\n",
1179
+ "['game']\n",
1180
+ "['game']\n",
1181
+ "['game']\n",
1182
+ "['game']\n",
1183
+ "['game']\n",
1184
+ "['game']\n",
1185
+ "['game']\n",
1186
+ "['game']\n",
1187
+ "['game']\n",
1188
+ "['game']\n",
1189
+ "['game']\n",
1190
+ "['game']\n",
1191
+ "['game']\n",
1192
+ "['game']\n",
1193
+ "['game']\n",
1194
+ "['game']\n",
1195
+ "['game']\n",
1196
+ "['game']\n",
1197
+ "['game']\n",
1198
+ "['game']\n",
1199
+ "['game']\n",
1200
+ "['game']\n",
1201
+ "['game']\n",
1202
+ "['other_stats', 'game']\n",
1203
+ "['game']\n",
1204
+ "['game']\n",
1205
+ "['game']\n",
1206
+ "['game']\n",
1207
+ "['game']\n",
1208
+ "['game']\n",
1209
+ "['game']\n",
1210
+ "['game']\n",
1211
+ "['game']\n",
1212
+ "['game']\n",
1213
+ "['game']\n",
1214
+ "['game']\n",
1215
+ "['game']\n",
1216
+ "['game']\n",
1217
+ "['other_stats', 'game']\n",
1218
+ "['game']\n",
1219
+ "['game']\n",
1220
+ "['game']\n",
1221
+ "['game']\n",
1222
+ "['other_stats', 'game']\n",
1223
+ "['other_stats', 'game']\n",
1224
+ "['other_stats', 'game']\n",
1225
+ "['game']\n",
1226
+ "['game']\n",
1227
+ "['game']\n",
1228
+ "['game']\n",
1229
+ "['other_stats', 'game']\n",
1230
+ "['game']\n",
1231
+ "['game']\n",
1232
+ "['game']\n",
1233
+ "['game']\n",
1234
+ "['game']\n",
1235
+ "['game']\n",
1236
+ "['game']\n",
1237
+ "['game']\n",
1238
+ "['game']\n",
1239
+ "['game']\n",
1240
+ "['game']\n",
1241
+ "['game']\n",
1242
+ "['other_stats', 'game']\n",
1243
+ "['game']\n",
1244
+ "['game']\n",
1245
+ "['game']\n",
1246
+ "['game']\n",
1247
+ "['game']\n",
1248
+ "['game']\n",
1249
+ "['other_stats']\n",
1250
+ "['other_stats']\n",
1251
+ "['game']\n",
1252
+ "['game']\n",
1253
+ "['game']\n",
1254
+ "['other_stats']\n",
1255
+ "['other_stats']\n",
1256
+ "['game']\n",
1257
+ "['game']\n",
1258
+ "['game']\n",
1259
+ "['game']\n",
1260
+ "['game']\n",
1261
+ "['other_stats']\n",
1262
+ "['game']\n",
1263
+ "['other_stats']\n",
1264
+ "['game']\n",
1265
+ "['game']\n",
1266
+ "['game']\n",
1267
+ "['game']\n",
1268
+ "['game']\n",
1269
+ "['game']\n",
1270
+ "['game']\n",
1271
+ "['game']\n",
1272
+ "['game']\n",
1273
+ "['game']\n",
1274
+ "['game']\n",
1275
+ "['game']\n",
1276
+ "['other_stats', 'game']\n",
1277
+ "['game']\n",
1278
+ "['game']\n",
1279
+ "['game']\n",
1280
+ "['game']\n",
1281
+ "['game']\n",
1282
+ "['game']\n",
1283
+ "['game']\n",
1284
+ "['game']\n",
1285
+ "['game']\n",
1286
+ "['game']\n",
1287
+ "['game']\n",
1288
+ "['game']\n",
1289
+ "['game']\n",
1290
+ "['game']\n",
1291
+ "['other_stats']\n",
1292
+ "['game']\n",
1293
+ "['game']\n",
1294
+ "['game']\n",
1295
+ "['other_stats']\n",
1296
+ "['game']\n",
1297
+ "['game']\n",
1298
+ "['game']\n",
1299
+ "['game']\n",
1300
+ "['other_stats']\n",
1301
+ "['other_stats']\n",
1302
+ "['game']\n",
1303
+ "['game']\n",
1304
+ "['game']\n",
1305
+ "['game']\n",
1306
+ "['other_stats']\n",
1307
+ "['game']\n",
1308
+ "['other_stats', 'game']\n",
1309
+ "['other_stats']\n",
1310
+ "['other_stats']\n",
1311
+ "['game']\n",
1312
+ "['game']\n",
1313
+ "['game']\n",
1314
+ "['game']\n",
1315
+ "['game']\n",
1316
+ "['game']\n",
1317
+ "['game']\n",
1318
+ "['game']\n",
1319
+ "['game']\n",
1320
+ "['game']\n",
1321
+ "['game']\n",
1322
+ "['game']\n",
1323
+ "['game']\n",
1324
+ "['game']\n",
1325
+ "['game']\n",
1326
+ "['game']\n",
1327
+ "['game']\n",
1328
+ "['game']\n",
1329
+ "['game']\n",
1330
+ "['game']\n",
1331
+ "['game']\n",
1332
+ "['game']\n",
1333
+ "['other_stats', 'game']\n",
1334
+ "['other_stats', 'game']\n",
1335
+ "['game']\n"
1336
+ ]
1337
+ }
1338
+ ],
1339
  "source": [
1340
  "run_evaluation(df)"
1341
  ]
train-data/expanded_sql_train_2.tsv ADDED
The diff for this file is too large to render. See raw diff