Update README.md
#5
by
timbossm
- opened
README.md
CHANGED
@@ -32,22 +32,91 @@ widget:
|
|
32 |
|
33 |
[colab_notebook](https://colab.research.google.com/drive/1insSxvc3jjAXe0zmdIjmbG3ttb5mpRgQ?usp=sharing)
|
34 |
|
35 |
-
##
|
36 |
-
|
37 |
-
This is a distilled model built on the deepseek base model.
|
38 |
-
Please refer to https://huggingface.co/PipableAI/pip-library-etl-1.3b for our state of the art model.
|
39 |
-
## How we built it?
|
40 |
|
41 |
-
|
42 |
-
|
43 |
|
44 |
-
|
|
|
|
|
|
|
|
|
|
|
45 |
|
46 |
-
##
|
47 |
-
|
48 |
-
|
49 |
-
|
50 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
51 |
|
52 |
|
53 |
[Test Suite SQL Eval](https://github.com/taoyds/test-suite-sql-eval)
|
@@ -60,18 +129,18 @@ Here is the link to run the evaluation:
|
|
60 |
|sqlcoder-7b|60.6|48.2|28.3|20.4|
|
61 |
|gpt-3.5|58.8|44.7|31.0|28.4|
|
62 |
|
63 |
-
|
64 |
-
|
65 |
-
|
66 |
|
67 |
|
68 |
[Defog SQL-Eval](https://github.com/defog-ai/sql-eval)
|
69 |
-
|
70 |
|
71 |

|
72 |
|
73 |
## License
|
74 |
-
|
75 |
|
76 |
## Usage
|
77 |
|
@@ -188,6 +257,3 @@ Which customers did not make any orders? List the first name, middle initial and
|
|
188 |
```sql
|
189 |
SELECT T1.customer_first_name , T1.customer_middle_initial , T1.customer_last_name FROM Customers AS T1 WHERE T1.customer_id NOT IN (SELECT T2.customer_id FROM Orders AS T2)
|
190 |
```
|
191 |
-
|
192 |
-
### Team
|
193 |
-
Avi Kothari, Pratham Gupta, Ritvik Aryan Kalra, Rohan Bhatial, Soham Acharya
|
|
|
32 |
|
33 |
[colab_notebook](https://colab.research.google.com/drive/1insSxvc3jjAXe0zmdIjmbG3ttb5mpRgQ?usp=sharing)
|
34 |
|
35 |
+
## Основная информация
|
36 |
+
Основа для файнтюна (FT).
|
|
|
|
|
|
|
37 |
|
38 |
+
<antArtifact identifier="sql-model-analysis" type="text/markdown" title="Анализ SQL-модели для файнтюнинга в бизнес-информатике">
|
39 |
+
# Анализ базовой модели PipableAI/pip-library-etl-1.3b
|
40 |
|
41 |
+
## Основные характеристики модели
|
42 |
+
- Размер: 1.3 миллиарда параметров
|
43 |
+
- Базовая архитектура: DeepSeek
|
44 |
+
- Специализация: ETL (Extract, Transform, Load) и SQL-операции
|
45 |
+
- Доступность: открытый доступ через Hugging Face
|
46 |
+
- Превосходит ChatGPT в SQL-ориентированных бенчмарках
|
47 |
|
48 |
+
## Преимущества для бизнес-информатики МГПУ
|
49 |
+
|
50 |
+
### 1. Техническая оптимальность
|
51 |
+
- Оптимальный размер для файнтюнинга (1.3B параметров)
|
52 |
+
- Возможность запуска на доступном оборудовании
|
53 |
+
- Эффективное использование вычислительных ресурсов
|
54 |
+
|
55 |
+
### 2. Образовательные преимущества
|
56 |
+
- Специализация на SQL подходит для курсов по базам данных
|
57 |
+
- Поддержка ETL-процессов актуальна для бизнес-аналитики
|
58 |
+
- Возможность интеграции в учебные проекты
|
59 |
+
|
60 |
+
### 3. Направления файнтюнинга для МГПУ
|
61 |
+
- Адаптация под специфику учебных задач
|
62 |
+
- Настройка на корпоративные кейсы
|
63 |
+
- Интеграция российских бизнес-практик
|
64 |
+
|
65 |
+
## Рекомендации по файнтюнингу
|
66 |
+
|
67 |
+
### 1. Приоритетные области настройки
|
68 |
+
- Работа с российскими СУБД
|
69 |
+
- Интеграция отраслевой специфики
|
70 |
+
- Адаптация под образовательные задачи
|
71 |
+
|
72 |
+
### 2. Технические аспекты
|
73 |
+
- Использование LoRA для эффективной настройки
|
74 |
+
- Подготовка специализированных датасетов
|
75 |
+
- Валидация на реальных бизнес-кейсах
|
76 |
+
|
77 |
+
### 3. Образовательные компоненты
|
78 |
+
- Создание учебных примеров
|
79 |
+
- Разработка практических заданий
|
80 |
+
- Интеграция в существующие курсы
|
81 |
+
|
82 |
+
## Потенциальные применения
|
83 |
+
|
84 |
+
1. Учебный процесс:
|
85 |
+
- Автоматическая проверка SQL-запросов студентов
|
86 |
+
- Генерация учебных примеров
|
87 |
+
- Поддержка практических занятий
|
88 |
+
|
89 |
+
2. Исследовательская работа:
|
90 |
+
- Анализ больших наборов данных
|
91 |
+
- Поддержка научных исследований
|
92 |
+
- Обработка результатов экспериментов
|
93 |
+
|
94 |
+
3. Практические проекты:
|
95 |
+
- Работа с реальными бизнес-задачами
|
96 |
+
- Создание прототипов решений
|
97 |
+
- Анализ бизнес-процессов
|
98 |
+
</antArtifact>
|
99 |
+
|
100 |
+
Эта модель представляет особую ценность для направления бизнес-информатики благодаря своей специализации на SQL и ETL-процессах.
|
101 |
+
|
102 |
+
## Процесс обучения модели
|
103 |
+
|
104 |
+
Реализован через комбинированную функцию потерь, включающую:
|
105 |
+
|
106 |
+
1. Softmax cross entropy (перекрёстная энтропия с софтмакс нормализацией) для оптимизации веро��тностного распределения предсказаний
|
107 |
+
|
108 |
+
2. Модифицированный вариант policy gradient для оптимизации стратегии принятия решений
|
109 |
+
|
110 |
+
3. Q-loss для оценки качества действий
|
111 |
+
|
112 |
+
Оптимизация производилась в рамках EM-фреймворка (Expectation-Maximization), что обеспечивает итеративное улучшение параметров модели через чередование шагов оценки ожидания и максимизации вероятности.
|
113 |
+
|
114 |
+
Такая архитектура потерь позволяет эффективно оптимизировать как точность генерации SQL-запросов, так и стратегическое качество принимаемых моделью решений.
|
115 |
+
|
116 |
+
## Бенчмаркинг :
|
117 |
+
Оценка производительности модели выполнена на основе Semantic Evaluation for Text-to-SQL with Distilled Test Suites - официального фреймворка оценки, разработанного исследовательской группой Yale и Berkeley для бенчмарков Spider, SParC и CoSQL.
|
118 |
+
|
119 |
+
Тестовый набор данных включает 2200 примеров, что обеспечивает статистически значимую оценку качества генерации SQL-запросов и семантической точности модели.
|
120 |
|
121 |
|
122 |
[Test Suite SQL Eval](https://github.com/taoyds/test-suite-sql-eval)
|
|
|
129 |
|sqlcoder-7b|60.6|48.2|28.3|20.4|
|
130 |
|gpt-3.5|58.8|44.7|31.0|28.4|
|
131 |
|
132 |
+
Мы также протестировали его на defog eval.
|
133 |
+
Он содержит 200 точек тестовых данных, отобранных вручную командой defog.
|
134 |
+
Вот ссылка на него:
|
135 |
|
136 |
|
137 |
[Defog SQL-Eval](https://github.com/defog-ai/sql-eval)
|
138 |
+
Вот результаты -
|
139 |
|
140 |

|
141 |
|
142 |
## License
|
143 |
+
Модель имеет открытый исходный код под лицензией Apache 2.0.
|
144 |
|
145 |
## Usage
|
146 |
|
|
|
257 |
```sql
|
258 |
SELECT T1.customer_first_name , T1.customer_middle_initial , T1.customer_last_name FROM Customers AS T1 WHERE T1.customer_id NOT IN (SELECT T2.customer_id FROM Orders AS T2)
|
259 |
```
|
|
|
|
|
|