add pipeline of statistics

app/src/src.py

@@ -55,4 +55,8 @@ def pipeline_sentiment(url_video, api_key, model):
 
     text_tuple = [get_sentim(i, model) for i in comments_df["text_comment"]]
     comments_df[["sentiment", "score"]] = pd.DataFrame(list(text_tuple))
-    return comments_df
+    return comments_df
+
+def pipeline_stats(data):
+    """Get statistic of sentiment"""
+    return data['sentiment'].value_counts(normalize=True) * 100

data/dataset_sentiments.csv

@@ -1,101 +0,0 @@
-text_comment,publish_data,sentiment,score
-"В итоге, уважаемые  В какой литературе есть математический анализ?  Крое Томаса Нилд",2023-12-16T11:57:32Z,NEGATIVE,0.751556932926178
-"Доброго времени суток! Решил погрузиться в тему практически с нуля. На базовом уровне освоил python. Сейчас заказываю книги из Вашего топа. ""Проектирование систем машинного обучения"" Чип Хюйен - уже есть на русском, ура!) Благодарю за просветительские труды)",2023-09-23T21:00:13Z,POSITIVE,0.9799962043762207
-"Здравствуйте. А не могли бы вы подсказать какую нибудь альтернативу первой книге в видео, касающийся математики в data science, но на русском языке?",2023-05-02T15:40:37Z,NEUTRAL,0.8072439432144165
-"Думаю питон - это вчерашний день. А где книга написана нейросетью промтинге  - Это слово мне вообще Пришлось написать руками. Распознание речи его ещё не понимает. А вчера спрашивал у одной нейросети В начале выдала мне книги которые написаны про нейросети, Потом по извинялась И сказала что Таких книг нет",2023-03-30T15:16:45Z,NEGATIVE,0.7514768838882446
-"Анастасия, подскажите пожалуйста, в какой порядке изучать эти книги, или в том порядке в каком в видео? И каждая тут книга разная по теме, или есть некоторые, которые не обязательно читать после прочтение другой(например из-за почти одной и той же информации)",2022-12-14T23:01:19Z,NEUTRAL,0.8253567218780518
-"В описании задваивается ""01:35 Кому будет полезна книга Essential Math for Data Science""",2022-11-27T23:21:00Z,NEUTRAL,0.815131425857544
-"Напишу небольшой отзыв о книге essential math for ds: так вот, книга действительно написано просто и непринужденно, ее легко читать как вполне себе художественную литературу, с одним ""но"": если вы когда-то это проходили и вам ну хоть примерно это всё знакомо. У меня в универе был курс ""обработка результатов измерений"", вполне себе хороший курс, я бы даже сказал тот преподаватель вполне мог бы его продавать как ""математику для дс"".",2022-11-23T11:56:15Z,POSITIVE,0.9744828939437866
-"Анастасия доброго времени суток,  изучаю Data Science, в одном из Ваших видео вы говорили в какие специалисты сечас больше востребованы, напомните пожалуйста.",2022-11-18T13:14:51Z,NEUTRAL,0.817676305770874
-"Ответ: Практическая статистика для специалистов Data Science.  Здравствуйте! Спасибо большое за ваш труд! Я считаю, что обучение в новой сфере стоит начинать именно с чтения хороших структурированных книг. Получить целый список полезной литературы от специалиста это настоящий подарок! В следующем году я получу диплом по специальности ""прикладная математика"" и очень надеюсь, что эта литература поможет найти мне первую работу в data science.",2022-11-17T19:51:54Z,POSITIVE,0.957038164138794
-Смотрю канал исключительно из-за НЕЁ. Параллельно изучаю еще и науку😀,2022-11-17T18:17:51Z,NEUTRAL,0.5079010128974915
-"Здравствуйте! А можете подсказать ресурс с примерами хороших презентаций по DataScience проектам?🔍  PS мне поставили задачу сделать ""мажорную"" презентацию по проекту поиска аномалий, Stackoverflow по запросу ""мажорная презентация"" ничего приличного не выдал🤔",2022-11-16T06:33:05Z,POSITIVE,0.9889710545539856
-Нашёл Вас у PyLounge. Спасибо огромное за видео!,2022-11-16T03:13:26Z,POSITIVE,0.9777055382728577
-"""Практическая статистика для специалистов Data Science"". Спасибо за видео)",2022-11-15T23:08:51Z,POSITIVE,0.9906728863716125
-"Боже, для аналитики данных нужно знать алгебру?",2022-11-14T18:15:34Z,NEUTRAL,0.8230707049369812
-спасибо!,2022-11-14T08:43:51Z,POSITIVE,0.9807105660438538
-Практическая статистика для специалистов Data Science.,2022-11-14T07:24:27Z,NEUTRAL,0.8179630041122437
-"Проанализировав выборку ответов выдвину гипотезу, что эта книга:  Практическая статистика для специалистов Data Science.",2022-11-14T07:23:18Z,NEUTRAL,0.8068166971206665
-"Практическая статистика для Data Science  На данный момент читаю python для сложных задач,крайне интересная книга. Можно сказать всегда со мной,тк в вузе тема научно исследовательской работы связана с диагностикой рака молочных желез с помощью машинного обучения.  Книга по статистике другая на данный момент под рукой-«анализ данных на компьютере» Тюрин",2022-11-13T21:07:37Z,NEUTRAL,0.7658045291900635
-Практическая статистика для специалистов Data Science. Спасибо Вам за подборку книг!,2022-11-12T23:17:37Z,NEUTRAL,0.780190646648407
-"Есть ссылка на издание книги ""Python и машинное обучение"" с Pytorch на русском языке? Что-то не нашел((",2022-11-12T21:31:03Z,NEGATIVE,0.9949057102203369
-Практическая статистика дня специалистов data science,2022-11-11T18:39:55Z,NEUTRAL,0.8285876512527466
-"Спасибо за подборку. ""Практическая статистика для Data Science"" .",2022-11-11T18:14:47Z,POSITIVE,0.9548747539520264
-"Практическая статистика для специалистов Data Science. Давно искал ролик, где будет все разложено по фактам. Спасибо",2022-11-11T07:33:59Z,NEUTRAL,0.8178434371948242
-"Спасибо за отличный обзор книг и проделанную вами работу, обязательно буду изучать.  Надеюсь выиграть в викторине ""Практическая статистика для специалистов Data Science"" Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-11T04:25:39Z,POSITIVE,0.9810178279876709
-Пошел откладывать книги в корзину маркетплейсов... Но можно и выиграть одну  ) «Практическая статистика для специалистов Data science”,2022-11-10T11:07:13Z,POSITIVE,0.9906885623931885
-"Анастасия, позвольте нескромный вопрос? Вы правильные ответы вручную отмечаете или скриптом?)😅",2022-11-10T10:01:41Z,POSITIVE,0.9906858801841736
-Практическая статистика для специалистов Data Science,2022-11-10T06:00:08Z,NEUTRAL,0.8284438848495483
-Спасибо за подборку! Ответ: Практическая статистика для специалистов Data science.,2022-11-10T04:05:22Z,POSITIVE,0.957554817199707
-"Почему такая красивая и такая умная??)) Ты с другой планеты?))) Мне сейчас по работе приходится осваивать Java c её фреймворками, сервлетами, хибернетами и так далее. Как это освою, возьмусь за Питон и Дейта Сайенс.",2022-11-09T22:37:01Z,POSITIVE,0.6333404779434204
-Спасибо вам за отличную проделанную работу!   Практическая статистика для специалистов Data Science.,2022-11-09T19:09:31Z,POSITIVE,0.9813429713249207
-Практическая статистика для специалистов Data science.   Спасибо за поддержку! Хотел ее услышать от уже практикующих специалистов,2022-11-09T18:56:08Z,POSITIVE,0.8246492743492126
-Практическая статистика для специалистов Data Science.,2022-11-09T18:04:57Z,NEUTRAL,0.8179630041122437
-Практическая статистика для специалистов Data Science.,2022-11-09T17:56:38Z,NEUTRAL,0.8179630041122437
-"Берешь книгу и идешь по ней, не бросая, каждый день понемногу, гуглишь непонятные моменты, если надо - ищешь схожие примеры, но идешь вперед. Только так. Идеальных книг нет, везде что-то лучше, что-то хуже. Главное идти до конца, не бросать, не переключаться с одной на другую.",2022-11-09T11:25:49Z,NEGATIVE,0.7514923810958862
-"Спасибо за список, буду изучать! Книга для участия в розыгрыше называется ""Практическая статистика для специалистов Data Science""",2022-11-09T10:59:01Z,POSITIVE,0.9807114005088806
-"Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс. Добавил в свою подпорку пару книг из видео",2022-11-09T10:52:12Z,NEUTRAL,0.8182533383369446
-"А почему нет книги Джоэла Граса на русском Data Science? Я купил на Озоне месяц назад 2-е Издание ""Наука о данных с нуля"".",2022-11-09T09:52:05Z,NEUTRAL,0.8211252093315125
-"""Практическая статистика для специалистов  Data Science"".",2022-11-09T05:51:32Z,NEUTRAL,0.81913161277771
-"Вобщем почитал я немного книжку эту ""Практическая статистика для специалистов Data Science"" Питер Брюс. Чессгря не пошла чего-то. На эту тему книжка ""The Elements of Statistical Learning""  Trevor Hastie, Robert Tibshirani, Jerome Friedman нравится больше.",2022-11-08T19:21:34Z,NEUTRAL,0.7770033478736877
-Как раз недавно искала что почитать по этой теме Ответ на вопрос: Практическая статистика для специалистов Data Science,2022-11-08T16:53:04Z,NEUTRAL,0.8109807968139648
-«Практическая статистика для специалистов Data Science» — давно на нее засматриваюсь ;),2022-11-08T15:36:35Z,POSITIVE,0.9906863570213318
-Практическая статистика для специалистов DS  Спасибо за видео 💫,2022-11-08T12:42:15Z,NEUTRAL,0.8237556219100952
-"Очень интересно, нигде не могу найти первую книгу. Уже всё перерыл, может у кого есть?",2022-11-08T10:14:39Z,NEGATIVE,0.7512878179550171
-"Ответ для викторины: Практическая статистика для специалистов Data Science. Питер Брюс, Эндрю Брюс, Питер Гедек. Спасибо за прекрасный и  очень полезный обзор.",2022-11-08T09:27:29Z,POSITIVE,0.9720815420150757
-"Большое спасибо за такую подборку, очень детализированная подача. Если есть возможность, хотелось бы такую подборку и по Дата Аналитике увидеть :)",2022-11-08T07:38:39Z,POSITIVE,0.9906883239746094
-"""Практическая статистика для специалистов  Data Science"".",2022-11-08T07:09:09Z,NEUTRAL,0.81913161277771
-Практическая статистика для специалистов Data Science  Спасибо за подборку!,2022-11-08T06:37:32Z,NEUTRAL,0.8249239325523376
-Практическая статистика для специалистов data science,2022-11-08T05:51:51Z,NEUTRAL,0.8288936018943787
-Поздравляю 🎉🎊💍,2022-11-08T05:47:21Z,POSITIVE,0.7225796580314636
-"""Практическая статистика для Data Science"" . очень хочу выиграть)) спасибо за ролик)",2022-11-08T05:06:30Z,POSITIVE,0.9813588261604309
-Практическая статистика для специалистов data science,2022-11-08T03:04:02Z,NEUTRAL,0.8288936018943787
-"Здравствуйте! Если нет практического опыта в программировании, и вузовского образования, но есть ""баловство"" в html/css, то какие курсы вы рекомендуете? какие реальные сроки по продолжительности должны быть на этих курсах?",2022-11-08T00:04:34Z,NEUTRAL,0.8182204365730286
-"Сталкивался почти со всеми книгами и они слабенькие мягко говоря, кроме Буркова - это огонь, рекомендую всем и последняя книга тоже пушка. Анастасия, хорошо выглядите)",2022-11-07T23:38:01Z,POSITIVE,0.9906837940216064
-Практическая статистика для специалистов Data Science,2022-11-07T23:08:50Z,NEUTRAL,0.8284438848495483
-"""Практическая статистика для Data Science"" .  Замечательная подборка книг. С английским точно необходимо поработать . Спасибо. Самый лучший канал по Data Science! Вы как всегда на высоте!",2022-11-07T22:56:20Z,POSITIVE,0.9811609387397766
-Спасибо Анастасия.,2022-11-07T22:55:11Z,POSITIVE,0.9737608432769775
-"Нашел вас благодаря PyLounge и очень этому рад. Спасибо что делитесь опытом и даете наставления новичкам в сфере. Информации о DS на ру ютубе как будто не очень много, что уж говорить о том с чего начинать, как найти вектор развития и тп Ответ на вопрос конкурса - практическая статистика для специалистов Data Science",2022-11-07T22:16:24Z,NEUTRAL,0.7242584228515625
-"Спасибо, очень нужная подборка)  А книга : “Практическая статистика для специалистов Data Science”",2022-11-07T21:57:19Z,POSITIVE,0.9814183712005615
-"Спасибо за прекрасный обзор литературы! Ответ: ""Практическая статистика для специалистов Data Science"" Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-07T21:19:10Z,POSITIVE,0.9581949710845947
-Практическая статистика для специалистов Data Science. Отличное видео),2022-11-07T20:44:18Z,POSITIVE,0.6909979581832886
-"Ответ: ""Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс"". Спасибо за видео!",2022-11-07T20:11:02Z,NEUTRAL,0.8065697550773621
-"Практическая статистика для специалистов Data Science Эндрю Брюс, Питер Брюс, Питер Гедек",2022-11-07T20:03:52Z,NEUTRAL,0.8215498328208923
-"Практическая статистика для data science.   Спасибо за обзор литературы, очень полезно",2022-11-07T19:09:02Z,POSITIVE,0.9528022408485413
-Спасибо!,2022-11-07T18:48:50Z,POSITIVE,0.9795294404029846
-Самую главную книгу для data science  забыли указать - учебник английского языка),2022-11-07T18:47:13Z,POSITIVE,0.9906854033470154
-"Ответ:Практическая статистика для специалистов Data Science Анастасия, спасибо большое за краткие обзоры каждой из книг!  Оказалось очень полезным.",2022-11-07T18:29:31Z,POSITIVE,0.9370754957199097
-"Лайкпадпискакалакольчек (вру, колокольчик никогда не нажимаю и большинство чатов у меня замьючены). <Спустя 30 минут>: Короче, в наивной надежде, что есть источник, где написано понятно: вот формула, вот расшифровка, купил я на литрес ""Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс"" (Да, это правильный ответ на твой вопрос. Точнее не правильный, но ты подразумевала, что он правильный). Открываю главу про Т критерий и вижу формулу, которую ""Попытка глубже понимать уже попахивает литром"". В биномиальном распределении нет даже хоть какой-нибудь завалящейся формулы. Зато есть объяснение на кучу строк с примером реализации вычислений через т.н. ""черный ящик"" (При этом объяснить разницу между pmf и cdf авторы нужным не посчитали). Иными словами, после прочтения этой книги, вы будете прекрасно понимать, что такое нормальное распределение, но будете не в состоянии посчитать вручную даже простенький доверительный интервал для нормального распределения. Прошу поправить, если ошибаюсь. И возможно кто-то все же знает книгу/сайт/справочник, где без лишней воды написано что-то практичес��и полезное?",2022-11-07T18:28:52Z,NEGATIVE,0.7514646649360657
-"Практическая статистика для специалистов Data Science.  Анастасия, большое спасибо Вам за то, что делитесь знаниями и информацией! 🌹",2022-11-07T18:01:24Z,POSITIVE,0.9801817536354065
-Практическая статистика для специалистов Data Science,2022-11-07T17:58:49Z,NEUTRAL,0.8284438848495483
-Практическая статистика для специалистов Data Science - ответ на вопрос) Мне её кстати тоже советовал кто-то,2022-11-07T17:45:00Z,POSITIVE,0.9804360866546631
-Ответ на викторину: Практическая статистика для специалистов Data Science. Спасибо за видео! Все книги интересны. Где взять время на их чтение только вопрос.,2022-11-07T17:37:23Z,NEUTRAL,0.6508800387382507
-Практическая статистика для специалистов Data Science,2022-11-07T16:54:20Z,NEUTRAL,0.8284438848495483
-"Книга для розыгрыша: 04:06 Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-07T16:51:02Z,NEUTRAL,0.8218705058097839
-"Анастасия, благодарю за подборку. Ответ: Практическая статистика для специалистов Data Science.",2022-11-07T16:41:23Z,POSITIVE,0.9788368344306946
-Практическая статистика для специалистов Data Science,2022-11-07T16:26:58Z,NEUTRAL,0.8284438848495483
-"Практическая статистика для специалистов Data science  Питер Брюс, Питер Гедек, Эндрю Брюс Спасибо за видео 💖",2022-11-07T16:20:45Z,NEUTRAL,0.550773024559021
-"Ответ: ""Практическая статистика для специалистов Data Science"". Спасибо за видео!",2022-11-07T16:20:28Z,NEUTRAL,0.7987635135650635
-Практическая статистика для специалистов Data Science,2022-11-07T16:15:48Z,NEUTRAL,0.8284438848495483
-"Практическая статистика для специалистов Data Science. Анастасия, спасибо за прекрасную подборку!🙃",2022-11-07T16:03:13Z,POSITIVE,0.9812729358673096
-От года до 5 лет ещё добавить,2022-11-07T16:02:00Z,NEGATIVE,0.7512192130088806
-"Большое спасибо за подбор книг, как раз что чего не хватало ответ:  Практическая статистика для специалистов Data Science",2022-11-07T15:53:26Z,POSITIVE,0.9807986617088318
-"Конкурс: Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-07T15:38:04Z,NEUTRAL,0.8283320665359497
-"Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-07T15:15:49Z,NEUTRAL,0.821113646030426
-Практическая статистика для специалистов Data Science.Отличные книги.,2022-11-07T15:05:07Z,NEUTRAL,0.8192592263221741
-Практическая статистика для специалистов Data Science,2022-11-07T14:49:29Z,NEUTRAL,0.8284438848495483
-👍👍👍,2022-11-07T14:44:33Z,POSITIVE,0.5916711091995239
-Практическая статистика для специалистов Data Science,2022-11-07T14:38:17Z,NEUTRAL,0.8284438848495483
-Конкурс: Необходимая математика для Data Science Томас Нилд,2022-11-07T14:26:57Z,NEUTRAL,0.8292148113250732
-"Практическая статистика для специалистов Data Science. Питер Брюс, Эндрю Брюс, Питер Гедек.  Спасибо вам за подбор нужных книг и за интересное видео😊",2022-11-07T14:26:10Z,POSITIVE,0.553292989730835
-"Спасибо за то, что уделили внимание разбору книг   Ответ: Практическая статистика для специалистов Data Science",2022-11-07T14:21:55Z,POSITIVE,0.9544379711151123
-"""Практическая статистика для специалистов Data Science"".  Классная подборка, спасибо за видео!",2022-11-07T13:56:24Z,POSITIVE,0.9491176009178162
-"Хотел бы ещё порекомендовать книгу ""Python и анализ данных"" | Маккини Уэс. Автор книги, собственно, автор библиотеки Pandas. И эта библиотека очень подробно р��зобрана в книге. Можно сказать – учебник по Pandas. Так же в книге освещается  NumPy. Как говориться: ""Мой рекомендосьён""!",2022-11-07T13:07:07Z,NEUTRAL,0.6601881980895996
-"Практическая статистика для Data science Питер Брюс, Эндрю Брюс, Питер Гедек",2022-11-07T13:05:18Z,NEUTRAL,0.8208516240119934
-"Практическая статистика для специалистов Data Science Питер Брюс, Питер Гедек, Эндрю Брюс",2022-11-07T12:46:35Z,NEUTRAL,0.821113646030426
-Практическая статистика для специалистов Data Science. Спасибо за хорошую подборку книг.,2022-11-07T12:45:01Z,POSITIVE,0.9546443819999695
-Спасибо. Интересовался недавно именно о книгах для data science.,2022-11-07T12:35:52Z,POSITIVE,0.9519969820976257
-"Практическая статистика для специалистов Data Science Питер Брюс Питер Гедек Эндрю Брюс, является бестселлером среди книг по статистике Python и R выбирай, все удобства",2022-11-07T12:24:03Z,NEUTRAL,0.8212459683418274
-Практическая статистика для специалистов Data Science Питер Брюс Питер Гедек Эндрю Брюс,2022-11-07T12:19:18Z,NEUTRAL,0.8210787177085876
-Практическая статистика для специалистов Data Science!,2022-11-07T12:07:06Z,NEUTRAL,0.8149620294570923
-+,2022-11-07T12:05:49Z,POSITIVE,0.9647075533866882