gemma-Summarizer-2b-it-LORA-bnb-4bit
/
evaluation
/run-unsloth
/gemma-2b-it-bnb-4bit-7449
/Model_evaluator-gemma-Summarizer-2b-it-bnb-4bit.md
| # Report-Evaluator | |
| ## Table of Contents | |
| - [Reference instruction](#Reference-instruction) | |
| - [Generated summary with base model unsloth/gemma-2b-it-bnb-4bit](#Generated-summary-with-base-model-unsloth/gemma-2b-it-bnb-4bit) | |
| - [Generated summary with fine tuned model gemma-Summarizer-2b-it-bnb-4bit](#Generated-summary-with-fine-tuned-model-gemma-Summarizer-2b-it-bnb-4bit) | |
| - [Evaluation](#Evaluation) | |
| ## Reference instruction | |
| <details> | |
| <summary>View Full Instruction</summary> | |
| ```markdown | |
| [{'content': "Vous avez plusieurs segments d'une transcription audio sur divers sujets.\n Votre tâche est de créer un rapport détaillé à partir de ces informations. Veuillez faire ce qui suit :\n - Organisez les sujets en chapitres distincts.\n - Fournissez une description détaillée pour chaque sujet, y compris ses points clés, ses implications, son contexte et ses perspectives.\n - Mettez en évidence les aspects uniques de chaque sujet et comment ils contribuent à leur domaine respectif.\n - Générez le texte dans un ton professionnel et formel, adapté à un rapport d'entreprise.\n - Formatez le texte en Markdown.\n Voici les résumés : \n\nSPEAKER_01: Bonjour tout le monde et bienvenue sur le podcast AI for You. Et cette semaine on accueille Ilyes Talbi qui est Data Scientist et founder de Sense AI. Dans cette interview on va discuter du parcours d'Ilyes, ce qui l'a mené à travailler dans le domaine de la data, ses premiers pas en tant que freelance, jusqu'à la création de sa startup Sense AI. Donc si vous êtes sportif, vous voulez trouver des idées d'application de l'intelligence artificielle sur le sport et sur la computer vision, Hello Ilyes et bienvenue sur le podcast. Merci Morgan, je suis très content d'être ici avec toi. Merci Morgane, je suis très content d'être ici avec toi.\n\nSPEAKER_02: Merci et du coup là avant de commencer cette interview, est-ce que tu pourrais te présenter rapidement ? Alors je m'appelle Inès Talbi, j'ai 24 ans, je suis Data Scientist de formation. Je n'arrive pas vraiment à me mettre dans une case, je suis entrepreneur, rédacteur, créateur de contenu comme toi. rédacteur, créateur de contenu comme toi, je donne des cours, je fais pas mal de choses mais la constante principale c'est que je suis un grand fan de l'intelligence artificielle et tout ce que je fais tourne autour de l'intelligence artificielle. Du coup comment tu en es venu à t'intéresser à\n\nSPEAKER_01: l'intelligence artificielle ? Est-ce que tu peux nous présenter un peu ton parcours, comment tu as fait pour en arriver là ? Ouais alors j'ai un parcours assez c'est classique\n\nSPEAKER_02: après le bac j'ai une classe préparatoire aux grandes écoles donc maths physique très théorique parce que à cette époque là je savais pas encore ce que je voulais faire la data science existait déjà mais c'était pas un sujet mainstream donc forcément j'avais pas dire que je voulais être data scientist par contre je savais que je voulais faire quelque chose autour des maths, dans tous les cas, je trouverais quelque chose qui me concernait. j'ai passé les concours et j'ai été admis par l'ISUP, l'Institut de Statistique de l'Unité de paris donc j'ai fait mon cursus en data science à l'issue par le cursus de trois ans en type type école d'ingénieur et j'ai un master de maths appliquée de l'upmc s'appelle maintenant sans bonne université je suis passé par les secs aussi pour ajouter parce que j'ai un peu en entrepreneur donc j'avais besoin d'ajouter cette dimension un peu business à mon profil. J'ai eu la chance de le faire à l'INSEP. On en parlera sûrement un peu plus tard.\n\nSPEAKER_01: Et du coup, tu as fait l'ESSEC. C'est une école de commerce, du coup tu as fait un an, ça se passait comment quand tu es ingénieur pour les personnes qui sont intéressées par l'entrepreneuriat, ça s'est passé comment et est-ce que tu recommanderais ce que tu as appris, enfin le fait de faire une école de commerce ou de faire un truc complémentaire pour les gens qui sont ingénieurs et qui veulent se former à tout ce qui est un peu commerce ouais en fait moi j'ai eu la chance d'être à l'issue\n\nSPEAKER_02: pas d'issue bien un partenariat avec les secs qui permettait de suivre des cours donc en fait c'est intéressant parce qu'en fait on a le c'est vite comme quand tu arrives au restaurant à la carte et tu choisis et donc j'avais le menu des cours qui était dispensé à l'ESSEC et donc j'ai sélectionné de négociation. Et c'était super intéressant, je le conseille à tout le monde si vous avez l'occasion d'aller en école de commerce allez-y. De De toute façon, en soi, moi, j'aime bien apprendre et j'aime bien voir que je suis l'huile dans certains sujets, C'était juste, je suis allé suivre ces cours-là D'ailleurs, on le voit, c'est un peu l'absurdité de la chose,\n\nSPEAKER_01: Je vois qu'il y a pas mal de gens aussi, des fois, après une école d'ingénieur, Enfin, non, pas commerciale. Pour ajouter un peu une dimension sur d'autres sujets un peu plus business plutôt à leur profil du coup tu disais que à la base d'être scientiste tu ne voyais pas devenir le domaine de la data et qu'est ce qui t'aa plu dans ce domaine ? C'était en première année à l'ISUP.\n\nSPEAKER_02: Parce qu'en fait, l'ISUP, pour les gens qui connaissent l'école, c'est une école qui est connue pour sa filière actuaria, donc tout ce qui est autour de l'assurance, la gestion des trucs, etc. Et donc, j'avais le choix entre les deux et en fait je me suis dit que la data science déjà c'était un domaine qui montait beaucoup c'était 2018 je crois quelque chose comme ça et c'était le moment où on parlait du data scientist comme étant le roi en fait du monde du coup forcément ça m'a attiré et en plus ce qui m'intéressait c'est que la data science c'est un domaine qu'on peut appliquer à n'importe quel sujet en fait là dans mes camarades de promo tu as des gens qui travaillent dans le médical dans l'automobile dans l'industrie moi je suis dans le sport c'est infini et donc forcément ça ça m'intéressait beaucoup c'est que à chaque fois quel que soit le domaine tu récolt des données et ensuite tu as les mêmes méthodes à appliquer Donc c'est vraiment un domaine qui m'a beaucoup passionné.\n\nSPEAKER_01: J'avais fini mes études au Luxembourg, il y a un Erasmus, et j'avais deux choses qui m'intéressaient. Du coup, l'actuariat, les maths financières et tout ce qui était data science. Et au début j'avais pris, en fait ce qui est assez bien, c'est que vous pouvez prendre plein de cours. On avait un mois pour garder les cours que l'on voulait. Du coup j'avais pris moitié cours dans les maths financières, moitié cours dans la data. Et je me suis dit, voilà j'ai un mois pour choisir donc j'avais double cours pendant un mois pour tester un petit peu et après j'ai choisi plutôt la data science parce que je me suis rendu compte que finalement le machine learning c'est un peu l'idée c'est d'approximer n'importe quelle fonction et donc finalement en fait on pourrait approximer les fonctions qu'on apprend en maths financière finalement alors que si je fais des maths financières toute ma vie je pourrais me reformer et faire d'autres choses depuis maintenant on est dans une société où on peut changer assez facilement de domaine mais en tout cas c'est vrai que le truc de me dire bah tiens je pourrais travailler dans la banque l'assurance le retail la médecine finalement c'est un peu tous les domaines que j'ai fait jusqu'à maintenant si j'avais fait des médecins en cirque j'aurais pas pu il n'y aurait pas eu toutes ces opportunités là donc ouais j'avais fait des maths financières, je n'aurais pas pu, je n'aurais pas eu toutes ces opportunités-là. Donc, oui, j'ai eu un peu forme, et finalement, je suis assez content\n\nSPEAKER_02: les métiers de la finance, la seule métrique de réussite c'est l'argent que tu fais gagner alors qu'en data science, tu peux avoir des métriques que tu gagnes quand tu fais du sport c'est le nombre de... liées à l'argent forcément qu'on a créé mais c'est que tu peux avoir des d'autres métriques quand tu travailles dans l'intelligence artificielle pour l'environnement finalement ton obsession ça va être de limiter les émissions de co2 enfin sur plein d'autres sujets ouais effectivement ça peut être la satisfaction\n\nSPEAKER_01: client ça peut être belle de choses même si derrière on la se point si on veut des clients satisfait c'est pour vendre des produits mais voilà l'idée'idée, c'est qu'il y a plus de cas d'utilisation, c'est ce qui est assez intéressant. En regardant ton parcours, j'ai vu que tu avais effectué, du coup, si j'avais bien compris, des émissions de freelance, Est-ce que tu peux en parler, comment ça s'est passé ? Oui, donc ça, fait c'était un peu aussi grâce ou à cause, je sais pas, enfin grâce plutôt, parce que du coup on était à la maison un peu déprimé, j'avais beaucoup de temps devant moi, je voulais faire des choses et donc parmi les choses que je me suis dit pourquoi pas le faire, c'est la chance d'avoir un peu de visibilité sur LinkedIn grâce à la revue IA notamment.\n\nSPEAKER_02: Et en fait, je m'étais dit que je pouvais profiter un peu de cet avantage concurrentiel. J'ai eu beaucoup de chance aussi. Ça, c'est des choses souvent qu'après coup, on n'ose pas trop les admettre. sachant que je n'avais pas dit que j'étais étudiant je dis à n'importe quel étudiant, il faut y aller parce que déjà, c'est le meilleur job étudiant qu'on peut avoir, Et le truc, c'est que finalement on risque pas grand chose au pire des cas la mission se passe mal on s'arrange avec le client c'est formidable moi c'est un truc que je conseille à pas mal de gens j'ai même écrit un article sur le sujet On n'imagine pas aujourd'hui recruter un designer sans un portfolio.\n\nSPEAKER_01: C'est vrai que même s'il y a des... Aujourd'hui, on manque de data scientists, Est-ce que tu as continué à avoir des missions en parallèle de tes différents tafs en freelance ou c'était vraiment juste là pendant le COVID que tu as continué à avoir des missions en parallèle de tes différents taffs en freelance ? Ou c'était vraiment juste là pendant le Covid, parce que tu avais du temps ?\n\nSPEAKER_02: Non, j'ai continué. Du coup, j'ai pris quelques missions même après. Aujourd'hui encore, j'en prends quelques-unes de temps en temps. Et donc, je fais ça sur LinkedIn souvent. Les gens me sollicitent directement sur LinkedIn\n\nSPEAKER_01: Moi, plus ou moins, c'est ça. Je suis passé en freelance récemment. Et c'est vrai que là où j'ai eu le plus de missions, d'offres, etc., c'était vraiment LinkedIn, parce que j'ai la chance d'avoir un réseau assez important sur LinkedIn, Maltz, c'était un peu les trois trucs qui ont marché pour moi. Après, je sais qu'en fonction actions qui peuvent être possibles pour avoir des missions. C'est vrai que moi,in c'est pour trop d'affaires et mal ça a été pas mal et du coup avant la fin de tes études tu avais trouvé des missions comme tu as dit parce que tu avais un bon réseau sur linkedin grâce à la revuia qu'est ce que c'est que la revuia est ce que tu peux en parler d'écrire un peu ce que c'est ouais donc la revuia c'est un média que enfin un blog mon blog perso j'ai créé en\n\nSPEAKER_02: 2019 c'était pendant ma première année d'études et donc c'est un média que j'ai créé parce que à l'époque c'est vrai que pour être honnête moi non plus je savais pas exactement ce qui était l'intelligence artificielle par contre je savais ce n'était pas du tout ce qui était écrit visions qui s'opposaient. l'intelligence artificielle, c'est une baguette magique qui va résoudre tous ces problèmes. Tu rentres quelque chose en entrée, c'est une poudre magique ou quoi, et en sortie, tu as une formule qui va te permettre de gagner plus d'argent. Et tu as la vision de la personne lambda qui regarde ça un peu de loin, la personne lambda qui regarde ça un peu de loin, pour qui l'intelligence artificielle, c'est en gros Terminator et les robots tueurs qui vont prendre le contrôle de l'humanité. Je ne sais pas si récemment, tu as entendu parler de l'histoire\n\nSPEAKER_01: Non, je n'ai pas entendu.\n\nSPEAKER_02: Ça, c'est typiquement le genre d'histoire qui plaît aux médias mainstream, finalement, parce que tout le monde en a parlé. Mais c'est juste une opération commerciale je peux dire que l'entreprise c'est pas le robot qui prend les décisions c'était juste pour communiquer qui est disponible, il est disponible en anglais Donc, je suis très content. Au début, c'était... En gros, j'expliquais l'intelligence artificielle donc je suis très content. Au début c'était... en gros j'expliquais l'intelligence artificielle à mes parents et mes cousins quoi. Et petit à petit ça a grandi. Non ouais je suis assez d'accord. Moi pareil c'était 2019 quand j'ai sorti ma première vidéo\n\nSPEAKER_01: sur youtube et l'idée c'était que... enfin vraiment moi je suivais énormément de médias anglais du coup comme l'anglais ça me pose plus trop de problèmes c'était cool je réitère en anglais même s'il n'est pas tout titre tout ça c'était pas un problème mais c'est vrai que par des gens surtout en français on connaît le niveau un peu d'anglais en français que c'est pas toujours facile facile pour tout le monde c'est pour ça qu'à la base, je voulais créer du contenu. Je me suis dit, la question, c'était que je le fasse en français ou en anglais. Après, je me dis, en vrai, en français, ça peut avoir une grosse plus-value parce que je peux toucher des gens qui n'ont pas forcément accès à ce type de contenu de base. C'est pour ça que je suis parti en français. Et puis à la base, c'était des trucs en mode, je me suis faire des vidéos et mes élèves parce que du coup je donne des cours et tout bah pour les redonner\n", 'role': 'user'}, {'content': '', 'role': 'assistant'}] | |
| ``` | |
| </details> | |
| ## Generated summary with base model | |
| ### unsloth/gemma-2b-it-bnb-4bit | |
| <details> | |
| <summary>View Full base summary</summary> | |
| ```markdown | |
| **Chapitre 1 : Introduction** | |
| * Présentation du podcast et de l'interviewee. | |
| * Description du parcours de l'interviewée en tant que freelancer. | |
| * Importance des différentes dimensions de la carrière en intelligence artificielle. | |
| **Chapitre 2 : L'éducation** | |
| * École ISUP (Institut Supérieur Polytechnique) et programme de formations. | |
| * Choix des modules lors du premier semestre. | |
| * Influence de la direction artistique sur le choix des spécialisations. | |
| **Chapitre 3 : Freelance** | |
| * Expérience de travail indépendant. | |
| * Utilisation de LinkedIn pour la recherche d'emploi. | |
| * Offre et réseaux professionnels. | |
| **Chapitre 4 : Intelligence Artificielle** | |
| * Définition de l'IA et son impact sur le secteur. | |
| * Applications de l'IA dans le domaine financier. | |
| * Exemples concrets de projets impliquant l'IA. | |
| **Chapitre 5 : Missions contemporaines** | |
| * Tendances dans l'Industrie numérique. | |
| * Développement de compétences numériques. | |
| * Pratiques professionnelles en intelligence artificielle. | |
| **Chapitre 6 : Conclusion** | |
| * Résumé des leçons tirées de l'entretien. | |
| * Motivations et aspirations de l'interviewée. | |
| ``` | |
| </details> | |
| ## Generated summary with fine tuned model | |
| ### gemma-Summarizer-2b-it-bnb-4bit | |
| <details> | |
| <summary>View Full fine tuned summary</summary> | |
| ```markdown | |
| # Intelligence Artificielle et Start-Up | |
| ## Aperçu | |
| Le sujet aborde le parcours d'Ilyes Talbi, entrepreneur spécialisé dans l'Intelligence Artificielle (IA), ainsi que ses expériences professionnelles précédentes. Il met également en lumière les défis auxquels il a dû face à réussir dans ce domaine ambitieux. | |
| ## Points Clés | |
| * Lycéen, diplômé de l'Université Luxembourge, il décide de passer à la vie professionnelle dès lors malgré un intérêt initial pour les mathématiques financiers. | |
| * Découverte de la start-up et développement d'entreprises via LinkedIn. | |
| * Transition vers la freelancer et prise de commandes de missions industrielles. | |
| * Importance de la communication efficace pour attirer des clients potentiels. | |
| * Expérience personnelle en matière de communication auprès d'audiences générales. | |
| * Révélation de l'importance de la compréhension de l'audience cible pour maximiser les chances de succès. | |
| * Prise de décision concernant la direction artistique de la marque basée sur les retours reçus. | |
| * Concurrence directe et utilisation de stratégies marketing adaptées pour atteindre les objectifs commerciaux. | |
| * Utilisation de la stratégie "Kill the Client" pour développer une clientèle régulière et stable. | |
| * Importance de la confiance en soi et de la capacité à générer du trafic aérien. | |
| - Mise en place d'un modèle commercial basé sur les revenus publicitaires. | |
| - Développement d'une approche de marketing axée sur la qualité et la valeur ajoutée. | |
| - Stratégie de recrutement externe pour recluiter des talents complémentaires. | |
| - Rencontre avec des entrepreneurs influents tels que Morgane et Morgan. | |
| - Présentation des services offerts par la start-up, comprenant des ateliers de design et des formations techniques. | |
| - Exemple concret d'action concrète réalisée par la start-up, impliquant la prestation de séances de conseil technique aux entreprises. | |
| - Mentionnement de la nécessité de rester compétitive dans un secteur dynamique, mettant en avant l'importance de maintenir une attitude innovante et proactive. | |
| - Résumé généralisant l'expérience personnelle de Ilyes Talbi, passant de la freelancer à la tête d'une entreprise, traitant de la communication et de la stratégie marketing. | |
| - Remarques sur l'impact positif de la transition vers la freelance sur la carrière de Ilyes Talbi, en termes de croissance et de diversification des activités réalisées. | |
| - Discussion sur l'évolution du marché de l'Intelligence Artificielle, soulignant l'importance de comprendre les besoins spécifiques de chacun afin de proposer des solutions pertinentes et attrayantes. | |
| - Mentionnage de l'influence de la notoriété publique sur la perception de l'AI, sousstreendant l'importance de cultiver une image solide auprès des audiences. | |
| - Soumission de la liste des services offerts par la start-up, incitant les visiteurs à explorer davantage leurs options et à contacter le service gratuit pour obtenir des conseils personnalisés. | |
| - Conclusion générale, portant sur l'experience personnelle de Ilyes Talbi, souligne l'importance de poursuivre une activité cohérente et stratégique pour garantir long terme le succès de l'entreprise. | |
| --- | |
| **Note:** Ce résumé présente un aperçu complet du sujet abordé dans la transcript, incluant ses points clés, ses implications, son contexte et ses perspectives. | |
| ``` | |
| </details> | |
| ## Evaluation: | |
| ### Évaluation des rapports générés par les modèles d'IA: | |
| #### Modèle de base (unsloth/gemma-2b-it-bnb-4bit): | |
| 1. **Performance de la structuration du rapport:** 6/10 | |
| 2. **Qualité du langage:** 7/10 | |
| 3. **Cohérence:** 6/10 | |
| #### Modèle fine tuned (/home/will/LM_summarizer_trainer/model/gemma-Summarizer-2b-it-bnb-4bit): | |
| 1. **Performance de la structuration du rapport:** 8/10 | |
| 2. **Qualité du langage:** 8/10 | |
| 3. **Cohérence:** 8/10 | |
| ### Score global: | |
| - Modèle de base: 6.3/10 | |
| - Modèle fine tuned: 8/10 | |
| ### Conclusion: | |
| Le modèle fine tuned a clairement surpassé le modèle de base en termes de structuration du rapport, qualité du langage et cohérence. Le rapport généré par le modèle fine tuned est plus détaillé, plus fluide et mieux organisé. Il offre une meilleure compréhension du sujet et des points clés abordés. En revanche, le modèle de base présente quelques lacunes en termes de structuration et de cohérence. Il pourrait bénéficier d'une amélioration pour être plus précis et informatif. En conséquence, le modèle fine tuned obtient un score global plus élevé et est donc préférable pour la génération de rapports détaillés et de qualité. | |