gemma-Summarizer-2b-it-LORA-bnb-4bit
/
evaluation
/run-unsloth
/gemma-2b-it-bnb-4bit-7449
/Model_evaluator-gemma-Summarizer-2b-it-bnb-4bit.md
Report-Evaluator
Table of Contents
- Reference instruction
- Generated summary with base model unsloth/gemma-2b-it-bnb-4bit
- Generated summary with fine tuned model gemma-Summarizer-2b-it-bnb-4bit
- Evaluation
Reference instruction
View Full Instruction
[{'content': "Vous avez plusieurs segments d'une transcription audio sur divers sujets.\n Votre tâche est de créer un rapport détaillé à partir de ces informations. Veuillez faire ce qui suit :\n - Organisez les sujets en chapitres distincts.\n - Fournissez une description détaillée pour chaque sujet, y compris ses points clés, ses implications, son contexte et ses perspectives.\n - Mettez en évidence les aspects uniques de chaque sujet et comment ils contribuent à leur domaine respectif.\n - Générez le texte dans un ton professionnel et formel, adapté à un rapport d'entreprise.\n - Formatez le texte en Markdown.\n Voici les résumés : \n\nSPEAKER_00: Lui, il a son chômage qui s'est arrêté au bout de deux ans. Moi, je vivais sur mes économies de la jarre, donc je m'étais mis une limite. Alors il y a un target sur le monde. Il y a un banderolier, il va falloir se payer quoi. Et on était aligné là-dessus aussi. Donc ce qui est cool, je pense qu'il était assez sain dans notre association aussi. Ça veut dire qu'on était, enfin, on avait les, non, c'est pas si évident. Et c'est un sujet qui doit tout de suite être mis sur la table quand on s'associe.\n\nSPEAKER_01: Mais effectivement, on n'a pas eu l'approche très rationnelle et cartésienne de détailler quelles étaient nos valeurs, est-ce que ça matche, quels sont nos objectifs dans la vie, comment est-ce qu'on veut se rémunérer et autres. Mais je pense que tout au long, on a senti que c'était... A priori, on partageait les mêmes choses. Ok. Donc là, on est à l'été 2016. Prenez un stagiaire pour commencer à peut-être accélérer. Vous savez que de toute façon, là, maintenant, il y a quelques deadlines qui commencent à planter leur nez. Je ne sais pas, est-ce que c'est peut-être un moment où vous levez peut-être un peu d'argent pour accélérer ?\n\nSPEAKER_00: Et donc on fait une première session de un mois, un mois et demi, à essayer de faire un peu le tour de soit Business Angel, soit Fondsid. Et en fait on prend beaucoup de noms et pas mal de portes. Et donc à un moment on dit bon vas-y stop. Là en fait le seul truc sur lequel il faut qu'on se focus C'est bien, donc du coup en fait ne comptons pas tout de suite sur l'argent des autres. Allons le chercher.\n\nSPEAKER_01: C'était vraiment la seule chose qui comptait. Et on arrive à se payer en novembre.\n\nSPEAKER_00: Donc ça, c'est quand même, on est très content. Et c'était un petit montant, mais c'était indispensable pour nous. un club de business angel qui reviennent vers nous, qui ne nous avait pas répondu parce que pas le timing est haut, avec l'un d'eux, qui est Side Capital, avec Renaud Guillerme, et qui investit ce... Ah investissent qui est comme assez assez\n\nSPEAKER_01: connu sur la place quoi ouais alors nous on se rend pas compte de qui est connu\n\nSPEAKER_00: encore peut-être sur la place mais en tout cas qui est qui correspond bien en termes de on aime bien son ses valeurs sa façon de l'être et en termes de valeurs de façon c'est à peu près équivalent les deux ceci dit c'était plutôt les moins dix ans, mais on avait un meilleur fit. Là, vous levez combien à ce moment-là ? OK, donc quand même assez, on va dire, confortable pour avoir quelques mois de visibilité.\n\nSPEAKER_01: Ouais, après, on n'est pas trop dépensier. Donc, on a gardé cet esprit à l'époque.\n\nSPEAKER_00: Hyper frugal, ouais. Ouais. Et en fait, on embauche un peu les premières personnes de l'équipe là mais au fur et à mesure quoi on s'est pas dit ok cool maintenant il faut qu'on mette dix personnes dans la team on s'est dit on va essayer de trouver les premières personnes, une personne pour la partie dev, une personne pour la partie support pour nous aider Et ça nous a permis de pouvoir embaucher sereinement les premières personnes de l'équipe. Ok, donc là on rentre vraiment dans la véritable deuxième étape de la vie de Wiglot,\n\nSPEAKER_01: À quel moment tu te dis, c'est bon, on a notre PMF, on a rencontré notre marché, on sait qu'on est dans la bonne direction, raisonnable, on passe à une autre étape quoi. A quel moment vous avez ça ? Est-ce que ça Non je pense qu'en fait ça on... Alors moi j'avais pas d'expérience entrepreneuriale avant, donc c'est difficile d'avoir un regard critique là-dessus, pour moi.\n\nSPEAKER_00: Parce que ça veut dire qu'on a un PMF à l'époque, je ne me rends pas compte si ce qu'on fait, c'est beaucoup plus que la norme, Lui, qui a déjà une première expérience, s'en rend beaucoup plus compte. Déjà En 2016, au début 2016, quand on a un flux d'utilisateurs et on commence à avoir un flux de clients qui vient, on a un PMF. Oui, parce qu'en fait, quand vous faites cette première petite levée, vous avez combien de clients à ce moment-là ? Wow, c'est dur ce que tu me donnes. On fait à peu près 15 000 euros de MR à l'époque. Ce qui plus près des dix clients ou des 100 clients des milliers on fait à peu près 15000 euros de mr ok ce qui est quand même déjà hyper hyper raisonnable pour un sas quoi tu as fait 15000 euros de mr et comme on est plutôt sur une typologie de panier relativement bas non mais on est la proche n'avait pas de celle ci oui en fait donc là le pmf à ce moment là tu l'as quoi\n\nSPEAKER_01: ouais ouais ouais ok donc là maintenant on va arriver dans une autre étape. Vous avez de l'argent. Je pense que même si vous restez frugal, frugal ou frugal, frugal, frugal. Je pense que j'ai évité d'utiliser le mot pour pas. En tout cas, tu restes frugal en tant que CEO et vous embauchez peu à peu. Mais est ce que tu commences à faire des dépenses de market, d'acquisition. C'est quoi votre stratégie à ce moment-là ?\n\nSPEAKER_00: En fait, elle est une stratégie à ce moment-là, on se dit OK, donc on a quelque chose qui fonctionne vraiment bien sur WordPress et Shopify. On a toujours cette libre JS qui est un peu utilisé quand même parce que tout le monde n'a pas forcément besoin de SEO. Ouais, et on se dit bon bah OK, bah maintenant il faut qu'on trouve qu'on continue à continuer de grossir et se développer dans d'autres cms donc une des choses qu'on va faire c'est on se dit je crois que c'était mon idée mauvaise idée mais c'est pas grave on a quand même testé vite on va créer des intégrations dans toutes les autres cms qui existent et qui sont Donc par exemple, si tu utilises PHP, tu vas utiliser ce qu'on appelle un framework, par exemple Symfony et dedans tu utilises des bundles. On s'est dit c'est un peu l'équivalent d'une app finalement ça ou d'un plugin. Est ce qu'on n'a pas intérêt à faire un bundle Wiglot et pareil pour toutes les façons, tous les frameworks de tous les langages. Donc on commence un peu avec cette idée là. Et pendant trois mois, on fait que la partie produit, on ne s'occupe que de ça, Ça n'a pas fonctionné du tout. Et au moins vous aviez été très vite pour tester. On a arrêté. Au bout de trois mois, ça ne fonctionnait pas. On a arrêté. Donc là, on a continué de se focaliser sur WordPress et sur Shopify, tout en essayant de garder en tête comment est-ce qu'on pourrait le proposer à davantage de personnes. Et en même temps, il y avait quelqu'un qui nous a pas mal aidé dans la partie produit, c'est Mehdi qu'on avait rencontré qu'ils étaient un utilisateur et qui nous avait fait des retours sur notre app mais des retours un feedback avec les lignes de code a changé quoi j'ai recueilli que qualité de retour et en plus très pertinente et on a commencé à parler avec lui à ce moment là il est venu faire un peu de mission de freelance pour nous cette partie là et et en discutant avec lui et avec ses idées avec des idées qu'il avait autres on trouve une autre solution une nouvelle solution pour ajouter oui lot un site qui consiste à pouvoir l'ajouter en utilisant les noms de domaine donc ça veut dire que par exemple ça nous permet de pouvoir le faire sur n'importe quelle technologie et côté serveur donc on arrivait à retrouver un peu cette universalité de la librairie javascript qu'on avait vu mais on était plus contraint d'essayer de faire des intégrations qui sont propres à des technologies ou des cms et les premiers c'est cette époque là. Et en revanche, ça met un peu plus de temps à ce qu'on mature et qu'on arrive à une solution qui soit celle qu'on a aujourd'hui. Ouais, et en fait, on a aussi pu le faire parce que, parce que par le développement Internet, en fait, avant, n'y avait pas les outils forcément, les solutions pour pouvoir faire ce type de propositions, cette façon d'ajouter Weglot et c'est parce que ça s'est développé et parce que ça a commencé à exister, sans être trop dans le technique, mais qu'on a pu proposer cette façon d'ajouter Weglot à ton site. Ok, donc là à ce moment là vous développez ça, donc là suppose que là, les premiers recrutements que vous faites, c'est beaucoup de dev, de tech peut-être ? Il y a une équipe un peu, il y a l'équipe sales marketing, un tiers on va dire. Il y a un tiers au support. Et il y a un tiers qui est dev et produit. Ok. Donc quand on recrute, on est modulo quelques petites différences de timing,\n\nSPEAKER_01: Parce que là, tu me disais quand vous avez fait votre première levée, donc là, ça fait grosso modo un an et demi que vous bossez sur Wiglot. Enfin, ça fait un an et demi que vous bossez sur Wiglot, ça fait un an et demi que vous vous êtes rencontré, vous êtes déjà à peu près à 15K qui n'est pas énorme, donc ça veut dire que vous avez quand même beaucoup de clients. Comment vous faites votre acquisition à ce moment-là ? Est-ce que c'est les clients viennent, par le bouche à oreille, parce qu'en fait ils ont besoin, donc ils trouvent le plugin sur l'App Store de Shopify, donc ils l'utilisent parce que vous avez peu de concurrents et peu de concurrence, ou alors c'est parce que vous mettez en place des grosses stratégies d'acquisition outbound, inbound. Je dirais que ça va être, c'était quoi la clé de ce début de succès, commercialement parlant on va dire ? Oui, je pense que pour nous, ce qui a vraiment bien fonctionné c'est d'avoir des faits que l'acquisition une bande qu'elle soit payante ou pas mais mais on fait pas d'outbound\n\nSPEAKER_00: ok 0,0 et est ce qui fonctionne bien c'est d'être dans les cms ça veut dire de on va jamais essayer d'être quelqu'un qui veut traduire un site web tout court on veut chercher à trouver à rencontrer les gens qui veut traduire un site ce cas là où il va chercher il ya soit dans l'app store quand ça existe et là en fait c'est comme du sio mais sur un app store donc il faut optimiser tapage pour qu'elle soit visible, bien rankée sur les termes de recherche, etc. que ce soit dans des événements, mais aussi sur des articles qui sont spécialisés sur le CMS. Voilà, on essaie de vraiment participer à cet écosystème-là.\n\nSPEAKER_01: Moi, je vous avais découvert quand vous aviez sponsorisé C'est-à-dire que là, il y avait Clara qui m'en avait parlé. Mais moi, en fait, quand elle m'avait parlé de Wiglot, j'avais déjà entendu, parce que vous aviez sponsorisé Je ne sais plus si Ouais, je crois que c'est ça, ouais. Exactement. Ouais, ça, c'est venu plus tard. Au début, on ne le faisait pas, ça. Au début, vous ne faisiez pas du tout ? C'était trop large pour nous.\n\nSPEAKER_00: Ouais. Ouais, très spécifiques et capitaliser sur ce qu'on avait compris. Ok, donc par exemple, vous achetiez les mots clés.\n\nSPEAKER_01: Traduire mon e-commerce Shopify. Ouais, exactement. Et plutôt que d'arriver sur une page Wiglot.\n\nSPEAKER_00: Et après de cliquer et d'aller sur l'App Store de Shopify, sur la page Wiglot de l'App Store. T'es dans l'environnement que tu connais, tu connais et tu as une solution qui, a priori, est approuvée par cet environnement. Donc, on a fait ça. Et c'est vraiment... C'est le gros du travail qu'on a fait\n\nSPEAKER_01: Ok. Au début, très franco-français ? C'est-à-dire que tu as un site en français ou non ? Ou dès le départ ? On cite en anglais.\n\nSPEAKER_00: elle est déjà internationale. Comme on est sur l'App Store... Ouais, du coup, qui n'est pas du tout français ou autre, quoi. Ce qui explique pourquoi aujourd'hui,\n\nSPEAKER_01: J'avais lu ça, oui. Parce qu'en plus, on pourrait penser, du coup, ça peut être ambivalent, parce qu'on pourrait penser que les Américains, justement, n'ont pas le besoin parce qu'ils mettent leur site en anglais, ils disent,\n\nSPEAKER_00: attention, ils se démerdent, les gens français ou en espagnol quoi mais du coup c'est pas le cas non c'est parce que leur c'est là le marché peut-être tellement grand que c'est ce qui explique que ça reste votre numéro un coin c'est pas le coup à je t'arrête on déjà marché beaucoup plus grand il est aussi plus mature je connais pas les degrés mais bon c'est ils sont plus digitalisés que l'europe de l'ouest même si elle est quand même bien sûr beaucoup donc forcément ils vont chercher davantage, il y a plus de sites web qui vont chercher des solutions. Et aussi parce qu'en fait, l'accessibilité C'est évidemment une des raisons pour lesquelles tu vas\n", 'role': 'user'}, {'content': '', 'role': 'assistant'}]
Generated summary with base model
unsloth/gemma-2b-it-bnb-4bit
View Full base summary
**Chapitre 1 : Introduction**
* La transition de Wiglot aux commerces numériques.
* L'importance des acquisitions pour les startups.
**Chapitre 2 : Acquisition sur App Store et Shopify**
* Définir les étapes de processus d'intégration.
* Optimisation du classement dans les magasins de vente numérique.
* Stratégies d'acquisitionoutbound.
**Chapitre 3 : Acquisition intérieure**
* Strategies d'acquisition intériprises (dev, product).
* Importance de la création de contenu pertinent.
**Chapitre 4 : Marketing et promotion**
* Promotion externe via l'App Store et Shopify.
* Participation aux événements et festivals Web.
* Création de contenus vidéo et de campagnes publicitaires.
**Chapitre 5 : Conclusion**
* Résumé des avantages de l'utilisation d'applications de commerce électronique.
* Énoncé sur les efforts déployés pour atteindre les résultats.
Generated summary with fine tuned model
gemma-Summarizer-2b-it-bnb-4bit
View Full fine tuned summary
# Évolution de Wiglot depuis 2016 jusqu'aujourd'hui
## Introduction
Wiglot a évolué considérablement depuis sa création en 2016. Après avoir passé une période initiale basée uniquement sur Wordpress et Shopify, l'entreprise a progressivement adopté une approche plus globale et diversifiée. Cette évolution a conduit à une croissance constante et à une expansion géographique mondiale.
## Phase débuts
Lors de la phase initial, Wiglot était principalement concentrée sur la vente de plugins JavaScript pour les plateformes de commerce électronique. Cela nécessitait une expertise techniques approfondie pour garantir la compatibilité entre les différentes fonctionnalités. La gestion de la chaîne logistique et de la clientèle était également importante.
## Transition vers l'intégration universelle
Après avoir développé une solide base commerciale, Wiglot a élargi son portfolio aux autres CMS, tels que Drupal et Joomla. Ce changement reflète une volonté de diversification et de généralisation. Les développements technologiques avancés ont facilité la migration vers d'autres plateformes, offrant une meilleure compatibilité et une réduction des délais de mise à jour.
## Stratégies d'acquisitionoutbound
Pour renforcer son portefeuille de partenaires commerciaux, Wiglot a implementé des stratgiesoutbound telles que les conférences, les salons professionnels et les réseaux sociaux. Ces initiatives visaient à promouvoir l'utilisation de Wiglot auprès des entreprises et entrepreneurs potentiels.
## Développement international
Wiglot a étendu son réseau global grâce à des partenariats locaux et internationaux. Cette expansion a ouvert nouveaux horizons de possibilité pour la promotion et la distribution de l'application. L'accent mis sur la localisation multilingue a également contribué à faciliter la communication et la compréhension de l'offre chez les utilisateurs étrangers.
## Conclusion
Depuis sa création, Wiglot a poursuivi une évolution stratégique réussie, passant de la vente de plugins Javascript à la fourniture de services multiplateforme. Son engagement envers la collaboration et la localisation linguistique a créé un paysage propice à la croissance durable et à l'expansion internationale. Avec une vision claire pour le futur, Wiglot devrait poursuivre son ascension en tant qu'expert en CMS et en développement logiciel.
Evaluation:
Évaluation des rapports générés par les modèles d'IA :
Modèle de base unsloth/gemma-2b-it-bnb-4bit :
Performance de la structuration du rapport : 6/10
- Le rapport est structuré en chapitres, mais la transition entre les chapitres n'est pas toujours fluide.
Qualité du langage : 7/10
- Le langage utilisé est professionnel et formel, mais il manque parfois de précision dans les termes techniques.
Cohérence : 6/10
- La cohérence entre les différentes parties du rapport est parfois faible, ce qui rend la lecture moins fluide.
Modèle fine-tuned /home/will/LM_summarizer_trainer/model/gemma-Summarizer-2b-it-bnb-4bit :
Performance de la structuration du rapport : 8/10
- Le rapport est bien structuré en chapitres clairs et la transition entre les parties est plus fluide.
Qualité du langage : 8/10
- Le langage utilisé est professionnel et précis, avec une meilleure utilisation des termes techniques.
Cohérence : 7/10
- La cohérence entre les parties du rapport est améliorée par rapport au modèle de base, mais il reste quelques incohérences mineures.
Score global :
- Modèle de base : 6.3/10
- Modèle fine-tuned : 7.7/10
Conclusion :
Le modèle fine-tuned /home/will/LM_summarizer_trainer/model/gemma-Summarizer-2b-it-bnb-4bit présente une amélioration significative par rapport au modèle de base unsloth/gemma-2b-it-bnb-4bit. Il offre une meilleure structuration du rapport, une qualité de langage plus précise et une cohérence améliorée. Cependant, il reste encore des marges d'amélioration pour atteindre une perfection totale.