Kundengespräche auswerten mit Claude und n8n #06

Shownotes

Wie Björn ganz ohne Entwickler-Background mit Claude und n8n ein System baut, das tausende Kundengespräche automatisch auswertet und darin Churn-Signale, Pain Points und die besten Closer im Team erkennt.
Wir erfahren u.a. warum er sein erstes RAG-System in nur zwei Stunden zusammenbaute und wie er ein 20 Jahre altes SaaS-Unternehmen zur AI-First-Company umbaut.

Dr. Björn Andressen https://www.linkedin.com/in/bgoerke/
Spotler https://spotler.com

Wenn du deine Demo auf TokenMade präsentieren willst, bewerbe dich jetzt auf https://tokenmade.ai/demo

Transkript anzeigen

00:00:00: Willkommen zu TokenMade.

00:00:01: Wir sprechen hier mit Leuten, die in den letzten Monaten etwas mit AI gebaut haben um zu lernen was heute schon alles mit KI möglich ist.

00:00:10: Björn wer bist du und was hast Du die letzten Monate gebaut?

00:00:15: Ja

00:00:15: also ich bin Björnn.

00:00:16: Ich Bin der Chief AI Officer von Spotler.

00:00:20: Spotler is eine Saas Company mit Hauptsitz in Holland.

00:00:25: wir machen Produkte im Bereich Martec Und mein Fokus in den letzten Monaten war insbesondere die Transformation des Unternehmens zu einem AI First-Unternehmen.

00:00:37: So, das klingt erstmal mega abstrakt!

00:00:39: Das heißt aber was wir tun ist... Wir sind ja ein Unternehmen, dass ich sage mal einen Teil seit zwanzig Jahren am Markt ist.

00:00:44: Wir sind also auf gar keinen Fall so etwas wie SARS Native.

00:00:48: Da gefällt sich das Gegenteil, wenn man so will Legacy, aber das heißt natürlich nicht Dass wir uns nicht anpassen und dass wir nach vorne gehen.

00:00:55: Und das ist genau das, was wir tun.

00:00:56: Das heißt... Wir nehmen jetzt Stück für Stück unsere Workflows.

00:01:01: Nehmen wir uns vor und machen dort eine Analyse schauen wie wir es besser machen können.

00:01:06: Zum Teil sind's natürlich nur so kleinere Dinge wo wir mal etwas was wir heute manuell machen ersetzen durch etwas was man mit AR unterstützen kann oder Agentus lösen kann.

00:01:15: aber was natürlich eigentlich der Punkt ist ist ein echter Transformation zu machen So dass wir eben schauen, was ist der Legacy Workflow und wie müsste man es eigentlich aufsetzen wenn mein ganz neu anfangen würde.

00:01:25: Das ist das was für uns Stück für Stück angucken, das Unternehmen umkrempeln und genau das was wir uns heute ansehen ist so ein Baustein aus diesem Kontext.

00:01:36: Genau das ist das, was ich seit etwas über einem Jahr jetzt ungefähr mache.

00:01:39: Kurz zum Unternehmen Wie groß seid ihr also Leute Umsatz?

00:01:45: Wir sind... Knapp vierhundert Leute, Hauptsitz ist den Haar und die Hauptmärkte sind Holland wo wir auch Marktführer sind.

00:01:55: England ist ein großer Markt Deutschland und dann haben wir noch einiges Geschäft in Skandinavien Spanien usw.

00:02:03: Wir machen glaube knapp siebzig Millionen Umsatz zur Zeit und da sind auf dem Wachstumsfahrt bis hier mit im Roll-up Geschäftsmodell, was wir auch weiter so weiter ausführen.

00:02:21: Also das heißt, wir kaufen einfach Unternehmen am Markt auf die gut zu uns passen.

00:02:26: aber starker Fokus natürlich auch auf veganischen Wachstum und jetzt nochmal neu angefeuert eben durch die Möglichkeiten, die sich durch ergeben weil es passt halt perfekt zusammen.

00:02:36: Dann zeig doch mal!

00:02:38: Ja sehr gerne also vielleicht noch einmal ganz kurz im Kontext zurück?

00:02:43: Wir krempeln irgendwie alles um.

00:02:45: worauf ich heute eingehen möchte ist, dass wir ja, ich sag mal laufen mit unseren Kunden reden und die Frage ist eigentlich wissen wir eigentlich was sie uns sagen.

00:02:57: So und da kann man natürlich sagen klar die Person die mit unserem Kunden geredet hat mit Sicherheit aber bis vor kurzem war das halt so.

00:03:05: ein Gespräch ist vor allem erstmal in den Kopf in den Köpfen der Leute die diese Gespräche geführt haben und im besten Fall ist dann halt eine gute Zusammenfassung im CRM gelandet Und dann kann man mal gucken, was das wird.

00:03:18: So und das ist natürlich ich sage mal Das ist hart ja weil da so viel information in den gesprächen bekommen die dann nicht genutzt werden.

00:03:27: so dass heißt was wir machen ist wir haben angefangen uns Die transkripte anzuschauen von den gesprechen weil das machen wir so einiger zahlgehandel Dezidierte transcript software für unsere kundenseitigen gesprecher.

00:03:40: die ist gut sie macht einen super job Da kann man sich einloggen und dann alle Transkripte anschauen.

00:03:46: Und das ist erstmal schon mal nicht schlecht, so besser als zu sagen hast du diese komische Teamsaufzeichnung oder war das in Zoom?

00:03:52: Ich habe gar keine Ahnung mehr.

00:03:54: Das heißt dass machen wir und es gibt auch da schon immer eine Zusammenfassung die dann direkt in unser CRM geht.

00:04:00: aber In diesen Gesprächen gibt's so viele Signale Die trotzdem einfach untergehen und genau darum geht Es halt die zu verstehen und das ist das was wir uns angesehen haben.

00:04:10: Das heisst ich hab angefangen mal mir diese Transkrifte zu ziehen Und dann habe ich die mal bei Claude reingeworfen und geguckt, was kann man eigentlich rausholen?

00:04:17: Das Ergebnis war, wo es sich vorstellen kann.

00:04:21: Krass!

00:04:21: Also weil so etwas wie.

00:04:23: Kannst du mir sagen, welche Turn-Signale in diesem Gespräch waren?

00:04:27: Kannst Du mir sagen ob das Gespräch professionell beendet wurde?

00:04:31: Gab es ein sauberes Follow up diese Dinge?

00:04:34: Kannste mir sagen um welche Pain Points es ging?

00:04:36: Diese ganzen Dinge, überhaupt kein Problem.

00:04:38: Das sind die Dinge wo die LLMs wahnsinnig stark sind.

00:04:41: so das kennen wir sicherlich eigentlich alle aus unserer täglichen Praxis damit.

00:04:44: und da war dann die Idee geboren da mir daraus zu machen und das zu systematisieren.

00:04:51: Dann habe ich angefangen mal dass ein bisschen mehr auszuarbeiten.

00:04:54: was kann man denn tun?

00:04:55: Ich hab' dann das Mal bei Cowboy reingeschmissen mal ein paar mehr zu gucken.

00:04:59: okay also welche Pain Point nennen uns die Kulten denn wenn sie Produkt XYZ besprechen mit uns.

00:05:09: Und was geht's denn eigentlich?

00:05:10: Welche Probleme wollen die denn gelöst haben, was ist auch der Sprache, den sie verwenden?

00:05:13: und das Problem ist wenn du dann mit Co-Work ran gehst es ist super langsam, es ist wahnsinnig teuer weil du natürlich dann immer ich sag mal mit der vollen LLM Power auf ein PDF gehst und das kostet einfach richtig torkos!

00:05:29: Das ist ein Problem insbesondere weil man natürlich, ich sage mal ein einzelnes Sprech vielleicht Drei mal vielleicht aber auch zwanzig Mal wieder aufrufen muss zumindest einzelne Signale und dann hat man die ganze Zeit natürlich diese Anderen Use Cases, wenn man sagt ja gibt mir doch mal irgendwie Pain Points aus Sicht von unserem Product Team oder so.

00:05:47: Und auf einmal hast du halt eine irren Tokensband und das geht nicht.

00:05:54: Das sehen wir alle, die Preise gehen durch die Decke und das ist langsam.

00:05:58: Und es ist natürlich auch inkonsistent, weil den LLMs irgendwas Neues einfällt.

00:06:01: Die haben einen anderen Kontext aus dem wie gerade in das Gespräch kommen.

00:06:04: Komm auf einmal mit einem neuen Ergebnis!

00:06:06: Und das funktioniert nicht gut.

00:06:07: Also muss man irgendwie weitergehen?

00:06:10: Wir müssen das irgendwie systematischer professioneller aufbauen.

00:06:13: und dann habe ich angefangen das einfach mal in eine Rackdatenbank zu schmeißen also wenn man so will mit den Transkripten chatten kann.

00:06:22: Und das war ein erster Schritt in die richtige Richtung.

00:06:24: und dazu muss ich sagen, ich hatte vor Nino-Rack-Datenbank aufgebaut.

00:06:28: Ich wusste dass es das gibt und ich hatte ein grundsätzliches Verständnis wie das funktioniert.

00:06:34: Dann habe ich mit Cloud und NLN zusammen einen Tool, den wir ganz viel einsetzen sozusagen das Workflow Automatisierungstool, das wir nutzen und hab dann in einer ersten Session einen MVP gebaut in ungefähr zwei Stunden.

00:06:50: Und also das muss man echt sagen, ich bin kein Developer und das hat trotzdem von zwei Stunden funktioniert.

00:06:57: Das war für mich auch so ein Erleuchtungsmoment irgendwie aber ich dachte es kann nicht wahr sein.

00:07:02: und auf einmal habe ich da so einen Chat der sieht mir schön aus aber ich kann da eine Frage stellen und ich kriege eine Antwort und dann gucke ich in das Transkript rein und stimmt Das war ziemlich cool und da war dann irgendwie klar, okay hier ist irgendwie mehr.

00:07:14: Dann habe ich ein paar Kollegen das gezeigt aus dem Marketing, aus dem Produktbereich, natürlich auch aus den verschiedenen Kundenteams... Und die hatten auch alle so einen Edge in.

00:07:23: die haben gespürt, so ja, hier ist was.

00:07:25: Lass das mal weiter angehen!

00:07:28: Dann haben wir angefangen es auszubauen und da kann ich jetzt einfach mal bisschen... bisschen Elite Details können zeigen wie's geht weil das sonst ein bisschen zu absackt ist.

00:07:37: Ich würde jetzt einfach mein mit Schämen teilen, so dass ihr da sehen könnt wie es aussieht.

00:07:45: Also ich habe als allererstes mal ganz kurz nochmal eine Übersicht das man einmal ein Gefühl dafür bekommt um über was reden wir hier eigentlich?

00:07:51: also sozusagen der Input ist bei uns die Gemini Transkript Datenbank.

00:07:56: Gemini ist das Tool, dass wir nutzen englisches Produkt was wir nutzen um die Transkrifte zu erzeugen und die werden dann in einem Workflow beziehungsweise sind tatsächlich zwei Workflows technisch by NLN reingeschmissen.

00:08:11: Das gibt einmal sozusagen das Einlesen der Transkripte, dass ist ein Workflow für sich selbst und dann gibts den Analyse- und Chat Teil.

00:08:21: Und die Transkrifte und die Informationen legen wir in eine Superbase Datenbank.

00:08:26: da sind technisch zwei Datenbanken drin.

00:08:28: Das eine ist eine ganz normale PostgreSQL-Datenbank für strukturierte Informationen, die wir aus den Transkiften ableiten und das andere ist ja die Reactdatenbank.

00:08:40: vielleicht da einmal gleich kurz drauf eingehend, wieso haben wir dann auch diese strukturierte Datenbank dazu?

00:08:45: Also wenn wir ein Transkript einlesen.

00:08:49: Dann holen wir auch so was wie einen Churn-Signal-Score raus.

00:08:53: Ein Professional Closing Score solche Dinge.

00:08:57: Wir holen Payments die die Kunden kommuniziert haben mit raus und packen die Strukturiert abgelegt in einer Datenbank, sodass wir da konsistent immer diese Informationen rausholen können.

00:09:11: Das heißt wenn wir zum Beispiel sagen gibt mir bitte alle Calls aus dem März, mit einem Churnscore von mehr als sieben auf einer Skala von zehn dann ist das was was mit einem LLM nicht gut funktionieren würde.

00:09:28: LNM würde dann ein paar Dinger rausziehen, wenn man danach fragt, hast du wirklich alle rausgeholt?

00:09:32: Dann sagt Anne, lass mich noch mal nachgucken.

00:09:33: Da könnte noch ein paar sein.

00:09:35: Holt nochmal fünf!

00:09:37: Man kann sich nie sicher sein dass es alle sind und vielleicht ist da doch eins aus dem April dazwischen weil das nicht so genau aufgepasst hat.

00:09:42: also das ist nicht gut.

00:09:44: Das heißt man muss ein paar von diesen Informationen strukturieren und das ist genau das was wir in dieser strukturierten Daten machen.

00:09:51: Genau und am Ende kann man da einfach mit einem Chat auf diese Datenbanken raufgehen.

00:10:00: Sicht darauf kann ich euch hier einfach einmal zeigen in NADN.

00:10:04: Im Kern ist es so, In NADn gibt es einen sehr mächtigen Node Das ist der AI Agent node.

00:10:17: Dieser Node wird ausgestattet mit verschiedenen Tools Und also sozusagen weiteren Fähigkeiten.

00:10:26: die werden als Tools bezeichnet die man so einem Note dann zur Verfügung stellt.

00:10:31: das wichtigste is dass so ein Agent, AI-Agent-Node nachdenken kann.

00:10:38: Das heißt man kann hier einfach einen x-beliebiges LLM verknüpfen und wir haben ja jetzt einfach Opus vier Punkt acht verknüpft.

00:10:46: Es läuft in unseren eigenen LLm Credits oder Token Credits und performt so wie man sich das vorstellt.

00:10:57: Dann haben wieder die Vektordatenbank dran gehängt aus die eine Superbase Datenmarkt liegt Und wir haben diese Analyse-Schritte, die ich eben kurz vorgestellt habe.

00:11:10: Also sozusagen die Schönsignale, die Painpons und so weiter... Das sind technisch gesehen auch eigene Tools, die an diesem Note hängen.

00:11:18: Und das heißt immer dann wenn ich hier unten in dieser Chatbox, wo ich gleich was eintragen kann Wenn ich hier anfange zu tippen Dann weiß dieser Agent okay warte mal!

00:11:31: Das muss sich jetzt erstmal dem LLM geben diesem Note hier, dem Chat-Model.

00:11:38: Und das weiß dann wiederum Bescheid über die verschiedenen Tools, die zur Verfügung stehen und kann dann zum Beispiel nachgucken, okay welche von den Calls aus dem März, es hat einen Sprechentor in Churnscore, holt sich diese Liste?

00:11:56: Die ist auch richtig, die stimmt!

00:11:58: Jedes Mal wenn ich frage, ist sie wieder die gleiche

00:12:00: Liste?!

00:12:02: Und dann, wenn man sagt ja ich geb mir dazu bitte auch Beispiele.

00:12:06: Dann weist das LLM dass es die wiederum aus der Vektordatenbank bekommt weil da liegen ja die Texte so.

00:12:14: und dann kann es sagen hier sind übrigens die zwölf Gespräche in den Churnscore über sieben war und das sind die Signale die mich dazu oder die uns dazu bewogen haben das auf dem Niveau von sieben acht neun oder zehn einzuordnen.

00:12:29: So, dann hat man da die Beispiele und kann dann sagen okay es verstehe ich das richtig oder meine wegen auch Missverständnis.

00:12:35: Oder naja ja ist kein tolles Signal aber so ein kritisches ist jetzt auch nicht so.

00:12:39: Da kann man damit umgehen wie man möchte.

00:12:41: Das ist so.

00:12:42: erstmal das Grundsetup.

00:12:43: Und dann ist natürlich die Frage was mache ich jetzt draus?

00:12:47: Ich hatte ja gesagt man kann hier unten Die Fragen reinstellen da die Laufzeiten ein bisschen Teilweise ein bisschen daran habe ich welche vorbereitet damit wir jetzt nicht irgendwie dreißig Sekunden, sechzig Sekunden oder vielleicht auch mal zwei Minuten auf dem Bildschirm schauen müssen und zu warten.

00:13:05: Also was ich hier einmal gemacht habe ist Folgendes Ich hab zum Beispiel diesen, genau diesen Churncase Hier schon einmal vorbereitet.

00:13:17: Gibt mir eine Übersicht über alle Quals mit hohem Churn-Signal aus dem März zwanzig sechsundzwanzig Verwende weder Namen noch Firmennamen Genau weil die hier natürlich nicht unsere Personenbezogenen Informationen zeigen können.

00:13:30: Aber das ist jetzt die Frage, die hier als super einfacher Prompt an diese Datenbanken geht.

00:13:39: und dann kommt hier ... ich habe da jetzt mal so ein bisschen hier die Fenster... Dann kommt hier die Übersicht von den verschiedenen Situationen, von den verschiedene Calls in denen dann die entsprechenden höheren Chains go gefunden wurden und wo dann auch jeweils hier die Erläutung mit dazu kommt, wie so denn so ein Schoen Score aufgegeben wird.

00:14:06: Und wenn man sich das ansieht... Das sind wirklich zutreffende Einschätzungen.

00:14:11: Es ist immer hart da jetzt durchzugucken, dann zu sagen ah nein, das ist ja auch noch, oh Gott!

00:14:16: Das Problem aber insofern so ist es halt nicht alles läuft immer glatt.

00:14:19: Wir haben zwischendurch zwischen sechs und sieben tausend Kunden.

00:14:25: Natürlich gibt es leider Situationen, wo auch ein Trendrisiko besteht.

00:14:28: Das ist Teil unseres Geschäftsmodells und umso wichtiger natürlich dass man sich damit auseinandersetzt und hier kann man das auf einmal strukturieren tun.

00:14:36: Cool!

00:14:37: Genau und so kann man dann hier durch die verschiedenen Calls durchgehen.

00:14:42: Und das ist nur einer von vielen Newscases.

00:14:44: ich habe noch mal einen weiteren vorbereitet.

00:14:48: Hier wäre dann zum Beispiel die Frage nach dem professionellen Closing.

00:14:55: Wenn man so möchte Handwerkszeug und natürlich etwas wo man, wenn man sieht hier sind irgendwie immer wieder Schwierigkeiten professionelles Closing zu machen dann ist das etwas, wo man einfach sagen kann okay wir machen einfach mal ein Training mit den Leuten die es noch nicht so beherrschen.

00:15:10: Das ist keine Rocket Science.

00:15:12: Sobald wir sehen können wir Leuten helfen Und ich meine dass ist eine Sache wo dann auf einmal Nichts mehr verloren geht, weil die Leute einfach sauber das Dosing machen, sauber es voll ab.

00:15:20: Die Dinge sind dann irgendwie im CRM als Task drin und so weiter ist gut.

00:15:24: So!

00:15:24: Und hier war auch ganz einfacher prompt eine Übersicht über das Professionale Closing und zeigt bitte auf welchen Personen aus dem Team besonders viele gute Closings zu verzeichnen sind?

00:15:36: Ich hab's mal genau anders rum geschaut.

00:15:38: ja also wir haben ein gutes Roll-Model quasi im Team.

00:15:43: Ups sorry ich ziehe den Ich ziehe das Chat von zwar wieder ein bisschen auf, dass uns besser sehen kann.

00:15:50: Und hier kann man jetzt sehen wie wir schauen hier wieder auch auf den März.

00:15:55: Besonders gute Closings waren es von dreißig Stück und hier kann nun sehen welche Kollegen jetzt hier natürlich mit Platzhaltern da wir performt haben oder dann wieder an dieser Liste auftauchen.

00:16:07: Da wird noch kurz gezeigt wieso die Einschätzung so ist und man kann natürlich ja auch in die Tiefe gehen und sagen geht nochmal hier verein was ist hier mit Mitarbeiter in A?

00:16:17: Gibt mir mehr Beispiele, wie sind die Gespräche aufgebaut und so weiter.

00:16:21: Das sind alles Dinge, die man jetzt natürlich dann aus der Chat-Datenbank ziehen könnte.

00:16:26: Sehr sehr spannend!

00:16:28: Und das hast du alles in ein paar Tagen zusammengecheckt ohne vorher mit NRN zu arbeiten oder irgendwie entwickeln zu können?

00:16:38: Genau, das ist wirklich mit der Hilfe von Claude.

00:16:41: Also mit NRL hatte ich vorhin schon ein wenig gearbeitet.

00:16:45: Ich bin vertraut mit diesen Workflow-Tools grundsätzlich, also mein Hintergrund ist ich mache seit zwanzig Jahren Data Science und insofern kenne mich gut aus mit Daten.

00:16:55: Ich weiß wie man Daten von A nach B bringen die sie vorbereitet werden müssen und darauf analysieren kann.

00:17:00: das sind Dinge die mir sozusagen sehr leicht fallen in diesem Kontext.

00:17:04: aber ich kann nicht entwickeln.

00:17:06: das habe ich nie getan und ich bin auch kein NADN Profi.

00:17:11: Claude natürlich kann das.

00:17:13: Im Zweifel hat Claude das im Gedächtnis, wenn man sagt bitte recherchier das in den Docs in der Dokumentation dann ist es danach auf jeden Fall treffsicher.

00:17:21: also schon irre was darauf einmal für so ein Enablement dann auf einmal passiert er.

00:17:29: Also muss ja echt sein es wäre sonst nicht da wir hätten doch sonst nicht.

00:17:33: Und mit Daten, wie ist da so deine Erfahrung?

00:17:37: Also wir hatten einen Gast der hat sich darüber lustig gemacht das Open AI nicht rechnen kann.

00:17:43: Der hat eine Applikation gebaut in dem Bäume gezählt werden und dann den Warenkorb gehen und dann wird ein Bild generiert mit fünf Bäumen.

00:17:54: aber das Tool sagt es sind sieben.

00:18:00: die witzigsten Fehler oder Sachen, die du so in den letzten Monaten erfahren hast.

00:18:06: Wenn du so ein bisschen als Data Scientist auf die ganzen Tools guckst?

00:18:10: Ja also ich meine diese Beispiele klar... Die sind echt zum Teil ja erschütternd!

00:18:17: Also wenn man denkt es kann nicht dein Ernst sein.

00:18:20: Vielleicht das verrückteste Beispiel war dass sich schon meine zehnjährige Tochter Fünf Zettel machen wollte, wohne eins, ne zwei, ne drei, ne vier, ne fünf drauf sind.

00:18:31: Und ich wollte so einen bestimmten Format haben, bestimmte Grafik und das Ding hat mir fünf Zetteln erstellt auf fünf PDFs also fünf in einem Ding und stand ein, zwei, drei, fünf, fünf drauf.

00:18:44: Das ist nicht dein Ernst ja?

00:18:47: Aber das war auch noch vor den neuen Opusmodellen.

00:18:53: Insofern, da ist glaube ich viel geschehen.

00:18:55: Das muss man auch sehen.

00:18:56: also ich glaube diese Beispiele Mein fühles hier sind deutlich deutlich zurückgegangen.

00:19:02: das sind in den neueren Modell generationen kommt dass sehr viel weniger vor.

00:19:06: Dennoch bleibt es ein Problem und Ich glaube an das ist das ist ja auch das was wir hier in diesem Beispiel mit unseren Transkripten sehen.

00:19:14: ich glaube dass es sinnvoll ist wenn man wirklich Ganz zuverlässig und konsistent auf harte Informationen zugreifen möchte Dann macht es Sinn, darüber nachzudenken wie man das in ein anderes Format bringt.

00:19:27: Damit man nicht dem LLM sozusagen zur Laufzeit dann überlässt zu entscheiden ob das jetzt gerade fünf oder sieben Bäume sind.

00:19:35: Sondern dazu gibt's halt.

00:19:37: also wir haben das bei den Transkripten.

00:19:39: Das hätte ich am Anfang kurz erläutert.

00:19:43: Es ist immer so wenn wir die Transkrifte einlesen Neues Transkrip kommt rein Wir lesen es ein Denn lesen wir halt nicht nur den Text ein sondern wir holen halt diese anderen Signale strukturiert raus, sodass wir dann eben so was wie den Churnscore in einer SQL-Datenbank liegen haben.

00:20:01: Und auf einmal wird es halt möglich, dann sicher, konsistent und wirklich akkurat die immer gleiche Information rauszuholen.

00:20:12: Das muss man sich hier nach UseCase angucken, wie man diese Probleme löst.

00:20:16: also... Man kann es nicht einfach alles einem LLM überlassen, das geht nach wie vor nicht sicher.

00:20:24: Und ist tatsächlich auch zu teuer.

00:20:25: also ich mein... Das brennt einem die Token weg.

00:20:30: Da würde ich gerne mit tiefer drauf eingehen.

00:20:33: Siehst du irgendwie da in den kommenden Monaten dass ihr auf Open Source Modelle rübergeht?

00:20:40: Einfach um Kosten zu sparen?

00:20:42: Also man kann ja sehr schnell Sachen bauen, aber irgendwann wird es halt einfach teuer.

00:20:51: Das ist so.

00:20:54: Wir haben das natürlich sozusagen unser Glück als Software-Unternehmen.

00:21:00: Wir hatten eine eigene interne Applikation gebaut die wir LLM Gateway nennen, die wiederum setzt auf Open Router auf, die ja ich glaube zurzeit knapp sechshundert verschiedene Modelle anbieten die weiterhin aber ja sozusagen in der Cloud verfügt sind.

00:21:17: Das heißt, es ist weiterhin sehr schnell und man muss sich nicht um eigene Server kümmern

00:21:20: usw.,

00:21:21: weil das... dass wir so zu meinem Self-hosting.

00:21:24: dann ja das Problem, das wäre sozusagen das extreme Ende, dass man sagt ich lege ein Open Source Modell auf einen eigenen Server, so dann kommen andere Kosten auf einmal ins Spiel was wir halt dadurch machen können ist, dass wir insbesondere die Prozesse, die immer wieder laufen, die Token intensiv sind, die kennen wir natürlich so dann effizienter gestalten, dass wir testen welches Modell ist noch gut genug um das genau zu erreichen was wir benötigen.

00:21:51: Und dann kann man tatsächlich Stück für Stück wie sich runtertesten.

00:21:55: zu den günstigeren Modellen.

00:21:57: und wenn ich einfach nur aus einem so einem Gespräch mitnehmen möchte ob das ein positiver oder negativer Verlauf war dann geht es wahrscheinlich sogar noch mit ChatGPT.

00:22:09: Das ist super schnell, es kostet so gut wie gar nichts.

00:22:11: Wenn ich Opus hier Punkt acht drauflaufen lasse oder meine wegen Fable dann... Ich habe jetzt nicht den Kostenfaktor zwischen den alten Modellen und denen angeschaut aber ansonsten gehört wahrscheinlich mal Faktor tausend.

00:22:25: Und das wird dann schnell so teuer dass sich die UseCase nicht lohnen.

00:22:31: Also so schön sie sind!

00:22:34: Andere Workflows jetzt hast du irgendwelche schnellen Hecks noch, lässt du dir von Claude schon die E-Mails zusammenfassen oder also ich hatte einen Gast.

00:22:46: Ich glaube die Folge ist noch gar nicht veröffentlicht.

00:22:48: Wer meinte so ja er setzt sich halt morgens hin gibt Claude seine Aufgaben und dann guckt er in der Mittagspause nochmal rüber und gibt andere Handlungsempfehlungen oder Aufgaben Wie ein Team eigentlich und guckt irgendwie dreimal am Tag drüber.

00:23:10: Und dann lässt es wieder weiter arbeiten.

00:23:13: Ja, das finde ich total faszinierend solche Geschichten zu hören.

00:23:18: Ich habe mir sowas immer wieder auch mal experimentiert.

00:23:20: Ich sehe das für meine Use Cases wie das was ich so im tag mache leider nicht so mächtig oder ich hab's noch nicht geschnallt auch möckeln.

00:23:29: Was ich denke, was für mich persönlich der größte Hebel war in den letzten Monaten und das glaube ich sehr vielen auch weiterhelfen kann ist tatsächlich zu gucken ob ich einen MCP-Zugang zu den Produkten auch habe.

00:23:43: Also zum Beispiel auch zu diesem Transkript Thema hier.

00:23:46: Ich hab natürlich angefangen hat damit zu arbeiten.

00:23:51: Habe ich immer in NNN den Workflow selbst gebaut von dem Workflow einfach bei Cloud reinkopiert.

00:24:03: Auch das natürlich total tokenintensiv, man hätte auch das JSON rauskopieren und rein und raus kopieren können.

00:24:10: Das wäre auch gegangen aber das ist natürlich irgendwie nicht frictionless.

00:24:16: jetzt ist es so dass man aber auch über Cloud direkt sozusagen in NNN arbeiten kann weil's ein MCP Server auf der NNSN Seite gibt.

00:24:26: und auf einmal Arbeit ich eigentlich gar nicht mehr in der Oberfläche von NNM, sondern... Ich sag' ey!

00:24:31: Ich brauch folgendes.

00:24:33: Ich brauche folgende Workflow Wie würdest du den bauen?

00:24:37: So Dann lass mich mir erst mal erklären wie das, äh, wie klar das bauen würde.

00:24:40: dann würde ich verändern.

00:24:41: Dann ändere ich vielleicht noch zwei drei Dinge und dann sage ich alles da jetzt bau das Ding Und dann dauert es tatsächlich vielleicht zehn Minuten Und dann ist der workflow fertig und.. Ich hab den nicht angelegt, ich habe keinen einzigen Not rein gelegt oder irgendwas getan.

00:24:55: Es ist einfach da und Das sind Dinge.

00:25:00: Also ich kann das gar nicht als Faktor bezeichnen, aber das ist... Auf einmal brauche ich noch vielleicht bis das Ding wirklich steht.

00:25:06: Eine Stunde während es sonst wahrscheinlich was wäre, was mich über Tage verfolgen würde, bis es wirklich soweit ist und das ist für mich ein krasser Game Change weil auch der Mental Load dadurch so viel kleiner ist.

00:25:22: Das heißt von diesen großen Schritten kann ich einfach mehr machen als es mir sonst möglich gewesen wäre.

00:25:29: Und das sehe ich jetzt immer mehr, dass die MCP Use Cases bei den verschiedenen Produkten wirklich gut funktionieren mittlerweile.

00:25:37: Das muss man sich glaube ich für die Produkte mit denen man arbeitet jeweils genau angucken.

00:25:41: aber das ist echt ein Versuch wert und ich glaube das wird von vielen Leuten noch unterschätzt.

00:25:44: alle haben das mal gehört MCP.

00:25:46: aber damit wirklich mal zu arbeiten wenn das gut angebunden ist ist wirklich krass.

00:25:53: Wow Björn!

00:25:54: Vielen herzlichen Dank fürs Teilen.

00:25:57: Ja, finde ich es immer spannend wenn hier so schön per Screenshot alles gezeigt wird.

00:26:05: Wenn ihr auch hier präsentieren wollt bewerbt euch einfach auf tokenmate.ai-demo.

00:26:13: bis zur nächsten Folge am Dienstag oder Donnerstag!

00:26:16: Bis dann!

00:26:17: Peace.

Neuer Kommentar

Dein Name oder Pseudonym (wird öffentlich angezeigt)
Mindestens 10 Zeichen
Durch das Abschicken des Formulars stimmst du zu, dass der Wert unter "Name oder Pseudonym" gespeichert wird und öffentlich angezeigt werden kann. Wir speichern keine IP-Adressen oder andere personenbezogene Daten. Die Nutzung deines echten Namens ist freiwillig.