Experimentieren mit LLMs zur vollständigen Automatisierung des Datenabrufs
Unser Ziel war einfach: Wir wollten den Datenzugriff vereinfachen. Wir wollten, dass Benutzer Daten abrufen können, indem sie einfach Fragen stellen. Um dies zu erreichen, haben wir verschiedene große Sprachmodelle (LLMs) wie OpenAI, Mistral, Llama2 und Wizardcoder getestet. Wir wollten herausfinden, wie gut jedes davon Anfragen in natürlicher Sprache in SQL-Befehle umwandeln kann.
Benchmarking-Methoden und wichtige Erkenntnisse
Wir haben sowohl API-basierte als auch lokal bereitgestellte Modelle getestet. Unser Schwerpunkt lag darauf, wie genau jedes Modell unterschiedliche Datenkontexte verstehen und SQL-Anweisungen erstellen konnte. Wir haben die Modelle nach ihrer Leistung unter bestimmten Bedingungen gruppiert. Hier ist eine Aufschlüsselung unserer Ergebnisse:SQL-Generierungsbenchmarks für alle LLMsDas Diagramm veranschaulicht die Leistung in wichtigen Testszenarien:
Keine Tabellenstruktur angegeben: Wir haben die Modelle aufgefordert, SQL zu generieren, ohne die Datenstruktur zu kennen.
Mit Tabellendefinitionen: Wir haben Tabellendefinitionen als Leitfaden für die SQL-Erstellung bereitgestellt.
Mit Beispielabfragen und Tabellendefinitionen: Die Modelle erhielten Beispielabfragen zusammen mit Tabellendetails.
Die Leistung jedes Modells in diesen Kategorien gab uns Einblicke in Stärken und Kompromisse und half uns, die Dateninteraktionsfähigkeiten unserer KI zu optimieren. Einige Modelle zeigten hervorragende Ergebnisse bei strukturierten Datenkonfigurationen, während andere sich gut an iteratives „Pilotlernen“ anpassten und sich anpassten, während sie neue Informationen verarbeiteten.
Benchmark-Datensatz
Wir haben eine kuratierte Teilmenge von EDGAR-Aufzeichnungen verwendet, einem detaillierten Datensatz zu finanziellen Offenlegungen von Unternehmen und Einzelpersonen. Mit Daten zu rund 100.000 Unternehmen bot er eine umfangreiche Ressource, um zu testen, wie gut jedes Modell mit komplexen Daten umgeht.
Aufbau einer generativen Benutzererfahrung: Wichtige Erkenntnisse
Im Laufe der Zeit haben sich einige wichtige Erkenntnisse herauskristallisiert, die unsere Denkweise über LLMs und generative KI für Unternehmenslösungen geprägt haben:
LLMs und SQL-Kompatibilität: Durch Benchmarking konnten wir feststellen, wie effektiv LLMs Benutzereingaben in SQL-Befehle übersetzen konnten. Um jedoch eine zuverlässige Genauigkeit zu erreichen, waren kontinuierliche Anpassungen erforderlich, um sicherzustellen, dass die KI mit den vielfältigen Datenstrukturen umgehen konnte, die in großen Unternehmensumgebungen typisch sind.
Adaptives Lernen und Metadaten: Um den Datenzugriff intuitiver zu gestalten, mussten wir die KI in die Lage versetzen, selbstständig Metadaten zu generieren, die die Suche nach Daten erleichtern. Dieser Schritt erforderte, dass die KI dynamisch aus dem Benutzerverhalten lernt – ein zentrales Prinzip bei der Schaffung eines generativen Systems, das mit der Zeit intelligenter werden kann.
Plattformarchitektur zur Unterstützung der Autonomie: Diese Erfahrung hat die Bedeutung des Aufbaus einer flexiblen Architektur unterstrichen. Damit KI Daten autonom abrufen und Benutzerabsichten interpretieren kann, ist eine Plattform erforderlich, die eine Echtzeitanpassung ermöglicht. Dies bedeutete, dass wir unser System mit evolutionären Lernprinzipien im Kern entwerfen mussten.
Einführung in den Wingman SQL Assistant
Diese Erkenntnisse führten zur Entwicklung des Wingman SQL Assistant, einem Tool, mit dem Benutzer mit Daten interagieren können, indem sie einfach Fragen stellen, ohne SQL schreiben zu müssen. Wingman wird derzeit anhand einer Beispiel-Musikdatenbank vorgeführt und ermöglicht es Benutzern, Antworten auf Kennzahlen wie meistverkaufte Titel oder das Kaufverhalten von Kunden zu erhalten – und das alles in natürlicher Sprache. Probieren Sie es selbst ausEntdecken Sie den Wingman SQL Assistant und erleben Sie den Konversationsdatenzugriff aus erster Hand. Besuchen Sie den Wingman SQL Assistantund sehen Sie, wie es Ihre Art, mit Daten zu arbeiten, verändern kann. Sie können SQL-Abfragen für eine Beispieldatenbank einer Musiksammlung anfordern. Sie könnten beispielsweise darum bitten, Ihnen alle Künstler oder alle Kunden und deren gekaufte Songs anzuzeigen.
Unsere Vision teilen: Ein gemeinsamer Schritt in Richtung generative KI
Unsere Arbeit am LLM-gesteuerten Datenabruf ist noch nicht abgeschlossen, hat uns jedoch gezeigt, dass das Potenzial für generative KI in der Unternehmenstechnologie enorm ist. Wir stellen uns eine Zukunft vor, in der KI Daten autonom verwalten und interpretieren und auf Benutzeranfragen präzise und aufschlussreich reagieren kann. Indem wir diese Erkenntnisse weitergeben, hoffen wir, einen Beitrag zur breiteren KI-Community zu leisten und Diskussionen über Best Practices bei der Automatisierung des Datenzugriffs anzuregen.Bei Salesteq entwickeln wir eine KI, die mehr als nur ein Werkzeug ist – sie ist ein Partner auf dem Weg zum Verkauf. Wenn Sie an ähnlichen Herausforderungen arbeiten, laden wir Sie ein, an der Diskussion teilzunehmen, während wir die Grenzen autonomer, adaptiver Intelligenz in Unternehmenslösungen erkunden.
