Lokale Large Language Models (LLMs) - Installation, Nutzung & Code-Integration
Folge mir auf / gregorbiswanger
Komm zur Community auf / discord
Unser Fan-Shop auf http://my-coding-zone.de
In diesem Live-Stream werden wir die vielfältigen Anwendungsmöglichkeiten lokaler Large Language Models (LLMs) erkunden, mit einem besonderen Fokus auf ihre Installation und Nutzung direkt auf dem eigenen Rechner. Ziel ist es, aufzuzeigen, wie diese leistungsfähigen Tools nicht nur für die Textverarbeitung genutzt werden können, sondern auch um Aufgaben direkt auf dem Computer zu erledigen. Wir werden die einfache Installation und Konfiguration dieser Modelle demonstrieren und die Bandbreite ihrer Anwendungsmöglichkeiten von der einfachen Textgenerierung bis hin zum Erreichen von Aufgaben auf dem Computer aufzeigen.
Ein weiterer Schwerpunkt des Vortrags ist die Erklärung, wie lokale LLMs mit dem Microsoft-Ansatz zur Ausführung von LLM-Code-Plugins integriert werden können. Dieser Ansatz ermöglicht es, dass lokale LLMs nicht nur für textbasierte Anwendungen genutzt werden, sondern auch komplexere Funktionen, wie die Ausführung von Code, übernehmen. Dabei wird insbesondere auf das Konzept des Semantic Kernel eingegangen, welches die Grundlage für diese fortgeschrittenen Anwendungen bildet.
Der Semantic Kernel-Ansatz von Microsoft ermöglicht es, die Fähigkeiten von LLMs durch spezielle Code-Plugins zu erweitern und damit eien neue Form von Aufgabenorchestrierung zu ermöglichen. Wir werden diskutieren, wie diese Plugins entwickelt und in die LLM-Umgebung integriert werden können (lokal oder serverless in der Cloud), um maßgeschneiderte Lösungen für spezifische Anforderungen zu schaffen.
Unser Gast: Thomas Tomow. Als Microsoft MVP für Azure trägt Thomas Tomow zur Community bei, die sich mit modernen Technologien rund um die Cloud beschäftigt (z.B. Host für Azure Meetup Konstanz oder Azure Meetup Stuttgart). Er arbeitet bei Xpirit in Deutschland als Chief Technology Officer (CTO) mit Kompetenzen in DevOps (agil), Cloud und IoT. Als Ausgleich betreibt er gerne Karate und tauscht sich mit Gleichgesinnten über seine Erfahrungen und sein Wissen aus.
▼ ▼ ▼ Timestamps ▼ ▼ ▼
[00:00:00] Countdown
[00:02:05] Willkommen
[00:19:57] Ankündigung von Entwicklerkonferenzen
[00:22:00] Interaktive Umfrage
[00:30:52] Implementierung von LLMs: Fine Tuning und Embedding
[00:34:37] LangChain und Vektoren für Textverarbeitung
[00:39:50] Nutzung von Vektoren für Daten- und Modellsuche
[00:41:14] Feinabstimmung von LLMs mit eigenen Daten
[00:45:36] KI in der täglichen Arbeit und Zukunftsprognosen
[00:48:26] Bing Chat und Microsoft Copilot
[00:51:55] Retrieval Augmented Generation (RAG) für Dokumentensuche
[00:55:42] Integration von vektorbasierten Datenbanken
[01:00:00] Unternehmen und LLMs auf dem Markt
[01:07:23] OpenAI Studio und Microsoft Modellkatalog
[01:09:56] Hugging Face Plattform
[01:12:01] Integration von Sprach- und Vision-Modellen für Roboter
[01:17:40] Lokales Ausführen von LLMs
[01:24:06] Code-spezifische Modelle wie Deep Code
[01:32:01] Open Interpreter Projekt
[01:36:57] Nutzung von Chat GPT und Browser-Interaktion
[01:52:57] Nutzung des lokalen LLM mit Interpreter API
[02:03:02] Strategische Überlegungen zu Agenten-basierten Ansätzen
[02:07:46] Rabbit R1 Hardware-Tool
[02:15:18] Herunterladen und Anpassen von Modellen im LM Studio
[02:26:27] Hardware-Einstellungen und GPU-Nutzung
[02:33:07] Training von Modellen mit Datenbanken
[02:35:56] Semantic Kernel von Microsoft
[02:38:00] Verwendung eines lokalen Modells für Anfragen
[03:00:00] Auswirkungen von KI auf Wissen und Denken
[03:14:00] Lokale Vision-Modelle in LM Studio
[03:21:55] Technische Probleme bei der Installation von Interpretern
[03:24:02] Roboter-Experiment
[03:35:20] GPU-Lanes und mathematische Verarbeitung
[03:38:00] Lokale LLMs für Bildgenerierung
[03:42:06] GPT-4 im Vergleich zu anderen Modellen
[04:00:01] Compiler-Plugins und Code-Integration
[04:12:14] Erstellen eines neuen Projekts
[04:27:08] OpenAI Playground vs. Copilot Chat
[04:38:35] Teilen von Code auf GitHub und RAG
[05:00:07] Chunking und Dokumenteninformationen
[05:08:24] Lchain für Chunking und Vektorisierung
[05:22:02] Semantic Kernel und ChatGPT als Datenbank
[05:31:20] Lokale Modelle und OpenAI Integration
[05:33:33] Quizspiel
[05:50:24] Automatisierte Untertitelgenerierung mit GPT-4
[05:52:51] Abschied
✅ Mein Equipment: https://kit.co/GregorBiswanger/gregor...
Folge mir auf / gregorbiswanger
Komm zur Community auf / discord