Ein Large Language Model (LLM) ist ein neuronales Sprachmodell mit Milliarden Parametern, das anhand riesiger Textkorpora vortrainiert wurde. Aktuelle Vertreter: GPT-4, Claude, Gemini, Llama. Im KI-Telefonassistenten generiert das LLM die Antwort, nachdem STT die Anrufer-Aussage transkribiert hat.
Reine LLMs sind ein guter Konversationsmotor — aber kein Wissensspeicher für unternehmensspezifische Inhalte. Praxis: LLM + RAG (Retrieval-Augmented Generation). Das Modell zieht für jede Antwort relevante Dokumente aus einer Wissensbasis, statt sich auf trainiertes Wissen zu verlassen. Das ist aktueller, prüfbar und ohne Fine-Tuning.
Auswahl-Kriterien in Produktion: Latenz (kleinere Modelle für Echtzeit), Sprachqualität in der Zielsprache, Hosting-Region (EU für DSGVO), Kosten pro Token und Halluzinations-Robustheit bei klar abgegrenzten Aufgaben.