---
title: "SQuaD-SQL: Efficient Text-to-SQL with Small Language Models via LLM-Guided Knowledge Distillation"
source: https://arxiv.org/abs/2607.08161v1
plattform: youtube
channel: cs.CL
duration_seconds: None
thema: Text-to-SQL SLM Knowledge Distillation
nutzen: "Referenz-Blueprint fuer ressourcenschonende, lokal deploybare NL->SQL-Uebersetzung via SLM-Distillation."
umsetzungsidee: ""
prioritaet: P2
klassifikation: Brain-Entry
confidence: 0.72
status: aktiv
tags: [text-to-sql, knowledge-distillation, small-language-models, peft, synthetic-data, efficiency, wikisql, akp, video, auto-ingested]
date: 2026-07-11
akp_run: kar-74
---

# SQuaD-SQL: Efficient Text-to-SQL with Small Language Models via LLM-Guided Knowledge Distillation

**Channel:** cs.CL · **Dauer:** 0 min · **URL:** https://arxiv.org/abs/2607.08161v1

## Kernaussage
SQuaD-SQL zeigt, dass kleine Sprachmodelle (SLMs) via LLM-gestuetzter Knowledge Distillation und synthetischer Datengenerierung 86.9% Execution Accuracy auf WikiSQL erreichen und damit LLM-Niveau bei deutlich geringerem Ressourcenbedarf annaehern. Kern-Pipeline: LLM-Synthese-Daten + parameter-effizientes Fine-Tuning (single consumer GPU) + domain-adaptives Fine-Tuning.

## 7-Punkt Praxisanalyse
### 1. Was koennen wir lernen?
Ein dreistufiges Rezept fuer effizientes Text-to-SQL mit SLMs: (1) synthetische Trainingsdaten aus einem LLM via Prompting extrahieren, (2) PEFT/LoRA-artiges Fine-Tuning auf einer einzelnen Consumer-GPU, (3) domain-adaptives Nachtraining fuer Zieldomaenen.

### 2. Wie koennen wir es einsetzen?
Fuer KADi-Datenbank-Abfragen oder MRR-Reporting koennte ein lokal gehostetes SLM natuerlichsprachige Fragen in SQL uebersetzen, ohne teure LLM-API-Calls pro Query. Distillation-Pipeline einmalig gegen KADi-Schema-spezifische synthetische Daten fahren.

### 3. Konkreter Vorteil fuer Aria / KADi / Supplier Pulse / Workflow / Tools?
Datenschutz + Kostenreduktion: SQL-Generierung laeuft lokal/on-prem statt via externem LLM; niedrige Latenz und Speicherverbrauch machen eine dauerhafte Integration realistisch statt nur Prototyp.

### 4. Was koennen wir dadurch besser machen?
WikiSQL ist ein simples Single-Table-Benchmark — fuer echte KADi-Schemata mit Joins, Nested Queries und Multi-Table braucht es Spider/BIRD-Niveau. Domain-adaptive Stage mit echtem KADi-Schema und Value-Grounding erweitern.

### 5. Lohnt sich die Umsetzung — warum?
Lohnt als Referenz-Blueprint fuer effiziente Text-to-SQL, aber nicht als sofortiges Build — die Methode ist inkrementell und das Benchmark (WikiSQL) zu einfach fuer produktive Aussagekraft.

### 6. Naechste Schritte
1. Pruefen ob KADi/MRR ueberhaupt einen NL->SQL-Bedarf hat. 2. Falls ja, Spike gegen Spider/BIRD statt WikiSQL. 3. Distillation-Kosten (LLM-Synthese) gegen einfaches Few-Shot-Prompting benchmarken.

## Kritik (Pflichtfeld)
Benchmark WikiSQL ist 2026 stark ueberholt und trivial (Single-Table, keine Joins) — 86.9% Execution Accuracy sagt wenig ueber reale Datenbanken aus. Die drei 'key components' (synthetische Daten + PEFT + domain-adaptive FT) sind seit Jahren Standard-Praxis, keine Innovation. Kein Vergleich gegen state-of-the-art SLM-SQL-Ansaetze, keine Spider/BIRD-Zahlen, keine Angabe welches SLM/welche Groesse. Redundant zu bereits vorhandenen Brain-Notes (Tahoe text-to-SQL, on-policy distillation). Reines Rezept-Paper ohne belastbaren Erkenntnisgewinn.

## Multi-Level-Challenge (inline, KAR-72)
**Devils-Advocate:** Das Paper validiert nur auf dem veralteten WikiSQL-Benchmark und liefert keinen Vergleich zu modernen SLM-SQL-Baselines — die Methode ist Standard-PEFT+Distillation ohne neuen Beitrag, ein Build daraus waere verschwendete Zeit.

**Steel-Man:** Die konkrete Zusammenstellung 'single consumer GPU + domain-adaptive FT + LLM-Synthese' ist ein direkt uebertragbares, kostensparendes Blueprint fuer datenschutzkritische on-prem NL->SQL-Faelle, das teure LLM-API-Abhaengigkeit eliminiert.

**Synthese:** Refine: Als Brain-Entry aufnehmen und mit den bestehenden Text-to-SQL-Notes clustern; nur bei konkretem KADi-NL->SQL-Bedarf zu einem Spike gegen Spider/BIRD hochstufen. Kein Auto-Issue.

## Adversarial-Critic (separater Call, Cross-Model, KAR-747)
**Verdict:** refine · **Confidence:** 0.81 · **Halluzinations-Risiko:** low

**Urteil:** Analyse ist sachlich sauber und selbstkritisch, aber die eigene Kritik widerlegt den zugewiesenen Wert — bei 'Standard-Methoden + veralteter Benchmark + redundant zu bestehenden Notes' ist Ignore die konsequente Klassifikation, nicht Brain-Entry P2.

**Korrigierte Klassifikation:** Ignore
**Schwaechen:**
- Die Kernaussage ist korrekt extrahiert, aber 'PEFT/LoRA-artig' steht nicht im Transcript — das Paper sagt 'parameter-efficient fine-tuning', LoRA ist Interpretation/Uebertragung des Generators, nicht belegt.
- Praxisanalyse projiziert KADi-spezifische Anwendungsfaelle (MRR-Reporting, KADi-Datenbank-Abfragen) auf ein Paper, das keinerlei Bezug zu KADi hat — das ist Extrapolation, nicht Ableitung aus dem Transcript.
- Confidence 0.72 ist angesichts der duennen Transcript-Basis (nur Abstract) zu hoch angesetzt — kein Methodenteil, keine Architektur-Details, kein Vergleich zu Baselines im vorliegenden Text.
- Die Klassifikation 'Brain-Entry' ist vertretbar, aber die Kritik des Generators widerlegt den Nutzen fast vollstaendig (veralteter Benchmark, Standard-Methoden, kein SLM genannt) — 'Ignore' waere konsistenter mit der eigenen Kritik.
- Prioritaet P2 steht in Spannung zur Eigendiagnose 'redundant zu bestehenden Brain-Notes' und 'kein belastbarer Erkenntnisgewinn' — P3 oder Ignore waere kohaerent.
- Der Generator benennt kein konkretes SLM und keine Modellgroesse, weil das Transcript diese Information nicht liefert — trotzdem wird eine 'direkt uebertragbare Blueprint'-Aussage gemacht, die ueber das Belegbare hinausgeht.
- WikiSQL-Kritik (Single-Table, ueberholt) ist sachlich korrekt und gut, aber haette zur Empfehlung 'Ignore' fuehren muessen statt zu Brain-Entry P2.

## Cross-Reference (Brain-Match)
- [[2026-06-12-csai-tahoe-text-to-sql-with-automated-hint-op]] (score 503.41)
- [[2026-05-29-cscl-self-improving-language-models-with-bidi]] (score 357.356)
- [[2026-07-08-cscl-multi-turn-on-policy-distillation-with-p]] (score 262.517)

## Klassifikation: **Brain-Entry** · Prioritaet **P2** · Confidence **0.72**

---
*Auto-generated by aria-akp-deep.py · cost $0.1852 · 2026-07-11T04:26:54.301803+00:00*