Open Source · KI-Forschung
Ein quelloffenes türkisches Sprachmodell, von Grund auf gebaut und trainiert: eigene Architektur, eigener Tokenizer, eigene Gewichte.
Rolle
Entwickler und Maintainer
Kontext
Open-Source-Forschungsprojekt
Zeitraum
2026 — laufend
Plattform
Python · PyTorch · CUDA, Apple Silicon (MPS), CPU
Links
Die Aufgabe
Die meisten türkischen Sprachmodelle sind englischzentrierte Modelle, die mit türkischem Text nachtrainiert wurden. Sie übernehmen einen Tokenizer und eine Architektur, die nie für eine agglutinierende Sprache mit Vokalharmonie und reicher Morphologie gedacht waren. Toprak stellt eine andere Frage: Wie sieht ein Modell aus, wenn Türkisch der Ausgangspunkt ist?
Der Ansatz
Nichts wird aus einem bestehenden Modell nachtrainiert. Das Projekt enthält die gesamte Pipeline: Datensammlung und -bereinigung mit Herkunfts- und Lizenzmetadaten, einen türkischen BPE-Tokenizer mit 32.000 Tokens, einen modernen Decoder-only-Transformer, die Trainingsschleife, Inferenz und eine Evaluationssuite. Türkischspezifische Trainingsziele sind als optionale Zusatzverluste umgesetzt, sodass sich ihre Wirkung in Ablationsstudien messen lässt.
Was gebaut wurde
- 01
Moderne Decoder-only-Architektur
RMSNorm, SwiGLU, Rotary Position Embeddings und Grouped-Query Attention mit KV-Cache.
- 02
Vier Modellgrößen
Konfigurationen von rund 80 Millionen bis 941 Millionen Parametern.
- 03
Türkischer Tokenizer
Ein 32K-SentencePiece-BPE-Vokabular mit Analysen zu Abdeckung, Fertility und Morphologie.
- 04
Türkischspezifische Ziele
Optionale Zusatzverluste für Vokalharmonie, Konsonantenassimilation, Morphologie sowie Silbenmaß und Reim.
- 05
Data Governance & Evaluation
Filter für Qualität, personenbezogene Daten und Duplikate, Herkunftsnachweise und eine deterministische, mehrdimensionale Evaluationssuite.
Das Ergebnis
Toprak ist unter der Apache-2.0-Lizenz veröffentlicht und wird aktiv weiterentwickelt. Code, Architektur und Trainingsprozess sind vollständig offen – mit Anleitungen, um Experimente zu reproduzieren, Tokenizer zu vergleichen und Ablationen durchzuführen.
Nächstes Projekt