Methodik des Mobile Device Benchmark Set

Überblick

Das Mobile Device Benchmark Set bezeichnet den aktuellen Satz von fünf Evaluierungen, mit denen wir die Intelligenz von Sprachmodellen messen, die klein genug sind, um auf Mobiltelefonen zu laufen. Dabei wenden wir denselben unabhängigen Evaluierungsansatz an wie überall bei Artificial Analysis.

Statt der ursprünglichen Gewichte in voller Präzision bewerten wir die quantisierten Builds, die Mobiltelefone in der Praxis ausführen. Die Werte hier können daher von den Werten desselben Modells an anderer Stelle auf Artificial Analysis abweichen.

Zulassungskriterien

Wir definieren ein Modell als theoretisch klein genug für Mobiltelefone, wenn es nach der Quantisierung einschließlich des KV-Caches bei 8K Kontext in 8 GB Speicher passt. Der KV-Cache zählt mit, weil ein Modell neben seinen Gewichten auch Speicher für seinen Kontext benötigt, und 8K ist eine bewusst großzügig angesetzte Obergrenze für die Token, die alltägliche On-Device-Aufgaben mit Anweisungen und Tool-Definitionen benötigen.

Auf der Ergebnisseite werden Modelle, die sich qualifiziert haben, aber auf dem ausgewählten Gerät (in der gewählten Quantisierung) nicht ordnungsgemäß liefen, in einer anderen Farbe bzw. einem anderen Muster dargestellt. Das zeigt, dass diese Kombination aus Modell, Quantisierung, Inferenz-Framework und Gerät möglicherweise nicht praktikabel ist.

Wie wir die Evaluationen durchführen

  • Die aktuelle Version verwendet GGUF-Quantisierungen mit 4 Bit (Q4_K_M) oder weniger, ausgeführt mit llama.cpp.
  • Alle Evaluationen laufen mit einem Kontextfenster von 16K Token. Eine Antwort wird durch dieses Fenster und durch das Ausgabe-Token-Limit des Modells begrenzt, je nachdem, was kleiner ist; wir kürzen oder verdichten den Kontext nicht, sodass ein Modell, dem vor seiner endgültigen Antwort die Token ausgehen, bei diesem Versuch als falsch gewertet wird. Dieses Kontextlimit ist im Vergleich zu realistischen Kontextgrenzen auf Mobiltelefonen, die in der Praxis oft unter 4K liegen, großzügig. Zusätzlich enthalten die Benchmark-Ergebnisse ein Zeitlimit von 1 Minute, um die Modellleistung unter einer strengeren Einschränkung zu betrachten; Ergebnisse mit einem Kontextlimit von 64K folgen in Kürze.
  • Jede Evaluation läuft mit 5 Wiederholungen pro Frage und pass@1-Bewertung, mit Ausnahme von AA-Omniscience, das seine 6.000 Fragen in einem einzigen Durchlauf bearbeitet.
  • Modelle, die sowohl einen Reasoning- als auch einen Non-Reasoning-Modus unterstützen, werden in beiden Einstellungen evaluiert und als separate Varianten aufgeführt. Anfangs wird die Abdeckung der beiden Modi nicht für jedes Modell vollständig sein.

Bestandteile des Index

Die erste Version des Benchmark Set besteht aus fünf Evaluierungen, die jeweils unabhängig von Artificial Analysis gemessen werden:

  • BFCL. Tool-Aufrufe auf einer für kleine Modelle ausgewählten Teilmenge von 640 Aufgaben, mit drei gleich gewichteten Aufgabenkategorien.
  • IFBench. Befolgen von Anweisungen mit präzisen, überprüfbaren Ausgabevorgaben.
  • AA-Omniscience. Faktenwissen und Widerstandsfähigkeit gegen Halluzinationen, zu gleichen Teilen aufgeteilt in Genauigkeit und Nicht-Halluzination.
  • GPQA Diamond. Wissenschaftliches Denken auf Graduiertenniveau.
  • MATH-500. Lösen mathematischer Aufgaben.

Diese Evaluierungen wurden ausgewählt, um die Mischung aus Anweisungsbefolgung, Tool-Aufrufen, Wissensabruf und Reasoning abzubilden, die von kleinen Modellen erwartet wird. Sie werden zu einem einfachen Durchschnitt (gleiche Gewichtung) kombiniert, der den finalen Intelligenzwert ergibt.

Wir gehen davon aus, dass sich die Evaluierungen künftig ändern werden, während wir unsere Benchmarking-Praxis für kleine Modelle und Mobilgeräte weiter verbessern.

BFCL

Das Berkeley Function Calling Leaderboard (BFCL) v4 misst, wie gut ein Modell Tools aufruft. Wir führen eine Teilmenge von 640 Aufgaben aus, die so gewählt wurde, dass sie für kleine Modelle aussagekräftig ist, aus drei Kategorien, die jeweils ein Drittel zur BFCL-Wertung beitragen:

  • Multiple (200 Aufgaben): die richtige Funktion aus mehreren verfügbaren auswählen und mit den korrekten Argumenten aufrufen. Bewertet durch Abgleich des Aufrufs mit der erwarteten Struktur.
  • Multi-Turn Base (200 Aufgaben): eine Aufgabe über mehrere Runden der Tool-Nutzung abschließen. Bewertet anhand der Abfolge der Aufrufe und des Endzustands, den sie erzeugen.
  • Irrelevance (240 Aufgaben): erkennen, dass keines der verfügbaren Tools zur Anfrage passt, und ablehnen, statt einen Aufruf zu erzwingen.

Wo wir vom offiziellen BFCL-Aufbau abweichen:

  • Alle Aufgaben stammen aus dem Non-Live-Split, der von den BFCL-Autoren verfasst wurde. Der per Crowdsourcing erstellte Live-Split ist ein Kandidat für künftige Versionen des Benchmark Set.
  • Wir testen ausschließlich natives Function Calling (BFCLs FC-Modus), da Anwendungen Tools typischerweise so an Modelle übergeben. Wir nutzen nicht BFCLs Prompting-Modus, der die Tools im Prompt übergibt statt über die Tool-Schnittstelle der API, und Aufrufe aus der Antwort des Modells herausliest.
  • Wir nutzen das native Tool Calling jedes Modells, wobei das Parsing von llama.cpp anhand des Chat-Templates des Modells übernommen wird, und versuchen nicht, Tool-Aufrufe aus dem Textinhalt zu retten: Ein Tool-Aufruf, den eine Laufzeitumgebung nicht ausführen könnte, gilt als Fehlschlag, so wie in einer echten Anwendung auch.
  • Anfragen laufen über unseren Standard-Provider-Stack statt über BFCLs modellspezifische Handler.

Datensatz: der Non-Live-Split von BFCL v4, entwickelt an der UC Berkeley und gepflegt im Gorilla-Repository.

IFBench

IFBench prüft, ob ein Modell präzise, überprüfbare Anweisungen befolgen kann, etwa Wortzahlen, Formatierungsregeln und Satzumformungen. Es ist enthalten, weil das zuverlässige Befolgen von Anweisungen fast allem zugrunde liegt, was Menschen von kleinen Modellen verlangen.

  • Datensatz: der Single-Turn-Satz von IFBench mit 294 Prompts (allenai/IFBench_test). Die Multi-Turn-Variante verwenden wir nicht.
  • Eine Antwort zählt nur, wenn sie jede Anweisung im Prompt erfüllt (Genauigkeit auf Prompt-Ebene).
  • Antworten werden mit dem offiziellen Code aus allenai/IFBench im Loose-Modus geprüft, der zusätzlichen Text und Formatierung um die Antwort herum toleriert.

AA-Omniscience

AA-Omniscience ist unser eigener Benchmark für Wissen und Halluzinationen: 6.000 Fragen aus 42 Themengebieten, die Wirtschaft, Recht, Gesundheit, Softwareentwicklung, Naturwissenschaften und Geisteswissenschaften abdecken. Er belohnt präzises Wissen und bestraft selbstbewusst falsche Antworten.

  • Öffentliche Teilmenge: ArtificialAnalysis/AA-Omniscience-Public.
  • Jede Antwort wird von einem LLM-Bewerter als richtig, falsch, teilweise richtig oder nicht beantwortet eingestuft.
  • Es trägt zwei gleich gewichtete Komponenten zum Durchschnitt bei. Genauigkeit ist der Anteil korrekt beantworteter Fragen. Nicht-Halluzination ist 1 minus der Halluzinationsrate, wobei die Halluzinationsrate der Anteil der falsch beantworteten Fragen an den nicht korrekt beantworteten Fragen ist.
  • Die Einbeziehung der Nicht-Halluzination ist bewusst gewählt: Von kleinen Modellen wird kein umfangreiches Wissen über entlegene Themen erwartet, aber sie müssen Vertrauenswürdigkeit zeigen, indem sie nicht antworten oder handeln, wenn sie die richtige Antwort nicht kennen.
  • Alle Einzelheiten, einschließlich des Bewertungsverfahrens, stehen im Abschnitt zu AA-Omniscience unserer Methodik zum Intelligence Index.

GPQA Diamond

GPQA Diamond prüft naturwissenschaftliches Reasoning auf Graduiertenniveau mit Multiple-Choice-Fragen aus Biologie, Physik und Chemie.

  • Datensatz: die Diamond-Teilmenge von GPQA, 198 Fragen mit je 4 Antwortoptionen, von den Benchmark-Autoren als hochwertigster Teil des Gesamtdatensatzes ausgewählt.
  • Antworten werden per Regex extrahiert und mit pass@1 bewertet, mit demselben Multiple-Choice-Prompt wie in unserem Haupt-Intelligence-Index (siehe die Prompt-Vorlage).

MATH-500

MATH-500 ist ein Satz von 500 Aufgaben aus Mathematikwettbewerben der Oberstufe über verschiedene Teilgebiete und Schwierigkeitsgrade hinweg.

  • Datensatz: HuggingFaceH4/MATH-500.
  • Die Modelle werden aufgefordert, die Aufgabe Schritt für Schritt zu lösen und das Endergebnis in einer Box anzugeben.
  • Die Bewertung prüft die extrahierte Antwort zunächst symbolisch, sodass äquivalente Formen derselben Antwort übereinstimmen. Bleibt das ohne Ergebnis, entscheidet ein LLM-Gleichheitsprüfer, ob die Antwort der Referenz entspricht.

Inferenz auf Mobiltelefonen

Die Inferenzleistung auf Mobiltelefonen – einschließlich Geschwindigkeit, Latenz und Speichernutzung – wird separat im Rahmen unserer Partnerschaft mit Liquid AI gemessen, wobei die Messungen direkt auf den Geräten erfolgen. Die Messplattform (und der Ergebnis-Viewer) von Liquid AI heißt Pipette.