Avoimesti • jokainen ajo
Tulokset
Yksi tutkimuskysymyksistämme: kuinka paljon oikeaa työtä pieni paikallinen malli saa tehtyä pitkässä ja väljästi kuvatussa tehtävässä?
Mittaamme purria julkisilla vertailuilla samoilla asetuksilla kuin muitakin ohjelmia. Numerot ovat suoraan purrin repositoriosta, otoskoon ja virhemarginaalin kanssa.
| Päivä | Vertailu | Tehtävät × ajot | Tulos | ± | Palkki | Huomio ja lähde |
|---|---|---|---|---|---|---|
| Terminal-Bench 2.1purr 0.5.0+fae8051 | 89 × 1 | 82,0 % | ± 4,1 | Paras julkaistu ajo. Ei aikakatkaisuja, ei virheitä, kustannus 3,84 $. Lähde | ||
| Terminal-Bench 2.1purr 0.5.0+0736578 | 89 × 1 | 80,9 % | ± 4,2 | Yksi aikakatkaisu ja yksi virhe, kustannus 4,52 $. Lähde | ||
| Terminal-Bench 2.0, pikakierrospurr 0.3.1+3dde078 | 20 × 1 | 75,0 % | ± 9,9 | Samat 20 tehtävää versiosta toiseen. Leveä marginaali: vertaa vain toisiin pikakierroksiin, ei täysiin ajoihin. Lähde | ||
| DeepSWE 1.1, keskeytettypurr 0.4.0+bd79ea4 | 48 / 113 arvioitu | 56,2 % | — | Pysäytetty käsin: virhe rajasi purrin 150 askeleeseen 500:n sijaan. Korjattu, uusintaajoa ei ole vielä tehty. Ei vertailukelpoinen. Lähde | ||
| purr bench, omat tehtävätpurr ennen 0.3:a | 9 × 1 | 8 / 9 | — | Ei virallinen. OpenCode samalla mallilla 7 / 9. Tehtävät on kirjoitettu purrin rinnalla, joten yksi tehtävä suuntaan tai toiseen on kohinaa. Lähde |
Kaikki yllä olevat ajot käyttävät rajapintamallia (DeepSeek V4.1 Flash), koska vertailukohdat on julkaistu sillä. Ne kertovat, kestääkö purr julkisen vertailun. Pienten paikallisten mallien tuloksia, joita varten purr on varsinaisesti tehty, ei ole vielä julkaistu.
Muiden ohjelmien rinnalla
Sama vertailu ja sama malli, tulokset tekijöidensä julkaisemina. Tämä ei ole tasainen kilpailu: muiden luvut ovat täysiä ajoja ilman virhemarginaalia, meidän paras yhden ajokerran tulos, ja meidän ajoissamme tehtäväkontin verkko oli auki.
Lue näin: purrin rivin lyhyet solut ovat epävarmuus. Kuusi yhdeksästä julkaistusta tuloksesta osuu sen sisään tai reunalle; kolme parasta (88,0–90,6 %) ovat selvästi yläpuolella. Kaksi tehtävää ei mene nyt läpi keneltäkään (niiden arvioijan Debian-peili on poistunut); muista 87:stä purr läpäisi 73 (83,9 %).
| Ohjelma | Ajot tehtävää kohden | pass@1 | Palkki |
|---|---|---|---|
| DSH Minimal | ei kerrottu | 90,6 % | |
| mini-SWE-agent | ei kerrottu | 90,3 % | |
| Claude Code | ei kerrottu | 88,0 % | |
| Pi | ei kerrottu | 86,1 % | |
| DSH Standard | ei kerrottu | 85,8 % | |
| DSH PTC | ei kerrottu | 85,8 % | |
| OpenCode | ei kerrottu | 85,0 % | |
| Codex | ei kerrottu | 84,1 % | |
| Ante | 5 | 83,9 % | |
| purr meidän, paras yhden ajon tulos | 1 | 82,0 % ± 4,1 |
Ajotapa • laitteisto
Menetelmä
Näin ajot tehdään, jotta tuloksen voi asettaa muiden viereen ja tarkistaa itse.
- Ajaja
- Harbor, sama ajaja kuin julkisilla tulostauluilla. Jokainen tehtävä omassa Docker-kontissaan, purr juuri sellaisena kuin se julkaistaan, ja jokaisen ajokerran commit tallessa.
- Malli
- DeepSeek V4.1 Flash DeepSeekin omalta palvelimelta, ilman varaisäntiä, koska osa niistä ajaa mallia pienemmällä tarkkuudella.
- Asetukset
- Lämpötila 1,0, top_p 0,95, enintään 64k tokenia vastausta kohden, 1M konteksti, 500 mallikutsua ja tehtävän oma aikaraja. Mahdollisimman lähellä DeepSeekin omaa vertailua.
- Pisteet
- pass@1 on läpäisseiden ajokertojen keskimääräinen osuus. Aikakatkaisut ja virheet ovat hylättyjä, kuten tulostauluilla. ± on keskivirhe tehtävien yli.
- Erot vertailuun
- Terminal-Benchissä tehtäväkontin verkko on meillä auki ja DeepSeekin ajoissa kiinni, joten latausta vaativat tehtävät ovat meillä helpompia. Yksi ajokerta tehtävää kohden on epätarkempi kuin täysi ajo, jossa kertoja on useampi.
Laitteisto
Vertailuajot käyttävät rajapintamallia, joten oma kone vaikuttaa lähinnä aikoihin. purr benchin ajot ja paikalliset mallit:
- Suoritin
- AMD Ryzen 9 5900X
- Muisti
- 32 GB
- Näytönohjain
- NVIDIA RTX 4080 (16 GB)
- Käyttöjärjestelmä
- Arch Linux
- Paikalliset mallit
- Ollama
Englanniksi purrin repossa
Muistiinpanot
| Nimi | Muutettu | Kuvaus |
|---|---|---|
| ../ | Repositorion juuri | |
| README.md | Mikä purr on, asennus, tilat ja miksi pienet mallit pärjäävät siinä paremmin | |
| docs/guide.md | Jokainen komento, tila ja asetus | |
| docs/benchmarks.md | Miten purria mitataan: purr bench, keskustelubench ja oikeat vertailut | |
| benchmarks/terminal-bench/README.md | Terminal-Bench: ajotapa ja tulokset versio versiolta | |
| benchmarks/deepswe/README.md | DeepSWE: ajotapa ja keskeytetty ajo | |
| benchmarks/purr-bench/README.md | purr bench: omat pienet tehtävät, ei virallinen | |
| CHANGELOG.md | Muutokset versioittain |
