RSS

Lokálna AI dospieva: llama.cpp, na ktorom beží AI na bežných počítačoch, vyšiel vo verzii 1.0

Open-source projekt, vďaka ktorému si môže ktokoľvek spustiť jazykový model na vlastnom počítači bez cloudu, sľubuje vývojárom stabilitu. Pre súkromie, školy a firmy v EÚ je to dobrá správa.

Projekt llama.cpp vydal 13. novembra po troch a pol rokoch vývoja svoje knižnice vo verzii 1.0. Rovnaké číslo dostala aj knižnica ggml, na ktorej stojí. Za projektom je tím Georgiho Gerganova, ktorý sa vo februári pridal k platforme Hugging Face.

Čo je llama.cpp

llama.cpp umožňuje spúšťať jazykové modely — aj také, ktoré rozumejú obrázkom — priamo na vlastnom zariadení: od bežného notebooku až po firemný server. Modely „zmenšuje“ (tzv. kvantizácia), aby zabrali menej pamäte, a funguje na procesoroch aj grafických kartách rôznych výrobcov. Podporuje vyše 150 variantov modelových architektúr a je základom mnohých populárnych aplikácií na lokálnu AI. Licencia MIT dovoľuje použiť ho aj v komerčných produktoch.

Čo prináša verzia 1.0

Hlavnou novinkou nie je funkcia, ale sľub. Keďže od llama.cpp závisí čoraz viac aplikácií, autori sa zaväzujú, že zmeny, ktoré by mohli rozbiť nadväzujúce programy, budú odteraz jasne ohlasovať zmenou hlavného čísla verzie. Vydanie zároveň upratalo desiatky zastaraných funkcií a pridalo úspornejšie ukladanie medzivýsledkov v pamäti, čo pomáha pri dlhších textoch. Stabilné verzie sa ľahšie dostávajú aj do bežných inštalačných kanálov — od Debianu cez Homebrew až po Winget vo Windows.

Čo to znamená pre používateľov u nás

Lokálna AI má jednu veľkú výhodu: dáta neopúšťajú váš počítač. Pre školy, úrady, advokátov či lekárov v EÚ to môže výrazne zjednodušiť otázky ochrany osobných údajov podľa GDPR — citlivé dokumenty netreba posielať k americkému poskytovateľovi cloudu. Treba však počítať s obmedzeniami: menšie modely, ktoré bežia na notebooku, sú slabšie než veľké cloudové služby a v slovenčine bývajú výrazne horšie než v angličtine. Pred nasadením na dôležitú prácu sa oplatí vyskúšať viac modelov na vlastných textoch.

Kto si chce lokálnu AI vyskúšať bez programovania, siaha zvyčajne po desktopových aplikáciách, ktoré sú postavené nad llama.cpp.

Prečo je to dôležité

Stabilná verzia 1.0 je signál, že lokálna AI prestáva byť len hračkou pre nadšencov a dá sa na nej stavať aj vážny softvér. Pri rastúcich obavách o súkromie a závislosť od niekoľkých veľkých cloudových firiem to môže byť pre európske firmy a inštitúcie zaujímavá alternatíva.

Zdroje

Tento článok bol pripravený s pomocou umelej inteligencie a pred zverejnením ho skontrolovala redakcia.