Na naszym huggingface udostępniamy szereg modeli:
Oparte o architekturę gpt:
- pierwsza wersja modelu w architekturze small (proponujemy następnika wersję drugą): radlab/polish-gpt2-small;
- druga wersja modelu w architekturze small: radlab/polish-gpt2-small-v2;
- druga wersja modelu w architekturze medium (pierwsza wersja, ze względu na niską dokładność nie jest już dostępna publicznie): radlab/polish-gpt2-medium-v2;
Klasyfikacyjne i ekstrakcyjne:
- model do ekstrakcyjnego odpowiadania na pytania z dowolnego tekstu: radlab/polish-qa-v2;
- model wykrywający polaryzację informacji z artykułów newsowych, działający na playgroundzie i dostępny na huggingface: radlab/polarity-3c;
Oparte o architekturę T5:
- model w architekturze t5-base do oczyszczania tekstu: radlab/polish-denoiser-t5-base;
Encodery:
- bi-encoder do tekstów napisanych polskim językiem (proponujemy nowszą wersję tego modelu opisaną poniżej): radlab/polish-sts-v2;
- nowsza wersja bi-encodera, z dużo wyższą korelacją podczas uczenia z uśrednioną warstwą poolingu: radlab/polish-bi-encoder-mean;
- semantyczny bi-encoder radlab/semantic-euro-bert-encoder-v1 uczony na przykładach ze Słowosieci, odwzorowuje działaniem relacje semantyczne między znaczeniami polskimi, angielskimi oraz relacje międzyjęzykowe;
- cross-encoder do rerankingowania: radlab/polish-cross-encoder;
Douczona LLama:
- radlab/pLLama3-8B-creator, model który podaje dość krótkie, konkretne odpowiedzi na zapytania użytkownika;
- radlab/pLLama3-8B-chat – model, który jest wersją gadatliwą, odzwierciedlającą zachowanie oryginalnego modelu meta-llama/Meta-Llama-3-8B-Instruct;
- radlab/pLLama3-70B – chyba największy do tej pory model pl?!
- radlab/pLLama3.1-8B-content: to model po SFT i DPO udziela krótkich i zwięzłych odpowiedzi;
- radlab/pLLama3.1-8B-chat to bardziej gadatliwa wersja modelu (po SFT i DPO), idealnie nadaje się do rozmowy na czacie;
- radlab/pLLama3.1-8B-base-ft-16bit to model pLLama3.18B bezpośrednio po SFT z LoRa;
- radlab/pLLama-L31-adapters-MIX-SFT-DPO eksperymentalny model z transferem warstw adaptacyjnych między modelami;
- radlab/pLLama3.2-1B – model pLLama3.2 w architekturze 1B tylko po fine-tuningu;
- radlab/pLLama3.2-1B-DPO model pLLama3.2 1B po fine-tuningu oraz po DPO;
- radlab/pLLama3.2-3B – model pLLama3.2 w architekturze 3B tylko po fine-tuning;
- radlab/pLLama3.2-3B-DPO to model pLLama3.2 3B po fine-tuningu oraz po DPO;
Inne modele, pochodne procesu uczenia:
- tokenizator (fast tokenizer) uczony na dużym wolumenie (ok 30 Gb tekstu w języku polskim): radlab/polish-fast-tokenizer;
W oparciu o modele wektorowe word2vec, opracowaliśmy listę podobieństwa semantycznego.