Na naszym huggingface udostępniamy szereg modeli:
Oparte o architekturę gpt:
- pierwsza wersja modelu w architekturze small (proponujemy następnika wersję drugą): radlab/polish-gpt2-small
- druga wersja modelu w architekturze small: radlab/polish-gpt2-small-v2
- druga wersja modelu w architekturze medium (pierwsza wersja, ze względu na niską dokładność nie jest już dostępna publicznie): radlab/polish-gpt2-medium-v2
Modele klasyfikacyjne i ekstrakcyjne:
- model do ekstrakcyjnego odpowiadania na pytania z dowolnego tekstu: radlab/polish-qa-v2
- model wykrywający polaryzację informacji z artykułów newsowych, działający na playgroundzie i dostępny na huggingface: radlab/polarity-3c
Modele oparte o architekturę T5
- model w architekturze t5-base do oczyszczania tekstu: radlab/polish-denoiser-t5-base
Modele encoderów:
- bi-encoder do tekstów napisanych polskim językiem (proponujemy nowszą wersję tego modelu opisaną poniżej): radlab/polish-sts-v2
- nowsza wersja bi-encodera, z dużo wyższą korelacją podczas uczenia z uśrednioną warstwą poolingu: radlab/polish-bi-encoder-mean
- cross-encoder do rerankingowania: radlab/polish-cross-encoder
Modele GenAI:
- radlab/pLLama3-8B-creator, model który podaje dość krótkie, konkretne odpowiedzi na zapytania użytkownika;
- radlab/pLLama3-8B-chat – model, który jest wersją gadatliwą, odzwierciedlającą zachowanie oryginalnego modelu meta-llama/Meta-Llama-3-8B-Instruct.
- radlab/pLLama3-70B – chyba największy do tej pory model pl?!
- radlab/pLLama3.1-8B-content: to model po SFT i DPO udziela krótkich i zwięzłych odpowiedzi.
- radlab/pLLama3.1-8B-chat to bardziej gadatliwa wersja modelu (po SFT i DPO), idealnie nadaje się do rozmowy na czacie.
- radlab/pLLama3.1-8B-base-ft-16bit to model pLLama3.18B bezpośrednio po SFT z LoRa.
- radlab/pLLama-L31-adapters-MIX-SFT-DPO eksperymentalny model z transferem warstw adaptacyjnych między modelami.
- radlab/pLLama3.2-1B – model pLLama3.2 w architekturze 1B tylko po fine-tuningu
- radlab/pLLama3.2-1B-DPO model pLLama3.2 1B po fine-tuningu oraz po DPO
- radlab/pLLama3.2-3B – model pLLama3.2 w architekturze 3B tylko po fine-tuning
- radlab/pLLama3.2-3B-DPO to model pLLama3.2 3B po ine-tuningu oraz po DPO
Inne modele, pochodne procesu uczenia:
- tokenizator (fast tokenizer) uczony na dużym wolumenie (ok 30 Gb tekstu w języku polskim): radlab/polish-fast-tokenizer
W oparciu o modele wektorowe word2vec, opracowaliśmy listę podobieństwa semantycznego