pLlama3 (8B + 70B) – GenAI dla polskiego
pLLama – wygenerowane za pomocą AI Intro Witajcie! W ostatnim wpisie wspominaliśmy o modelu GenaAI… Tak! Dzisiaj chcemy przedstawić Wam nasz nowy model, a właściwie to rodzinę modeli douczoną na …
Model bi-encodera i cross-encodera
Wstęp Możliwości płynące z wykorzystania modeli generatywnych są ogromne, wystarczy spojrzeć na sukces OpenAI i flagowego produktu ChatGPT. Modele generatywne oparte o architekturę transformers dorównują człowiekowi w zakresie tworzenia contentu, …
Odszumiacz tekstów
Aktualnie świat przetwarzania języka naturalnego został zdominowany przez rozwiązania oparte o modele w architekturze transformers. Różnorodność tych modeli praktycznie zdominowała każdy obszar NLP. Niezależnie jednak od architektury i przeznaczenia mają one …
Ekstrakcyjne QA – nasz model polish-qa-v2
W dziedzinie przetwarzania języka naturalnego stale pojawiają się innowacyjne rozwiązania, które umożliwiają precyzyjne odpowiadanie na pytania w różnych językach. Prezentujemy model polish-qa-v2, który stanowi krok naprzód w naszych badaniach nad …
Nowe modele gpt2!
Dzisiaj udostępniliśmy dwa modele gpt2 trenowane od podstaw. Jeden w architekturze small, drugi w medium. Modele oczywiście dostępne są publicznie na naszym huggingface 😉 Poniżej po dwa zrzuty ekranu z …
[Q&A] Uczenie GPU/CPU
Q: Jak uruchomić uczenie/inferencję na wybranych GPU? A: Należy uruchomić program z opcją: gdzie 0 i 1 to numery kart graficznych do rozproszonego obliczenia. Q: Jak włączyć/wyłączyć obsługę NVX dla …
Narzędzia do tworzenia modeli word2vec
Fasttext, GloVe…
Błędy podczas uczenia i douczania transformatorów
Chcę wykorzystać trainera do fine-tuningowania ale dostaję komunikat CUBLAS_STATUS_ALLOC_FAILED… Dostaję informację o braku pamięci na GPU pomimo tego, że mam…
[Q&A] Uczenie transformatorów
Q: How to continue training from a checkpoint with Trainer?
Q: How to save only best weights with huggingface transformers?
Ciekawostki o transformatorach
BERT (ang. Bidirectional Encoder Representations from Transformers), to nie głęboka sieć neuronowa! To transformator!