Nowe modele gpt2!
Dzisiaj udostępniliśmy dwa modele gpt2 trenowane od podstaw. Jeden w architekturze small, drugi w medium. Modele oczywiście dostępne są publicznie na naszym huggingface 😉 Poniżej po dwa zrzuty ekranu z …
Blog
[Q&A] Uczenie GPU/CPU
Q: Jak uruchomić uczenie/inferencję na wybranych GPU? A: Należy uruchomić program z opcją: gdzie 0 i 1 to numery kart graficznych do rozproszonego obliczenia. Q: Jak włączyć/wyłączyć obsługę NVX dla …
Narzędzia do tworzenia modeli word2vec
Fasttext, GloVe…
Błędy podczas uczenia i douczania transformatorów
Chcę wykorzystać trainera do fine-tuningowania ale dostaję komunikat CUBLAS_STATUS_ALLOC_FAILED… Dostaję informację o braku pamięci na GPU pomimo tego, że mam…
[Q&A] Uczenie transformatorów
Q: How to continue training from a checkpoint with Trainer?
Q: How to save only best weights with huggingface transformers?
Ciekawostki o transformatorach
BERT (ang. Bidirectional Encoder Representations from Transformers), to nie głęboka sieć neuronowa! To transformator!
Obsługa plików
W jaki sposób mogę pakować/rozpakowywać katalogi z bardzo dużą liczbą plików?
Słowa w 2D
Tak, to reprezentacja słów z DBpedii w dwóch wymiarach. A właściwie reprezentacja 10 tysięcy losowo wybranych słów z DBPedii.