Три Language modeling архитектуры — три пространства +4
Публикации с тегом mechanistic interpretability
Как модели упаковывают концепты в многообразия: смотрим на теорию, рушим идеальный мир и ищем кружочки +7
Можно ли пересадить алгоритм из маленькой модели в LLM? Эксперимент с grokking, residual stream и линейной проекцией +5
П維чему нейро考ети дел思ют так +286
Метрика EICS — ищем у трансформера причинное место
Induction Heads на TinyStories: почему простой датасет мешает In-context Learning +1
