ChemBERTa: Large-Scale Self-Supervised Pretraining for Molecular Property Prediction

Графовые нейронные сети и молекулярные отпечатки пальцев являются наиболее частыми подходами предсказанию свойств малых молекул. Однако развитие и повышение доступности инструментов для обработки естественного языка, в том числе трансформеров, позволяет предпринять попытку использования этих методов для предсказания свойств малых молекул с помощью создания модели ChemBERTa. На семинаре мы рассмотрим статью “ChemBERTa: Large-Scale Self-Supervised Pretraining for Molecular Property Prediction“, обсудим применявшиеся методы и сравним результаты авторов с результатами текущих state-of-the-art моделей. Докладчики: Михаил Лебедев.