Слово грифеля может употребляться в 2-х разных значениях:
I. гри́феля — родительный падеж слова грифель
В слове «грифеля» ударение падает на слог с буквой И — грИфеля.
II. грифеля́ — множественное число слова грифель
В слове «грифеля» ударение падает на слог с буквой Я — грифелЯ.