разве это проблема?

Вы же маленькие еще. Если бы вам было года три, то тут можно было бы говорить о каких-то комплексах и неврозах, а также кризисах...
У нас тоже сосал и перестал...
Я читала, что дети делают это из-за недостатка внимания - это раз
Или так познают мир - это два. Он нашел свою руку, а ее еще и в рот можно, и пососать

Мы не препятствовали и не акцентировали внимание, и он как-то сам перестал это делать.
В маленьком же возрасте у ребенка еще большая потребность сосания для удовлетворения сосательного рефлекса и потребность чувствовать защиту со стороны мамы. Вот мнение психологов по этой проблеме:
"Данные ряда исследований показали, что дети, чья потребность в сосании была слишком резко ограничена, позднее проявляли не только признаки неудовлетворенности, но и таких “дурных” привычек, как обжорство, потребность в пожевывании спички или травинки, навязчивое влечение грызть ногти, почти беспрерывное курение. Таким образом, сосание является тем инстинктом, который нельзя подавить насильно, не вызвав отрицательных последствий."