أَخْبَرَنَا إِسْمَاعِيلُ بْنُ مَسْعُودٍ، وَمُحَمَّدُ بْنُ الْمُثَنَّى، قَالاَ حَدَّثَنَا خَالِدٌ، قَالَ حَدَّثَنَا عُبَيْدُ اللَّهِ، عَنْ نَافِعٍ، عَنِ ابْنِ عُمَرَ، أَنَّ رَسُولَ اللَّهِ صلى الله عليه وسلم كَانَ لاَ يَسْتَلِمُ إِلاَّ الْحَجَرَ وَالرُّكْنَ الْيَمَانِيَ ‏.‏

It was narrated from Ibn Umar: The Prophet used to touch only the Stone and the Yemeni Corner. (Sahih)
Chatper 157. Touching The Two Yemeni Corners