หลวงพ่อฤๅษีฯ ได้เล่าไว้ในประวัติหลวงพ่อปาน ว่า
เวลาหลวงพ่อปานไปหาหลวงพ่อเนียม ก็ไปโดนดีเข้า เข้าไปแล้วเจอะหลวงพ่อเนียมที่ไหน ความจริงหลวงพ่อเนียมก็เดินคว้าง ๆ อยู่กลางวัดนั่นแหละ มีผ้าอาบ 1 ผืนที่ชาวบ้านเขาเรียกกันว่าผ้าขาวม้า แต่ว่าพระนั่นเขาเรียกผ้าอาบน้ำฝนสีเหลือง
แต่ว่าผ้าที่ท่านนุ่งมันไม่เหลือง มันตุ่น ๆ เข้าไปแล้ว มันจะดำ เหลืองหมดไป ขาวก็ไม่ขาว กลายเป็นผ้าดำ ๆ นุ่งแบบชนิดไม่รัดประคดคาดลอยชาย ผ้าอีกผืนหนึ่งแบบเดียวกัน คล้องคอเดินไปรอบวัด มีหมาวิ่งตามเป็นฝูง
หลวงพ่อปานก็บอกว่าเมื่อท่านเห็นน่ะ ก็ไม่รู้ว่าหลวงพ่อเนียม เห็นพระแก่ ๆ ผอม ๆ นุ่งผ้าลอยชายผืนหนึ่ง เอาผ้ามาคล้องคออีกผืนหนึ่ง เดินมีหมาฝูงหนึ่งวิ่งตามไป ท่านก็คุยกับหมาตัวโน้นบ้างตัวนี้บ้าง เดี๋ยวก็ยิ้มกับหมาตัวโน้น ลูบหัวหมาตัวนี้
ท่านก็นั่งดู เอ ว่าพระองค์นี้น่าจะเป็นหลวงพ่อเนียม
ท่านไม่รู้จักนี่ ทำไมหลวงพ่อปานจึงคิดอย่างนั้น ก็เพราะว่าหลวงพ่อปานอยู่กับหลวงพ่อสุ่น ๆ นี่เป็นพระชั้นอ๋องแล้วนะ เป็นพระลืมเกิดแล้ว ท่านสอนหลวงพ่อปานได้ดีทุกอย่าง รู้จนกระทั่งหลวงพ่อปานเคยปรารถนาพุทธภูมินา นี่พระขนาดนี้ก็อ๋องแล้ว แต่ว่าเวลาที่หลวงพ่อปานไปหาหลวงพ่อเนียมน่ะหลวงพ่อสุ่น ต า ย แล้ว
เมื่อหลวงพ่อสุ่น ต า ย หลวงพ่อปานท่านก็บอกว่า ท่านก็ต้องหาที่เกาะต่อไป เพราะหลวงพ่อสุ่นบอกไว้ว่า หลวงพ่อเนียมท่านเก่ง ท่านว่าอย่างนั้น ท่านก็เลยเดา ๆ เอาว่า พระองค์นี้ต้องเป็นหลวงพ่อเนียม
ก็วางกลด วางย่าม ถอดรองเท้า เข้าไปถึงก็กราบ หลวงพ่อปานบอกว่า แทนที่ท่านจะยกมือรับไหว้ กลับจ้องหน้าเป๋ง วาจาที่กล่าวมาเป็นวาจาแรกก็คือ
มึงจากไหนวะ มึงมากราบกูทำไม
หลวงพ่อปานบอกว่า เกล้ากระผมมาจากเมืองกรุงเก่าขอรับ กระผมจะมานมัสการหลวงพ่อ ขอเรียนพระกรรมฐาน
วาจาอีกคำที่ตามมาก็คือ กรรมฐานโ ค ต ร พ่อโ ค ต ร แม่มึงมีที่ไหน กูไม่มีกรรมฐาน คนบ้านนี้เขาหาว่ากูบ้า กูเป็นบ้า กูพูดกับหมู กูพูดกับหมา กูกินข้าวกับหมูกับหมาได้ มึงจะมาเรียนกรรมฐานกับกูยังไง กูไม่รู้กรรมฐานมันเป็นยังไง
ว่าแล้วก็ขับไล่ไสส่งให้กลับวัด หลวงพ่อปานก็นั่งทนฟังอยู่ ในที่สุดเห็นท่าจะไม่ได้เรื่องก็เลี้ยวไปหาพระในวัดไปขออาศัยนอน แล้วก็ถามพระในวัดว่าพระองค์นั่นน่ะชื่ออะไร พระท่านก็บอกว่าองค์นั้นแหละชื่อหลวงพ่อเนียมละ
หลวงพ่อปานก็สมใจ คิดว่า
ดีละ ในเมื่อพบหลวงพ่อเนียมก็จะต้องเรียนให้ได้
เอาซิมาพบคนดีตามคำสั่งของหลวงพ่อสุ่นเข้าแล้ว ในเมื่อพบเข้าแล้วเช่นนี้จะถอนได้อย่างไร ไอ้เรื่องจะถอนไม่มีวันละ ไม่มีวันถอน
วันรุ่งขึ้นหลวงพ่อปานก็เข้าไปหาท่านอีก ตอนนี้เข้าไปตอนเช้าเวลาที่พระฉันข้าว คือว่าพระที่ท่านพักอยู่ด้วยก็ดีเหมือนกัน ในตอนเช้าต้มข้าวต้มให้ท่านฉันแล้วก็บอกว่า ถ้าหาหลวงพ่อเนียมต้องหาตอนเช้าจะค่อยยังชั่วสักหน่อย ถ้าหาตอนเย็นไม่ได้ แดดแข็งแดดจัด ๆ ดีไม่ดีท่านก็ตวาดเอาง่าย ๆ
เวลาที่หลวงพ่อเนียมฉันข้าวก็ปรากฏว่าท่านนั่งบนโต๊ะ 2 ชั้น ข้างล่างเป็นโต๊ะตัวโต ข้างบนตัวย่อมหน่อย มีกับข้าวเต็ม ท่านฉันองค์เดียว พระองค์อื่น ๆ ตั้งวงฉันไม่ไกลกันนัก บนโต๊ะของท่านพื้นโต๊ะชั้นที่ 1 มีหมาเต็มหมด
ท่านกินข้าวคำ ท่านก็ป้อนตัวโน้นคำป้อนตัวนี้คำ แล้วก็ท่านฉันคำ ป้อนหมาบ้างกินเองบ้าง ป้อนแมวบ้าง คุยกะหมาคุยกะแมวไปตามชอบใจ
เมื่อหลวงพ่อปานเข้าไปกราบ ๆ ท่านก็ด่าเอาอีก ท่านด่าเอา ท่านไม่ยอมสอน ท่านบอกว่าท่านไม่รู้กรรมฐาน ตอนนี้ล่อโคตรพ่อโคตรแม่เข้าเลย เอากันอย่างหนัก
ในเมื่อหลวงพ่อปานเห็นท่าไม่ได้การ มองดูพระพี่เลี้ยงที่ไปอาศัยกุฏิอยู่ ท่านก็พยักหน้าให้เข้าไปหา ท่านก็เลยเข้าไปหา พระองค์นั้นท่านก็บอกว่าคอยก่อน พรุ่งนี้เข้าไปหาใหม่
พอวันรุ่งขึ้นก็เข้าไปหาในเวลานั้นอีก ก็ถูกด่าพ่อล่อแม่อีก เอาขนาดหนัก (หลวงพ่อปานก็ยืนยันคำเดิม ว่าจะมาขอเรียนกรรมฐาน เมื่อ) ท่านยืนยันแบบนี้ (หลวงพ่อเนียมก็) ชักนิ่งเอา
ตอนนี้หลวงพ่อเนียมนิ่ง นั่งมองหน้าเป๋งสักครึ่งชั่วโมง ไม่ใช่น้อยนะ ไม่พูดละ มองเป๋งตาไม่กระพริบ
หลวงพ่อปานก็หมอบอยู่ข้างเท้าของท่าน หมามันก็เลียหัวเลียหูเลียหลังบ้าง ท่านก็ปล่อยมัน บอกว่าช่างมัน ไอ้หัวเรากับลิ้นหมามันก็คล้ายคลึงกัน ไอ้ลิ้นหมามันก็อยู่ส่วนหัว ไอ้หัวเราก็อยู่ส่วนหัว มันปะทะกัน ไม่เป็นไรหัวต่อหัว ท่านบอกว่าดีน่ะนา มันยังไม่เอาหัวแม่เท้าของมันมาพาดหัวเรา ๆ ก็ยังไม่ว่ามัน
เพราะอย่างน้อยที่สุดมันก็ยังเป็นหมาของหลวงพ่อเนียม
หลวงพ่อเนียมจ้องเป๋งสักครึ่งชั่วโมงแล้วก็พูดมาคำ บอกว่า ไอ้…..กะแม่ ไอ้พวกเมืองกรุงเก่านี่น่ะดื้อด้านเหลือทน โคตรแม่มันดื้อด้านมาก ด่าเท่าไหร่ก็ไม่เจ็บ ด่าเท่าไหร่ก็ไม่ช้ำ เอา มันอยากจะเรียนก็เรียนซีวะ ในเมื่อชาวบ้านเขาหาว่ากูบ้าแล้ว มึงเรียนกับกู มึงก็เป็นคนบ้า
ต่อไปมึงจะต้องบ้าอย่างกูนะถ้ามึงเรียนกับกู
หลวงพ่อปานก็เลยบอกว่า บ้าก็บ้าครับ ผมยอมบ้า ถ้าผมไม่อย่างบ้า ผมก็ไม่มาหาหลวงพ่อ นี่ผมได้ยินข่าวหลวงพ่อแล้วผมอยากบ้าอย่างหลวงพ่อขอรับ
ตอนนี้ท่านบอกว่า เพิ่งจะได้ยินเสียหัวเราะลั่น ๆ เลย หัวเราะเสียงดังบอกว่า
เออ กูหาคนอยากจะบ้ามานานแล้วหาไม่ได้ นี่กูบ้าคนเดียวมานาน ต่อไปนี้กูจะมีเพื่อนบ้าละโว้ย
หลวงพ่อปานบอกว่าหลังจากนั้นท่านก็เลยสั่งว่า
เอาอย่างนี้ก็แล้วกันนะ กลางคืนเวลาประมาณสัก 2 ทุ่มนะ เอ็งนุ่งสบงทรงจีวรคาดสังฆาฏิให้ดีเข้าไปหาข้าในกุฏิ เวลากลางวันนี้มันจะเรียนกันยังไงวะกรรมฐาน เขาเรียนกันกลางคืน มันเงียบสงัด
หลวงพ่อปานก็บอกว่าใจชื้น พอตอนกลางคืน หลวงพ่อปานเข้าไปหาท่าน ปรากฏว่ารูปร่างท่านผิดไปมาก ผิวดำผอมเกร็งแบบนั้นไม่มี ท่านนุ่งสบงทรงจีวรพาดสังฆาฏิเหลืองอร่าม ผิวกายสมบูรณ์ ร่างกายสมบูรณ์ หน้าตาอิ่มเอิบ รัศมีกายผ่องใส สวยบอกไม่ถูก
หลวงพ่อปานกราบ 3 ครั้งแล้วก็นั่งมอง ท่านก็นั่งมองยิ้ม ๆ แล้วท่านก็ถามว่า แปลกใจรึ คุณ
หลวงพ่อปานก็ยกมือนมัสการ บอกว่าแปลกใจขอรับ ว่าหลวงพ่อรูปร่างไม่เหมือนตอนกลางวัน
ท่านก็บอกว่ารูปร่างนะคุณมันเป็นอนัตตานี่ คือว่าเป็นอนิจจัง มันหาความเที่ยงไม่ได้ มันจะดำเราก็ห้ามมันไม่ให้ดำไม่ได้ มันจะขาวเราก็ห้ามไม่ให้มันขาวไม่ได้มันจะผอมเราก็ห้ามไม่ได้ มันจะอ้วนเราก็ห้ามไม่ได้
มันไม่มีอะไรจะห้ามได้เลยนี่คุณ พระพุทธเจ้าท่านทรงกล่าวว่าทุกสิ่งทุกอย่างในโลกมันเป็นอนิจจัง
หลวงพ่อปานบอกว่าตอนนี้จะเริ่มสอนกรรมฐาน อธิบายไพเราะจับใจ ฟังง่ายจริง ๆ พูดได้ซึ้งใจทุกอย่าง เวลาท่านพูดคล้าย ๆ ว่าจะบรรลุอรหันตผลไปพร้อม ๆ ท่าน
ท่านสอนได้ดีมาก พอสอนเสร็จเรียบร้อยแล้วก็บอกให้ไปพักที่กุฏิอีกหลังหนึ่งซึ่งอยู่ใกล้กับกุฏิของท่าน แล้วเวลาทำกรรมฐานกลางคืน หลวงพ่อปานวางอารมณ์ผิด ท่านจะร้องบอกไปทันที บอก
คุณปานเอ๊ย คุณปาน นั่นคุณวางอารมณ์ผิดแล้วนี่หว่า ตั้งอารมณ์เสียใหม่มันถึงจะใช้ได้
นี่
หลวงพ่อปานบอกว่า ท่านมีเจโตปริยญาณแจ่มใสมาก ท่านเรียนพระกรรมฐานอยู่กับหลวงพ่อเนียม 3 เดือนแล้วจึงกลับ ก่อนหลวงพ่อปานจะกลับ หลวงพ่อเนียมก็บอกว่า ถ้าข้าตายนะ หลวงพ่อโหน่งวัดคลองมะดันเขาแทนข้าได้ ถ้ามีอะไรสงสัยก็ไปถามหลวงพ่อโหน่ง วัดคลองมะดัน นะ