«Палочка выбирает волшебника» — эту фразу Олливандер говорит Гарри в первой книге, и она окажется законом, а не присказкой.
Семья. Вывеска лавки обещает палочки «с 382 года до нашей эры». В тексте Роулинг для Pottermore сказано, что фамилия, по преданию, значит «тот, у кого оливковая палочка», а олива в Британии не растёт: значит, первый Олливандер пришёл с юга. Сам Гаррик считает, что его предки высадились в Британии вместе с римлянами, поставили сначала лоток, потом лавку и продавали палочки местным волшебникам, чьи самодельные палочки были грубы и ненадёжны. Многие считают Олливандера лучшим мастером в мире, и иностранцы приезжают в Лондон специально за его палочками.
Что он делает иначе. Олливандер — пурист: сердцевину выбирает он, а не покупатель, и только из трёх «высших» материалов, а дерево подбирает так, чтобы оно дополняло сердцевину. Сначала его метод встретили в штыки, но палочки Олливандера оказались лучше прочих, и с тех пор его способы искать древесину и материалы, сочетать их и находить им хозяина — тщательно охраняемая тайна. Волос вейлы он не использует вовсе: такие палочки, по его словам, слишком норовисты.
Каким его видят книги. У Олливандера бледные, почти светящиеся серебристые глаза; он подходит слишком близко, почти не моргает и помнит каждую палочку, которую когда-либо продал, — длину, дерево и сердцевину. Палочку из тиса, сестру палочки Гарри, продал тоже он. В нём есть пугающая черта: увлечённость палочками у него сильнее, чем интерес к тому, добро или зло ими творят, — отсюда его «ужасные, но великие» дела Того-Кого-Нельзя-Называть.
Проверка палочек, 1994 год. Перед Турниром трёх волшебников Олливандера приглашают в Хогвартс проверить палочки четырёх чемпионов. Из палочки Флёр он выпускает букет цветов и морщится на волос вейлы, у Седрика узнаёт свою работу и вспоминает единорога, который едва не поднял его на рог, палочку Крама называет работой Грегоровича, а палочку Гарри разглядывает дольше остальных.
Пустая лавка, 1996 год. Летом шестой книги лавка Олливандера стоит пустой, а сам мастер исчезает без следа борьбы. Невилл успевает купить у него вишнёвую палочку — возможно, одну из последних.
Плен и «Ракушка», 1997–1998. Пожиратели смерти держат Олливандера в подвале Малфой-мэнора. Волан-де-Морт пытает его, выясняя, почему его палочка бессильна против палочки Гарри; мастер советует взять чужую палочку, а когда и это не помогает, под пыткой рассказывает о Бузинной палочке и о слухе, что ею владеет Грегорович. Весной 1998 года Добби вытаскивает его из подвала вместе с Гарри и друзьями, и в коттедже «Ракушка» Олливандер объясняет Гарри законы палочек, на которых держится развязка серии. Позже он делает новую палочку Полумне Лавгуд, которая поддерживала его в плену.