Поведение потребителей

Прогнозирование объема продаж нового товара

Прогнозирование объема продаж нового товара особенно интересно ввиду его значимости для принятия решений. Вдобавок в этих прогнозах обычно допуска­ются серьезные ошибки. Д. Тулл (Tull,1967) подсчитал средний процент ошибок при оценке объема продаж нового товара: около 65%. Поэтому неудивительно, что предварительное тестирование рыночных моделей поддерживается во многих коммерческих фирмах; А. Шокер и В. Холл (Shocker & HaU, 1986) рассмотрели некоторые из этих моделей.

Выбор модели прогнозирования для оценки реакции покупателей зависит от стадии жизненного цикла товара (см. УПРАВЛЕНИЕ ЖИЗНЕННЫМ ЦИК­ЛОМ ТОВАРА). При движении от одной фазы жизненного цикла товара к дру­гой меняется относительная ценность альтернативных прогнозов. В основном движение происходит от чисто эвристических подходов к количественным моде­лям, которые используют результаты предшествующих моделей как входящую информацию. Например, представления и мнения экспертов важны на этапах разработки и создания образцов. Методы экстраполяции подойдут на ранних стадиях, если найдутся аналогичные товары (Claycamp & Liddy, 1969). На по­следующих этапах методы экстраполяции становятся более полезными и менее дорогими, так что можно работать прямо с информацией временных рядов о про­дажах или заказах. Эконометрические и сегментационные методы хорошо приме­нять, когда получен достаточный объем информации о действительных объемах продаж.

Когда новый товар находится на этапе разработки, возлагается большая на­дежда на исследование намерений. Намерения купить новый товар выяснить трудно, так как потенциальные покупатели могут быть недостаточно знакомы с предложенной продукцией и так как разные характеристики товара влияют друг на друга (например цена, качество и каналы распределения). Поэтому необходи­мо хорошее описание предлагаемого товара. Это обычно приводит к дорогостоя­щим образцам, визуальным материалам, клиническим или лабораторным испы­таниям товара. Однако краткие описания иногда бывают так же точны, как и тщательно разработанные исследования, об этом можно прочесть в исследовании Дж. Армстронга и Т. Овертона (Armstrong & Overton, 1970) о новой форме город­ских общественных перевозок (см. КАНАЛЫ РАСПРЕДЕЛЕНИЯ; РАЗРАБОТ­КА НОВЫХ ТОВАРОВ).

Обычно при изучении намерений потенциальным потребителям дают описа­ние товара и условий продажи и потом выясняют их намерения о покупке. Реко­мендуется использовать рейтинговую шкалу в одиннадцать пунктов. У шкалы есть устные обозначения, например 0=’нет шанса, почти нет шанса (1 из 100)’, 10=’несомненно, практически несомненно (99 из 100)’. Лучше всего ставить во­прос широко о «вероятности» или «возможности» покупки, чем узко — о намере­ниях. Это различие отметил Ф. Джустер (Juster, 1966), а его значение в эмпири­ческом исследовании показали Д. Дэй и другие (Day et al., 1991).

Исследования намерений полезны, когда выдерживаются следующие условия: (1) событие важно; (2) можно получить ответы; (3) у респондента есть намерение;

(4) респондент отвечает правдиво; (5) респондент может осуществить намерение; (6) события вряд ли изменят намерение. Эти условия предполагают, что намере­ния более полезны для краткосрочных прогнозов валового оборота.

Технология опросов о намерениях сильно продвинулась за последние пол ве­ка. Для отбора выборки были разработаны хорошие приемы, компенсирующие умышленное отсутствие ответов и уменьшающие число ошибок. Д. Дилман (DU - Ьпап, 1978) дал прекрасный совет, который можно использовать при изучении намерений. Достижения этой технологии демонстрировались исследованиями намерений избирателей (Perry, 1979). Ошибки в ответах — наверное, наиболее важный элемент общей ошибки (Sudman &Brandbum, 1982). Соотношение наме­рений и покупок до сих пор не точное. Очевидность намерений покупателей рас­сматривает В. Морвиц (Morwitz, 1999).

Альтернативой методу опроса потенциальных покупателей об их намерениях служит опрос экспертов, которые предсказывают, как отреагируют покупатели. Например, Т. Вотруба и М. Турлов (Wotruba & Thurlow, 1976) обсуждали, как с помощью мнений представителей продавцов прогнозировать продажи. Можно было попросить дистрибьюторов или руководителей отдела сбыта спрогнозиро­вать объем продаж. Исследования мнений экспертов отличаются от изучения на­мерений. Когда эксперта просят предсказать поведение потребителей, он необя­зательно должен быть репрезентативным. Как раз наоборот, он может оказаться исключительным. Когда хочешь узнать прогнозы экспертов, требуется несколько человек, обычно от пяти до двадцати (Hogarth, 1978; Ashton, 1985).

Эксперты особенно полезны в диагностике ситуации, можно назвать это «ин­формация о фактической погоде с прогнозом на два часа». Удивительно, однако, что когда задание предусматривает прогноз изменений, то эксперты узкого про­филя так же точны, как и эксперты широкого профиля (Armstrong, 1985). Это оз­начает, что совсем незачем покупать дорогостоящий совет эксперта.

К сожалению, эксперты часто подчиняются тенденциям. Торговые представи­тели пытаются прогнозировать от минимума, когда дело касается установления квот. Руководители отделов маркетинга могут завышать прогноз в надежде моти­вировать торговый персонал. Если возможно, избегайте экспертов, у которых есть причины склоняться в ту или другую сторону (Tyebjee, 1987). Другая стратегия — это привлечь разнородную группу экспертов в надежде, что их противоположные заблуждения уничтожат друг друга.

Немного известно об относительной точности мнений экспертов по сравнению с намерениями покупателей. Однако М. Севаль (Sewall, 1981) обнаружил, что каж­дый подход дает нужную информацию, так что комбинированный прогноз гораздо полезнее любого отдельно взятого.

Производители часто рассматривают несколько альтернативных вариантов нового товара. В таких случаях потенциальным покупателям предоставляются серии из примерно двадцати предложений. Например, различные свойства персо­нального компьютера — цена, вес, мощность, четкость изображения и память — могут меняться в зависимости от правил экспериментальной разработки (основ­ная идея — каждая характеристика меняется основательно и не имеет жесткого соотношения с остальными). Покупателю предлагают пойти на уступки в требо­ваниях к различным свойствам товара. Это называется «сопряженным анализом», так как потребитель взвешивает все свойства товара одновременно. Процедура широко используется фирмами (Wittink & Bergestuen, 1998). Пример удачного применения — дизайн новой сети Marriot Hotel ( Wind et al., 1989). Использование сопряженного анализа для прогнозирования спроса на новый товар может быть очень дорогим, так как требуются большие выборки потенциальных покупателей, трудно классифицировать респондентов и составить список необходимых вопро­сов. Респонденты, конечно, должны понимать главную идею. Хотя сопряженный анализ опирается на хорошую теоретическую базу, достоверность исследований невысока, их точность сравнима с точностью альтернативных технологий — мето­да Дельфи или эвристических процедур прогнозирования.

Решения экспертов можно использовать для сопряженного анализа так же, как намерения покупателей. Это значит, что экспертов могут попросить сделать пред­сказания о ситуациях, включающих альтернативный дизайн товара и альтерна­тивные рыночные планы. Предсказания потом сравнят с результатами анализа регрессии. По аналогии с сопряженным анализом этот метод можно назвать «раз­деленным анализом». Для него требуется немного экспертов (обычно от пяти до двадцати) — это большое преимущество перед сопряженным анализом. Вдобавок он может включать данные, которые покупателям оценить сложно.

Товар выведен на рынок, теперь можно использовать методы экстраполяции. Большое внимание уделяется выбору предпочтительной функции для экстрапо­ляции на ранних этапах. В литературе рекомендуется использовать s-образную кривую для предсказания объема продаж нового товара. Эта кривая показывает, что сначала рост медленный, затем скорость его увеличивается, затем снова сни­жается, достигнув точки насыщения. О диффузных моделях написано очень мно­го. Однако достоверность исследований невелика и польза от выбора наилучших функциональных зависимостей кажется достаточно скромной {Meade, 1999).

1. Оценка и выбор методов

Допустим, вас попросили предсказать годовой объем продаж потребительских товаров: кухонных плит, холодильников, вентиляторов и вина — на ближайшие пять лет. Какой метод прогнозирования вы будете использовать? Как уже говори­лось, выбор должен определяться стадией жизненного цикла товара и возможно­стью сбора данных. Но основные директивы не могут дать полный ответ. Посколь­ку ситуация меняется, придется использовать не один метод.

Если вы должны использовать больше чем один метод, то какой из них, по - вашему, лучший? Согласно одному из распространенных подходов, вы выбираете один из методов, наиболее приоритетных в последнее время. Это поднимает во­прос о том, какие критерии надо использовать для определения лучшего. Анали­зируя, насколько хорошо модели соотносятся с ретроспективными данными, ста­тистики применяют самые сложные процедуры. Однако такой выбор методов прогнозирования наименее ценен. Делающие прогнозы должны игнорировать по­казатели соответствия (как R2 или стандартная ошибка оценки модели), так как они имеют небольшое отношение к точности прогнозов. Вместо этого надо пола­гаться на ожидаемые прогнозы от реального моделирования действительной си­туации, с которой сталкивается делающий прогноз. Под «ожидаемой» мы подра­зумеваем то, что составляющий прогноз имеет только ту информацию, которая доступна на период действительного прогноза.

Традиционные показатели ошибок, как, например, среднеквадратическое от­клонение, не дают надежных основ для сравнения методов (Armstrong & Collopy, 1992). «Медианный абсолютный процент ошибки» («Median Absolute Percentage Error», MdAPE) наиболее важен, так как он остается постоянным на шкале и не часто подвергается влиянию посторонних. Для сопоставлений, использующих небольшой ряд, желательно также контролировать уровень сложности прогнози­рования. Измерение, которое это выполняет, называется «Медианная относитель­ная ошибка» (MdRAE) и сравнивает ошибку данной модели с ошибками «наи­вной» модели, не изменяя прогноза (Armstrong & Collopy, 1992).

Сложности выбора можно избежать с помощью простого комбинирования прог­нозов. Большое исследование предполагает, что когда не хватает хорошо структу­рированных знаний предмета, средние величины также точны, как и любая другая средневзвешенная программа (Clemen, 1989). Это дает последовательные, хотя и скромные, достижения в точности и снижает вероятность крупных ошибок. Ком­бинирование особенно полезно, когда методы сильно различаются. Например, Р. Блаттберг и С. Хок (Blattberg & Hoch, 1990) получили улучшенные прогнозы объема продаж равным взвешиванием экспертных прогнозов менеджеров и про­гнозов количественной модели.

Выбор и взвешивание методов прогнозирования можно улучшить с помощью знания предмета прогноза, как показано в исследовании прогнозирования, ос­нованного на системе правил ( Collopy & Armstrong, 1992). Знания можно струк­турировать, особенно по отношению к ожидаемой тенденции. Это, совместно с рассмотрением характеристик данных (например дискретность), позволяет усо­вершенствовать взвешивание для различных методов экстраполяции.

2. Оценка интервалов прогноза

Кроме повышения точности прогнозирование также интересуется оценкой не­определенности. Хотя статистика уделяет большое внимание этой проблеме, ее приемы в основном базируются на ретроспективных данных для вывода неопре­деленности прогнозов. Вы можете также воспроизвести действительную проце­дуру прогнозирования максимально точно и использовать интервал итоговых прогнозов для оценки неопределенности. Итак, если вам требуется сделать про­гноз на два года, соберите достаточно данных для того, чтобы иметь «ожидаемые» прогнозы на два года.

Интервалы предсказания количественных прогнозов имеют тенденцию су­жаться. Эмпирические исследования показали, что доля действительных значе­ний, которые вышли за 95% предел интервалов предсказания, намного больше 5%, а иногда превышает 50% (Makridakis et al., 1987). Это происходит потому, что в оценках игнорируются различные источники неопределенности. Например, за горизонтом прогноза появляется дискретность. Кроме того, ошибки в прогнозах временных рядов обычно асимметричны, и поэтому оценить интервалы предска­зания сложно. Наиболее чувствительная процедура — это определить расхожде­ния прогноза и действительных значений на графике и затем вычислить интервал предсказания, используя графические различия. Интересно, что исследователи и практики не следуют этому совету, кроме тех случаев, когда исходная модель про­гнозирования формализована в график.

Когда экстраполяция тренда противоположна ожиданиям менеджеров, ошиб­ки в графике асимметричны. Доказательство асимметричности ошибок приведе­но Дж. Армстронгом и Ф. Коллупи (Armstrong & Collopy, 1998а). В таких случаях можно использовать асимметричные интервалы предсказаний. Заметим, что мы не будем подсчитывать экономическую функцию асимметричной потери. Напри­мер, стоимость прогноза, который много ниже 50 единиц (потерянные продажи), может отличаться от стоимости, если бы прогноз был много больше 50 единиц (излишний запас). Но это вопрос специалиста по планированию, а не составляю­щего прогноз.

Эвристические прогнозы также достаточно узки. То есть эксперты обычно слишком самонадеянны (Arkes, 1999). Это происходит чаще всего потому, что про­гнозисты не получают хороший отклик на свои предсказания. Когда метеорологи делают прогнозы, их можно оценить. Если прогнозист говорит, что вероятность дождя равна 60%, то дождь идет 60% времени. Прогнозистам хорошо бы попы­таться гарантированно получать отклик на точность своих прогнозов. Отклики должны быть относительно частыми и суммировать точность в различных фор­мах. Другая процедура, которая поможет прогнозистам избежать самонадеяннос­ти, — перечисление причин, по которым прогноз может быть неверным.

7. Внедрение

Существуют две основные проблемы внедрения. Как получить признание (1) но­вых методов прогнозирования и (2) самих прогнозов?

Признание методов прогнозирования

Новые методы распространяются очень медленно. Экспоненциальное сглажива­ние, одно из главных улучшений прогнозирования производства и инвентарного контроля, было разработано в конце 50-х, и только сейчас оно принято достаточно широко (Mentzer & Kahn, 1995). Возможно, внедрение идет медленно потому, что оно требует громоздкого многоступенчатого процесса. Вот обычная процедура. Сначала разрабатывают методы. Затем их проверяют. На каждой стадии о них сообщается в литературе. Потом они проходят периоды руководства и консульта­ции, и, в конце концов, доходят до менеджера, который может их использовать. Даже после этого они встречают сопротивление, возможно потому, что слишком сложны для пользователей.

Однако к их будущему можно отнестись оптимистично. Последние методы можно раскрывать на web-сайтах и включать в экспертные системы и в комплек­ты программного обеспечения. Например, полный комплект материалов по про­гнозированию, основанному на своде правил, доступен и современен, его можно найти на сайте принципов прогнозирования (www. marketing. wharton. upenn. edu/ forecast).

Признание прогнозов

Прогнозы особенно полезны для ситуаций, которые часто и сильно меняются, и нередко в худшую сторону. Например, Д. Р. Гриффис и Б. Т. Веллман (Griffith and Wellman, 1979) изучили, как учитывался прогноз при закупке кроватей для боль­ницы, и обнаружили, что когда консультанты прогнозировали меньшую потреб­ность, чем хотелось администрации, их прогнозы обычно просто игнорировали.

Фирмы часто путают прогнозирование с планированием и могут использовать прогноз как средство мотивации людей. То есть они скорее управляют поведени­ем с помощью «прогноза», чем делают прогноз, обусловленный поведением. (То же самое, что исправить термометры, чтобы изменить погоду). Один из путей из­бежать этого — достичь соглашения о том, с помощью каких процедур прогнози­рования лучше представлять прогнозы.

Другой путь получения признания прогнозов — это попросить людей, прини­мающих решения, заранее определить свои решения на тот или иной вариант про­гноза. Эти предварительные соглашения по развитию и по решениям значительно увеличат ценность прогнозов, но прийти к ним бывает сложно. Возможно, здесь поможет план действий, в который включены подробно записанные методики о том, как те, кто принимают решения, будут действовать в возможных будущих ситуациях. Принимающие решения переносят себя в различные ситуации и пи­шут свои методики в прошедшем времени. Более подробные инструкции для письменных сценариев собраны в работе JI. Грегори (Gregory, 1999). Сценарии хорошо помогают прогнозистам признать возможность, что какие-то события мо­гут произойти.

8. Резюме

Экстраполяции объемов продаж недороги и часто адекватны решениям, которые должны быть приняты. Если ожидаются большие изменения ситуации или кто-то хочет проверить альтернативные стратегии, рекомендуются каузальные подходы.

В общих чертах, вот некоторые правила, соблюдение которых поможет вам прогнозировать продажи:

♦ Методы надо выбирать на основе эмпирически проверенных теорий, а не на основе теории статистики.

♦ Используйте область знания.

♦ Если это возможно, для предсказания поведения лучше использовать дан­ные о поведении, а не суждения или намерения.

♦ Если вы применяете эвристический метод, то наиболее надежными будут структурированные процедуры — метод Дельфи, ролевая игра и сопряжен­ный анализ.

♦ Чтобы избежать чрезмерной самонадеянности, при использовании количе­ственных и эвристических методов подробно записывайте все, что может плохо повлиять на прогнозы. Необходимо обеспечить хорошую обратную связь.

♦ Когда делаете прогнозы в крайне неустойчивых ситуациях, будьте консер­вативны. Например, тренды лучше ослабить.

♦ Сложные модели не обязательно точнее, чем более простые модели.

Прогнозы продаж должны быть свободны от политики фирмы. Для этого надо сделать упор на обсуждение методов прогнозирования, а не на сами прогнозы. Что касается наиболее важных прогнозов, то решения об их использовании должны быть приняты до того, как прогнозы представлены. В этом случае поможет разра­ботка сценариев.

J. Scott Armstrong, The Wharton School University of Pennsylvania

Литература

Allen, G. P. (1999) ‘Econometric forecasting strategies and techniques’, in J. S. Armstrong (ed.) Principles of Forecasting: Handbook for Researchers and Practitioners, Norwell, MA: Kluwer Academic Publishers.

Alsem, K. J., Leetlang, P. S.H. and Reuyl, J. C. (1989) ‘The forecasting accuracy of market share models using predicted values of competitive marketing behavior’, International Journal of Research in Marketing 6:183-98.

Arkes, H. (1999) ‘Overconfidence in judgemental forecasting’, in J. S. Armstrong (ed.) Principles of Forecasting: Handbook for Researchers and Practitioners, Norwell, MA: Kluwer Academic Publishers. Armstrong, J. S. (1985) Long-Range Forecasting: From Crystal Ball to Computer, New York: John Wiley. Armstrong, J. S. (1999) ‘Judgemental bootstrapping: Inferring experts’ rules for forecasting’, in J. S. Armstrong (ed.) Principles of Forecasting: Handbook for Researchers and Practitioners. Norwell, M A: Kluwer Academic Publishers.

Armstrong, J. S. and Collopy, F. (1998a) ‘Prediction intervals for extrapolation of annual economic data: Evidence on asymmetry corrections’, Working paper.

Armstrong, J. S. and Collopy, F. (1998b) ‘Integration of statistical methods and judgement for time series forecasting: principles from empirical research’, in G. Wright and P. Goodwin (eds.) Forecasting with Judgement. Chichester: John Wiley.

Armstrong, J. S. and Collopy, F. (1993) ‘Causal forces: Structuring knowledge for time series extrapolation’, Journal of Forecasting 12:103-15.

Armstrong, J. S. and Collopy, F., (1992) ‘Error measures for generalizing about forecasting methods: Empirical comparisons’, International Journal of Forecasting 8:69-80.

Armstrong J. S. and Hutcherson, P. (1989)‘Predicting the outcome of marketing negotiations: Role-playing versus unaided opinions’, International Journal of Research in Marketing 6:227-39.

Armstrong, J. S. and T. Overton (1970) ‘Brief vs. comprehensive descriptions in measuring intentions to purchase’, Journal of Marketing Research 8:114-17.

Armstrong, J. S., Brodie, R. and McIntyre, S. (1987) ‘Forecasting methods for marketing’, International Journal of Forecasting3:355-76.

Ashton, A. H. (1985) ‘Aggregating subjective forecasts: Some empirical results’, Management Science 31: 1499-508.

Blattberg, R. C. and Hoch, S. J. (1990) ‘Database models and managerial intuition: 50 per cent model + 50 per cent manager’, Management Science36:887-99.

Brodie, R. J., Danaher, P., Kumar, V. and Leeflang, P. (1999) ‘Market share forecasting’, in J. S Armstrong (ed.) Principles of Forecasting: Handbook for Researchers and Practitioners Norwell, MA: Kluwer Academic Publishers.

Claycamp, H. J. and Liddy, L. E. (1969) ‘Prediction of new-product performance: An analytical approach’, Journal of Marketing Research 6.414-20.

Clemen, R. T. (1989) ‘Combining forecasts: A review and annotated bibliography’, International Journal of Forecasting 5:559-83.

Collopy, F. and Armstrong, J. S. (1992) ‘Rule-based forecasting: Development and validation of an expert systems approach to combining time-series extrapolations’, Management Science 39:1394-414.

Dalrymple, D. J. (1975) ‘Sales forecasting: Methods and accuracy’, Business Horizons 18:69-73.

Dalrymple, Dl. (1987) ‘Sales forecasting practices. Results from a U. S survey’, International Journal of Forecasting 3.379-91.

Dangerfield, B. J. and Morris, J. S. (1992), ‘Top-down or bottom-up: Aggregate versus disaggregate extrapolations’, International Journal of Forecasting 8. 233-41/

Dillman, D. A. (1978) Mail and Telephone Surveys, New York. John Wiley.

Gardner, E. S. Jr. (1985) ‘Exponential smoothing The state of the art’, Journal of Forecasting 4:1-28.

Gardner, E. S. and Anderson, E. A. (1997) ‘Focus forecasting reconsidered’, International Journal of Forecasting, 13:501-08.

Gregory, L. (1999) ‘Scenarios as a strategy for the presentation of forecasts’, in J. S. Armstrong (ed.) Principles of Forecasting: Handbook for Researchers and Practitioners, Norwell, MA: Kluwer Academic Publishers.

Griffith, J. R. and Wellman, B. T. (1979) ‘Forecasting bed needs and recommending facilities plans for community hospitals: A review of past performance’, Medical Care 17:293-303.

Hogarth, R. M. (1978) ‘A note on aggregating opinions’, Organizational Behavior and Human Performance 21:40-6.

Juster, F. T. (1966) ‘Consumer buying intentions and purchase probability: An experiment in survey design’Journal of the American Statistical Association, 61:658-96.

MacGregor, D. (1998) ‘Decomposition for judgemental forecasting and estimation’, in J. S. Armstrong (ed.) Principles of Forecasting: Handbook for Researchers and Practitioner, Norwell, MA. Kluwer Academic Publishers.

Makridakis, S., et al. (1984) The Forecasting Accuracy of Major Time Series Methods, New York. John Wiley.

Makridakis, S., Hibon, M„ Lusk, E. and Belhadjali, M. (1987) ‘Confidence intervals: An empirical investigation of the series in the M-competition’, International Journal of Forecasting 3: 489-508.

Meade, N. (1999) ‘Forecasting the diffusion of innovations’, Implications for time series extrapolation’, in J. S. Armstrong (ed.) Principles of Forecasting: Handbook. for Researchers and Practitioners, Norwell. MA. Kluwer Academic Publishers.

Mentzer, J. T. and Kahn, K. B. (1995) ‘Forecasting technique familiarity, satisfaction, usage, and application’, Journal of Forecasting, 14' 465- 76.

Montgomery, D. B. (1975) ‘New product distribution: An analysis of supermarket buyer decisions’, Journal of Marketing Research, 12:255-64.

Morwitz, V. (1999) ‘Methods for forecasting from intentions and probability data’, in J. S. Armstrong (ed.) Principles of Forecasting: Handbook for Researchers and Practitioners. Norwell, MA: Kluwer Academic Publishers.

Perry, P. (1979) ‘Certain problems in election survey methodology’. Public Opinion Quarterly 43:312-25.

Rowe, G. and Wright, G. (1999) ‘The Delphi technique as a forecasting tool’, in J. S. Armstrong (ed.) Principles of Forecasting: Handbook for Researchers and Practitioners. Norwell, MA: Kluwer Academic Publishers.

Schnaars, S. P. (1984) ‘Situational factors affecting forecast accuracy’, Journal of Marketing Research, 21: 290-7.

Sewall, M. A. (1981) ‘Relative information contributions of consumer purchase intentions and management judgement as explanators of sales’, Journal of Marketing Research 18: 249-53.

Shocker, AD. and Hall, W. G. (1986) ‘Pretest market models: A critical evaluation’, Journal of Product Innovation Management 3:86-107.

Sudman, S. and Bradburn, N. R. (1982) Asking Questions: A Practical Guide to Questionnaire Design, San Francisco: Jossey-Bass.

Tull, D. S. (1967) ‘The relationship of actual and predicted sales and profits in new-product introductions’, Journal of Bussiness 40.233-50.

Tyebjee, T. T. (1987) ‘Behavioral biases in new product forecasting’, International Journal of forecasting 3: 393-404.

Wind, J., Green. P. E., Shifflet, D. and Scarbrough, M. (1989) ‘Courtyard by Marriott: Designing a hotel facility with consumer-based marketing’, interfaces, 19.25-47.

Wotruba, T. R. and Thurlow, M. L. (1976) ‘Sales force participation in quota setting and sales force casting’. Journal or Consumer Research 8: 162-71.